python爬虫问题:TypeError: cannot use a string pattern on a bytes-like objec

  • Python3.x在学到爬虫是需要注意不同于Python2.x需要将读取的html数据进行解码html = html.decode('utf-8')
import urllib
import re
def download(url,user_agent='XD',num_retries=2):
    print('Downloading:',url)
    headers = {'User-agent':user_agent}
    request = urllib.request.Request(url,headers=headers)
    try:
        html = urllib.request.urlopen(url).read()
    except urllib.error.URLError as e:
        print('Download error:',e.reason)
        html = None
        if num_retries >0:
            if hasattr(e,'code') and 500<= e.code <600:
                # recursively retry 5xx HTTP errors
                return download(url,user_agent,num_retries-1)
    return html
def crawl_sitemap(url):
    # download the sitemap file
    sitemap = download(url)
    sitemap = sitemap.decode('utf-8')
    # extract the sitemap links
    links = re.findall('<loc>(.*?)</loc>',sitemap)
    # download each link
    for link in links:
        html = download(link)
        # scrape html here
        #...
if __name__ == '__main__':
    crawl_sitemap('http://www.baidu.com/sitemap.xml')

def crawl_sitemap(url): 中加入sitemap = sitemap.decode('utf-8') 进行解码操作

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值