python爬虫
Diriers
这个作者很懒,什么都没留下…
展开
-
糗事百科爬虫Code
糗事百科爬虫爬取糗事百科的网页并提取数据保存为json格式-工具: -pythonclass QiuShi(object):def __init__(self): self.url = 'https://www.qiushibaike.com/8hr/page/{}' self.url_page = 'https://www.qiushibaike.com'...原创 2018-08-30 15:02:56 · 260 阅读 · 0 评论 -
解决Win环境下,使用scrapy的gbk编码问题,UnicodeDecodeError: 'gbk' codec can't decode byte 0xab in position 220
由于编码问题导致,当框架读取网页的时候无法识别gbk编码产生报错,忽略即可。 在configparser.py 中修改。errors=”ignore”with open(filename, encoding=encoding,errors="ignore") as fp: by:diriers...原创 2018-09-11 23:24:02 · 823 阅读 · 0 评论