Spider
王子老师
即将成为世界大牛
展开
-
爬虫解析数据中的乱码问题解决
resonse.encoding = 'utf-8或者response.encode(‘iso-8859-1’).decode('gbk)原创 2020-06-20 22:18:01 · 633 阅读 · 0 评论 -
网页解析---正则匹配
爬取糗事百科网页图片数据: 利用正则匹配url<div class="thumb"><a href="/article/123230554" target="_blank"><img src="//pic.qiushibaike.com/system/pictures/12323/123230554/medium/JVGP2HUEURQH8WJB.jpg" alt="糗事#123230554" class="illustration" width="100%" heig原创 2020-06-20 19:00:16 · 471 阅读 · 0 评论 -
pyspider安装到成功启动(1小时debug)
pyspider安装到成功启动(1小时debug)1、首先安装运行,出现如下问题,提示什么‘curl-config’pip install pyspider2、搜索了一顿,用了下面的代码,出现下面的提示:下列软件包有未满足的依赖关系:libcurl4-openssl-dev : 依赖: libcurl3 (= 7.47.0-1ubuntu2.14) 但是它将不会被安装sudo apt-get install libcurl4-openssl-dev3、根据上面的提示,对应下面的代码进行原创 2020-06-03 19:11:38 · 245 阅读 · 0 评论