python爬虫工具包
HLYJJ
这个作者很懒,什么都没留下…
展开
-
python3.6 以后用得urllib2和cookiejar的导入方式
import urllib.request as urllib2from http import cookiejar原创 2019-04-16 22:04:55 · 420 阅读 · 0 评论 -
python3.6 爬虫报错'ascii' codec can't encode characters in positiono
1是改转码,2是因为你怕取得网页有做反爬处理,例如网页默写元素的编码格式,多尝试一下吧这是编码问题 查看python默认编码格式,如果不是utf-8,将python默认编码格式改为utf-8或者在写入的时候转码:又或者读取网页的时候...原创 2019-04-17 14:37:20 · 1496 阅读 · 0 评论 -
python爬虫 scrapy的安装 编译安装 linux
下载Python3 https://www.python.org/downloads/安装依赖环境:执行如下3条命令:1:yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-de...原创 2019-04-17 23:39:10 · 449 阅读 · 0 评论