scrapy
liuzemeeting
这个作者很懒,什么都没留下…
展开
-
centos7.3 安装scrapy出错Could not find a version that satisfies the requirement Twisted>=13.1.0
1错误原因,通过pip install 安装scrapy是报错Could not find a version that satisfies the requirement Twisted>=13.1.0 (from Scrapy) (from versions: ) No matching distribution found for Twisted>=13.1.0 (from Scrapy)原创 2018-01-31 16:17:34 · 16937 阅读 · 0 评论 -
scrapy 爬取腾讯招聘几千条数据
1.先通过 scrapy startproject mytencent 命令创建一个爬虫文件 2.再通过scrapy genspider tencent www.hr.tencent.com 创建一个蜘蛛 3.查看原网页分析数据,通过xpath选择要爬取的数据,然后再item.py文件中添加需要保存的数据列名positionName = scrapy.Field()#职位名称posi...原创 2018-02-02 01:10:26 · 591 阅读 · 0 评论 -
Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools"
在python3.6以上版本安装scrapy框架是会报错缺少Microsoft Visual C++ Build Tools 1.pip install scrapy 然后安装会出现下面错误 2.去http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件,这里对应版本是只对应你安装的python的版本,寻...原创 2018-02-24 17:28:37 · 15890 阅读 · 0 评论