爬虫
a_py
web
展开
-
scrapy的安装
linu下的安装pip install scrapywindows下的安装在win下面的安装依赖多一点,而且还需要安装一个已经编译好的Twisted的库,和安装一个pywin32库1.安装scrapy直接安装是会报错的:去这个网站下载下载你对应的python版本的库。安装pip install刚刚下载的那个文件然后即可安装scrapy了pip install scrapy...原创 2019-07-10 16:06:10 · 137 阅读 · 0 评论 -
scrapy爬虫没有任何的返回数据( Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min))
在scrapy中爬取不到任何返回值。G:\scrapy_tesy>scrapy crawl douban2019-07-11 10:26:15 [scrapy.utils.log] INFO: Scrapy 1.6.0 started (bot: scrapy_tesy)2019-07-11 10:26:15 [scrapy.utils.log] INFO: Versions: lxm...原创 2019-07-11 10:43:26 · 14903 阅读 · 11 评论 -
scrapy的pipeline(持久化)
我这边已经创建好一个名为scrapy_pipeline的项目了。然后创建一个爬虫为douban:项目目录如下:爬取豆瓣网需要伪装浏览器,修改settings.py文件的内容:# Crawl responsibly by identifying yourself (and your website) on the user-agent#USER_AGENT = 'scrapy_pipeli...原创 2019-07-19 21:46:20 · 901 阅读 · 0 评论 -
自定制命令(让scrapy在pycharm下跑起来)
pytcharm运行单个爬虫:# -*- coding: utf-8 -*-# @Time : 2019/7/19 下午 5:19# @Author : lh# @Email : [email protected]# @File : manage.py# @Software: PyCharmimport sysfrom scrapy.cmdline import execute...原创 2019-07-20 10:54:04 · 223 阅读 · 0 评论