scrapy爬虫学习 安装scrapy 新建项目 启动爬虫

1.安装:

第一种容易出错:

     pip install -i http://pypi.douban.com/simple scrapy

第二种下载安装包安装:

网站:https://www.lfd.uci.edu/~gohlke/pythonlibs/

需要下载的4个包:

1.lxml

2.twisted 高性能的包重要

3.scrapy:

4.PyWin32

安装 最好按顺序安装最后安卓scrapy:

CMD进入到下载的包目录下

1.pip install -i https://pypi.douban.com/simple lxml-4.3.5-cp37-cp37m-win_amd64.whl

2.pip install -i https://pypi.douban.com/simple Twisted-19.7.0-cp37-cp37m-win-amd54-whl

3.pip install -i https://pypi.douban.com/simple pywin32-225-cp37-cp37m-win-amd54-whl

4.pip install -i https://pypi.douban.com/simple Scrapy-1.7.3-py2.py3-none-any.whl

完成:

创建项目目录框架:

scrapy startproject 生成的项目路径名

创建爬虫文件: （scrapy genspider cnblogs baidu.com）

启动爬虫:

1.CMD启动  （scrapy crawl py文件名字）

2.pycharm启动调试:

生成main文件.处理命令:

from scrapy.cmdline import execute

import sys
import os

sys.path.append(os.path.dirname(os.path.abspath(__file__)))

execute(["scrapy", "crawl", "jobbole"])