简单scrapy框架实例

1. 打开cmd命令窗口，scrapy startproject python_demo。新建一个名为python_demo的工程文件夹。

python_demo文件夹：

• scrapy.cfg——部署scrapy爬虫的配置文件
• python_demo/——scrapy框架的用户自定义python代码
  • __init__.py——初始化脚本 （继承类）
  • items.py——items代码模板（继承类）
  • middlewares.py——middlewares.py代码模板（继承类）
  • pipelines.py——Pipelines代码模板（继承类）
  • settings.py——scrapy爬虫的配置文件
  • spiders/——spiders代码模板目录
    • __init__.py——初始化文件，不需要修改
    • __pycache__/—— 缓存目录，无需修改

2.修改当前目录cd python_demo,输入scrapy genspider demo python123.io,在spider下生成demo文件，修改demo文件。

3.执行scrapy crawl demo命令。
得到运行结果

借小嵩老师讲解视频