python使用scrapy开发爬虫

爬虫初步接触

梦想还是要有的,万一实现了呢?

前置技能

1. Xpath 使用路径表达式在 XML 文档中进行导航,简单的说,就是获取dom节点
2. python 的简单语法
3. 学会使用pip3 安装缺少的模块

遇到的问题

1. 缺少Microsoft Visual C++ Build Tools
   点击下载安装

如果已经安装旧版的,请先卸载.
否则会报 找不到 cl.

如果安装正常,报  找不到  cl.exe   可以配置环境变量

2. 缺少win32模块

	pip install pywin32

安装

1. 安装python
2. 更新pip python -m pip install --upgrade pip
3. pip3 install scrapy
4. 解决缺少模块的问题

创建scrapy项目

	scrapy startproject 项目名