scrapy爬虫之前程无忧示例

scrapy爬虫之前程无忧示例

1. 安装scrapy

具体教程请参考以下文章：
https://blog.csdn.net/j_l_sheng/article/details/106104208

2. 在cmd中键入scrapy，如下图
   

3. 进入目标目录，新建一个工程文件夹，输入命令：scrapy startproject 项目名
   

4. 进入刚刚建立好的项目文件夹
   

5. 创建爬虫，输入命令：scrapy genspider 爬虫名 域名
   
   于是就创建了一个：爬虫名.py文件，如下图
   

6. 在IDE环境中打开该文件，如下图所示
   

7. 用目标网址覆盖源代码（此处需要用整个网址），修改后代码如下图所示
   
   爬取第一页到第2000页的数据的url代码如下：

start_urls = [f'https://search.51job.com/list/000000,000000,0000,00,9,99,%2B,2,{page}.html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare='for page in range(1,2001)]

8. 分离出详情页的网址
   

9. 通过分析详情页的源码写出爬代码

10. 以字典的形式输出

11. 打印爬取结果
    
    结果如下图所示：