爬虫框架scrapy

最新推荐文章于 2023-06-19 10:21:34 发布

小学弟.

最新推荐文章于 2023-06-19 10:21:34 发布

阅读量173

点赞数

文章标签：大数据

本文链接：https://blog.csdn.net/antuo123/article/details/124063819

版权

学习目标：
掌握 scrapy爬虫框架知识

学习内容：
爬虫的框架：
scrapy ：

An open source and collaborative framework for extracting the data you need from websites.
In a fast, simple, yet extensible way.
1.开源的爬虫框架
2.快速、简单、高效的方式

2.安装部署

3.基本使用
1.创建一个项目
scrapy startproject test_scrapy

1.项目目录：
   1.scrapy.cfg 【项目的配置文件】
   2.settings.py 【项目的配置文件】
   3. spiders/ 【防止爬虫代码的目录】
1
2
3
4
2.编写爬虫代码
1.创建一个爬虫代码
scrapy genspider [options]

scrapy genspider python01 www.xxx.com
1
‘’’
name:
1.不能重复
2.爬虫文件的名字
‘’’
name = ‘python01’
‘’’
scrapy 允许爬取的 url
‘’’
allowed_domains = [‘www.baidu.com’]
‘’’
scrapy 去爬取的 url 列表
‘’’
start_urls = [‘http://www.baidu.com/’,‘https://www.sougou.com’]

3.启动爬虫项目
1.启动命令
scrapy runspider [options] <spider_file>

scrapy runspider ./test_scrapy/spiders/python01.py

scrapy crawl python01

scrapy crawl python01 --nolog 【使用命令不显示日志信息】

2.数据解析：
   1.标签定位：
返回 selector(xpath,data[xpath表达式结果])
2.数据解析
返回 selector(xpath,data[xpath表达式结果])

   3.取值
       .get()
       .getall()

3.存储数据【持久化数据】
scrapy crawl python01 -o ./sanguo.txt 【不支持txt格式】
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
1.项目目录：
1.scrapy.cfg 【项目的配置文件】
2.settings.py 【项目的配置文件】
3. spiders/ 【防止爬虫代码的目录】
2.编写爬虫代码
1.创建一个爬虫代码
scrapy genspider [options]