爬虫框架--scrapy

1.An open source and collaborative framework for extracting the data you need from websites.
In a fast, simple, yet extensible way.
    1.开源的爬虫框架
    2.快速、简单、高效的方式

2.安装部署

3.基本使用
    (1)创建一个项目：scrapy startproject test_scrapy

    (2)项目目录：
            scrapy.cfg  【项目的配置文件】
            settings.py  【项目的配置文件】
            spiders/  【防止 爬虫代码的目录】
    (3)编写爬虫代码:scrapy genspider [options] <name> <domain>
        eg:scrapy genspider python01 www.xxx.com

     '''
    name:
        1.不能重复
        2.爬虫文件的名字
    '''
    name = 'python01'
    '''
       scrapy 允许爬取的 url 
    '''
    allowed_domains = ['www.baidu.com']
    '''
        scrapy 去爬取的 url 列表
    '''
    start_urls = ['http://www.baidu.com/','https://www.sougou.com']

    (4)启动爬虫项目
        启动命令
        scrapy runspider [options] <spider_file>
        eg:scrapy runspider ./test_scrapy/spiders/python01.py
        eg:scrapy crawl python01
        eg:scrapy crawl python01 --nolog 【使用命令 不显示日志信息】

4.数据解析：
(1)标签定位：
                返回 selector(xpath,data[xpath表达式 结果])
 (2)数据解析
                返回 selector(xpath,data[xpath表达式 结果])
            
5.取值:.get()、.getall()

6.存储数据(持久化数据)：scrapy crawl python01 -o ./文件名.格式（不支持txt）