scrapy框架爬虫

#Scrapy爬虫

爬虫四个步骤
新建项目（scrapy startproject XXX）:新建一个新的爬虫项目
明确目标（编写items.py）:明确你想要抓取的目标
制作爬虫（sp ders/XXspider.py）:制作爬虫开始爬取网页
存储内容（pipelines.py）:设计管道存储爬取内容

#安装scrapy
在terminal窗口输入以下命令
pip install scrapy

#新建项目
scrapy startproject <项目名称>

#创建爬虫文件
scrapy genspider <爬虫名称> <网站域名>
注意：1、爬虫名称不能与项目名称一样
     2、网站域名是允许爬虫采集的域名
           ——baidu.com   zhihu.com

import scrapy


#创建爬虫类，并且继承自scrapy.Spider(爬虫最基础的类)
class BaiduSpider(scrapy.Spider):
    name = 'baidu'# 爬虫名字：必须唯一，不能重名
    allowed_domains = ['baidu.com']# 允许采集的域名
    start_urls = ['http://baidu.com/']# 开始采集的网站

    # 解析响应数据，提取数据或者网址等，response就是网页源码
    def parse(self, response):
        pass

分析网站
   提取数据
      1、正则表达式（基础）
      2、XPath（从HTML中提取数据）
      3、CSS（从HTML中提取数据）

   response.xpath(xpath语法).get()
      get()是获得一个元素
      getall()是获得多个元素

运行爬虫
   scrapy crawl <爬虫名称>

   scrapy.Request(next_url,callback = self.parse)# 生成器
   Request()发出请求，类似于request.get()
   callback是将发出去的请求得到的响应还交给自己处理
   注意：回调函数不要写()只写函数名字