一周搞定scrapy之2，伪装成浏览器及用css提取数据

实现爬虫的过程

request对象参数及含义

参数	说明
url	HTTP请求的网站
method	HTTP请求的方法，如“GET”
body	HTTP的请求体，类型为str或unicode
headers	HTTP的请求体，字典型
cookies	请求的cookie值，字典型或列表型，可以实现自动登录的效果
encoding	请求的编码方式，默认为utf-8
callback	指定回调函数，即确定页面解析函数，默认为parse（）
meta	字典类型，用于数据的传递
priority	请求的优先级，默认为0，优先级高的请求优先下载
dont_filter	如果对同一个url多次提交相同请求，可以使用此项来忽略重复的请求，避免重复下载，默认为false
errback	在处理请求时引发任何异常时调用的函数

只需要改一点点代码就行了

加入headers就行

#-*-coding:utf-8-*-
from scrapy import Request
from scrapy.spiders import Spider
class HotSalesSpider(Spider):
    #定义爬虫名称
    name = 'hot'
    qidian_headers= {"User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36 QQBrowser/9.3"}
    # #起始的URL列表
    # start_urls = ["https://www.qidian.com/rank/hotsales?style=1"]

    def start_requests(self):
        url = "https://www.qidian.com/rank/hotsales?style=1"
        yield Request(url,headers=self.qidian_headers,callback=self.parse)




    #解析函数
    def parse(self, response):
        #使用xpath定位到小说内容的div元素
        list_selector = response.xpath("//div[@class='book-mid-info']")
        #依次读取每部小说的元素，从中获取名称、作者、类型和形式
        for one_selector in list_selector:
            #获取小说名称
            name = one_selector.xpath("h4/a/text()").extract()[0]
            #获取作者
            author = one_selector.xpath("p[1]/a[1]/text()").extract()[0]
            #获取类型
            type = one_selector.xpath("p[1]/a[2]/text()").extract()[0]
            #获取形式（连载/完本）
            form = one_selector.xpath("p[1]/span/text()").extract()[0]
            #将爬取到的一部小说保存到字典中
            hot_dict = {"name":name,   #小说名称
                     "author":author,  #作者
                     "type":type,      #类型
                     "form":form}      #形式
            #使用yield返回字典
            yield hot_dict

#-*-coding:utf-8-*-
from scrapy import Request
from scrapy.spiders import Spider#导入Spider类
class HotSalesSpider(Spider):
    #定义爬虫名称
    name = 'hotcss'
    #获取初始Request
    def start_requests(self):
        url = "https://www.qidian.com/rank/hotsales?style=1"
        #生成请求对象，设置url，callback
        yield Request(url,callback=self.qidian_parse)
    # 使用CSS选择器解析数据
    def qidian_parse(self, response):
        #使用css定位到小说内容的div元素，生成选择器
        list_selector = response.css("[class='book-mid-info']")
        #依次读取每部小说，从中获取名称、作者、类型和形式
        for one_selector in list_selector:
            #获取小说名称
            name = one_selector.css("h4>a::text").extract_first()
            #获取作者
            author = one_selector.css(".author a::text").extract()[0]
            #获取类型
            type = one_selector.css(".author a::text").extract()[1]
            #获取形式（连载还是完本）
            form = one_selector.css(".author span::text").extract_first()
            #将爬取到的一部小说保存到字典中
            hot_dict = {"name":name,     #小说名称
                        "author":author, #作者
                        "type":type,     #类型
                        "form":form}     #形式
            #使用yield返回字典
            yield hot_dict