爬虫——post请求，代理，cookie

发起post请求

• 改写def start_requests(self):
• 封装参数字典格式
• 回调函数yield scrapy.FormRequest(url=url, formdata=data, callback=self.parse)

    class PostdemoSpider(scrapy.Spider):
        name = 'postDemo'
        # allowed_domains = ['www.baidu.com']
        start_urls = ['https://fanyi.baidu.com/sug']

        '''
        最开始是有start_request函数的，默认是get请求
        def start_requests(self):
            for url in self.start_urls:
                yield scrapy.Request(url=url,callback=self.parse)

        发起post请求常见方式：
            一定要对start_requests方法进行重写。
            Request（）方法中给method属性赋值成post
            FormRequest（）进行post请求的发送

        '''

        def start_requests(self):
            print('start_request')
            data = {'kw': 'dog'}