Scrapy框架 -- POST请求实现案例

一、创建一个Scrapy项目fanyi，并进入该项目创建，fanyipc爬虫文件

scrapy startproject fanyi
cd fanyi
scrapy genspider example example.com

二、修改配置文件settings，关闭君子协议，只看报错信息，自定义UA头

ROBOTSTXT_OBEY = False
LOG_LEVEL = 'ERROR'
USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36"

三、分析目标网址，用的POST请求

四、重写父类方法实现POST请求

start_urls = ["https://fanyi.baidu.com/sug"]


    def start_requests(self):
        POST数据={'kw':'cat'}
        for url in self.start_urls:
            yield scrapy.FormRequest(url=url,callback=self.parse,formdata=POST数据)


    def parse(self, response):
        结果=response.json()
        #print(结果)

五、运行结果

{'errno': 0, 'data': [{'k': 'cat', 'v': 'n. 猫; 猫科动物; 狠毒的女人; 爵士乐爱好者 vt. 把（锚）吊放在锚架上; 〈俚〉寻欢，宿娼'}, {'k': 'CAT', 'v': 'abbr. Carburetor Air 
Temperature 汽化器空气温度'}, {'k': 'Cat', 'v': '[人名] 卡特'}, {'k': 'CaT', 'v': 'abbr. calcium tartrate tetrahydrate 酒石酸钙四水合物'}, {'k': 'cata', 'v': '[机] 渺位;
 依照'}]}

六、如果首页地址是get请求，解析内容用到了POST请求，可以在psrse里面再进行post操作