2021-07-23爬虫学习笔记

最新推荐文章于 2025-06-01 21:09:33 发布

月非非月

最新推荐文章于 2025-06-01 21:09:33 发布

阅读量176

点赞数

分类专栏：爬虫笔记文章标签： python

本文链接：https://blog.csdn.net/NTeasy_not/article/details/119045040

版权

笔记同时被 2 个专栏收录

6 篇文章

订阅专栏

爬虫

5 篇文章

订阅专栏

REQUESTS案例之百度翻译

#需求 百度翻译的爬取
#页面局部刷新 阿贾克斯请求 网络的部分先延后吧就记住怎么找的就行了
#post请求 post与get的区别 5、传输数据的大小 get一般传输数据大小不超过2k-4k（根据浏览器不同，限制不一样，但相差不大）post请求传输数据的大小根据php.ini 配置文件设定，也可以无限大。
#而百度翻译中较大有200KB
#指定url，进行UA伪装，POST发送请求，放回响应数据并且储存
import json
import requests
if __name__=="__main__":
    headers ={
        'User_Agent':"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.164 Safari/537.36"
    }
    a =input('enter a word')
    data ={
        'kw':a
    }
    post_url ='https://fanyi.baidu.com/sug'
    response = requests.post(url=post_url,data=data,headers=headers)
    #响应数据是JSON型的才能用JSON型
    dic_obj = response.json()
    print(dic_obj)
    #进行持久化存储
    filename =a +'.json'
    fp = open(filename,'w',encoding='utf-8')
    json.dump(dic_obj,fp=fp,ensure_ascii=False) #ensure是看是否有中文，FP就是写到那个文件中，第一个位置是用来看是写入哪个文件的
    print('over')