爬虫1 认识和基本爬取UA伪装

最新推荐文章于 2024-05-15 00:06:01 发布

咸瑜

最新推荐文章于 2024-05-15 00:06:01 发布

阅读量1.1k

点赞数

文章标签：爬虫

本文链接：https://blog.csdn.net/m0_46268961/article/details/133037205

版权

本文介绍了Python爬虫的基本原理，并通过实例展示了如何遵循robots.txt协议来避免非法爬取。作者使用requests库访问百度翻译API，获取并解析翻译结果，演示了UA伪装的方法。博客内容涉及网页爬虫、HTTP请求头、Python编程及API接口的使用。

摘要由CSDN通过智能技术生成

robots.txt 协议

君子协议

如果爬取了robots.txt 不允许被爬的东西，会封你IP，你还可以进局子。

可以在网站根目录下加上访问看下存在不，大网站一般是存在的。

百度翻译[练练手 UA 伪标]

# 作者：咸瑜
# 仅供学习使用！！！
import json

import requests

URL = "https://fanyi.baidu.com/sug"

# header UA 伪装
header = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.81 Safari/537.36 Edg/104.0.1293.47'}

key = input("输入要翻译的单词：")
# 参数
data = {
    "kw": key
}

response = requests.post(url=URL, data=data, headers=header).json()

for item in response:
    if type(response[item]) == list:
        for listItem in response[item]:
            print('单词：', listItem['k'], '    中文翻译：', listItem['v'])