python爬虫

# encoding=utf-8
import sys
import io
import requests, openpyxl, json
from bs4 import BeautifulSoup

''' ================json格式================= '''

''' 爬虫：要对每个页面进行定制化开发     百度翻译https://fanyi.baidu.com/sug '''
# 改变标准输出的默认编码，否则可能会抛异常
sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='GBK')

# 模拟浏览器去发请求
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36 Edg/122.0.0.0'
}

# 控制台的地址 后面的字段可能没有意义，注意取舍   尝试筛选XHR异步请求
# 这个是post请求，返回的是一个json格式
response = requests.post('https://fanyi.baidu.com/sug', headers=headers,
                         params={"kw": "dog"})  # 返回网页内容

llog_print_yzy(response.json()["data"][0]["v"], sys._getframe().f_lineno)


''' ================html格式================= '''


''' 爬虫：要对每个页面进行定制化开发     豆瓣书籍https://book.douban.com/top250 '''
# 改变标准输出的默认编码，否则可能会抛异常、乱码
sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='GBK')

# 模拟浏览器去发请求
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36 Edg/122.0.0.0'
}


def get_douban_books(i):
    # 控制台的地址 后面的字段可能没有意义，注意取舍   尝试筛选XHR异步请求  (确定想要的数据在哪个请求！ 有解析json的网站)   看看分两步，先拿到每条记录的id，再访问目标链接。
    response = requests.get('https://book.douban.com/top250', headers=headers, params={"start": (i - 1) * 25})  # 返回网页内容

    # 对获取到的html，调用html解析器
    soup = BeautifulSoup(response.text, "html.parser")

    # 筛选标签：class、id属性是可选的，不是必须的
    all_titles = soup.findAll("div", attrs={"class": "pl2"})

    for title in all_titles:
        all_book_names = title.findAll('a')
        for book_name in all_book_names:
            # .string 就得到了标签里的文本字符串。。字符串通用的操作方法就可以用了
            # 字符串.strip() 去掉开头和结尾的空格
            # .contents[0]  表示：访问'列表元素'的下一级元素，字符串也算一级，从0开始    （可能有一些隐藏的元素）
            # get("href")   获取超链接
            str_name = str(book_name.contents[0].string).strip()
            llog_print_yzy(str_name, sys._getframe().f_lineno)


for i in range(1, 10 + 1):
    # 因为网页做了限制，一次只能获取25条。并且在接口的入参里不能指定 '一次查询的数量'    (是个好方法)
    get_douban_books(i)