# encoding=utf-8
import sys
import io
import requests, openpyxl, json
from bs4 import BeautifulSoup
''' ================json格式================= '''
''' 爬虫:要对每个页面进行定制化开发 百度翻译https://fanyi.baidu.com/sug '''
# 改变标准输出的默认编码,否则可能会抛异常
sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='GBK')
# 模拟浏览器去发请求
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36 Edg/122.0.0.0'
}
# 控制台的地址 后面的字段可能没有意义,注意取舍 尝试筛选XHR异步请求
# 这个是post请求,返回的是一个json格式
response = requests.post('https://fanyi.baidu.com/sug', headers=headers,
params={"kw": "dog"}) # 返回网页内容
llog_print_yzy(response.json()["data"][0]["v"], sys._getframe().f_lineno)
''' ================html格式================= '''
''' 爬虫:要对每个页面进行定制化开发 豆瓣书籍https://book.douban.com/top250 '''
# 改变标准输出的默认编码,否则可能会抛异常、乱码
sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='GBK')
# 模拟浏览器去发请求
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36 Edg/122.0.0.0'
}
def get_douban_books(i):
# 控制台的地址 后面的字段可能没有意义,注意取舍 尝试筛选XHR异步请求 (确定想要的数据在哪个请求! 有解析json的网站) 看看分两步,先拿到每条记录的id,再访问目标链接。
response = requests.get('https://book.douban.com/top250', headers=headers, params={"start": (i - 1) * 25}) # 返回网页内容
# 对获取到的html,调用html解析器
soup = BeautifulSoup(response.text, "html.parser")
# 筛选标签:class、id属性是可选的,不是必须的
all_titles = soup.findAll("div", attrs={"class": "pl2"})
for title in all_titles:
all_book_names = title.findAll('a')
for book_name in all_book_names:
# .string 就得到了标签里的文本字符串。。字符串通用的操作方法就可以用了
# 字符串.strip() 去掉开头和结尾的空格
# .contents[0] 表示:访问'列表元素'的下一级元素,字符串也算一级,从0开始 (可能有一些隐藏的元素)
# get("href") 获取超链接
str_name = str(book_name.contents[0].string).strip()
llog_print_yzy(str_name, sys._getframe().f_lineno)
for i in range(1, 10 + 1):
# 因为网页做了限制,一次只能获取25条。并且在接口的入参里不能指定 '一次查询的数量' (是个好方法)
get_douban_books(i)
python爬虫
最新推荐文章于 2024-09-16 14:49:33 发布