声明:
1、 学生刚开始学习爬虫,代码会有很多不严谨,也较为粗糙,单纯用于广大网友参考,希望能起到一定的帮助
2、 如果要转载,请标记出来源
3、本文纯粹用于技术练习,请勿用作非法途径
做题途中所遇问题:
1.最为基础的爬虫,基本没有问题
代码块:
import requests
from bs4 import BeautifulSoup
response = requests.get("https://search.sina.com.cn/")
response.encoding = response.apparent_encoding
bs= BeautifulSoup(response.text, "html.parser")
journal_list=bs.find('ul',class_="ul_hotSearch_main").find_all('li')
for jounrnal in journal_list:
label=jounrnal.find('span').string
content=jounrnal.find('a').string
print(label,content)
结果:
1 王亚平成中国首位出舱女航天员
2 大连新增确诊中6人为冷库员工
3 南京一高校电竞专业毕业生就业率超9成
4 玛莎拉蒂司机17分钟吹气66次
5 EDG背后老板朱一航商业版图
6 翟志刚再说我已出舱感觉良好
7 气温骤降司机准备百个坐垫铺满车厢
8 辽宁前冬历史罕见暴雪
9 九寨沟立冬雪景定妆照
10 男子恶意别停公交车获刑8个月