某些网页为了反爬, 把内容放到js代码中, 我们要在
重点是 json.loads 实现json格式和python字典的转换, [{}, {}] 这种格式
具体代码:
import requests
from bs4 import BeautifulSoup
import json
res = requests.get("https://channel.chinanews.com.cn/u/gn-qwys.shtml")
bs = BeautifulSoup(res.text, "html.parser")
bs1 = bs.find('script', {'type': 'text/javascript'}).get_text()
json_str = bs1.split("=")[1]
a = json_str.split("var pagebean")[0]
b = json_str.split(";")[0]
dic = json.loads(b)
for d in dic:
if 'title' in d:
print(f"标题: {d['title']}")
爬取数据:
C:\ProgramData\anaconda3\envs\pythonproject3\python.exe C:\Users\Administrator\Desktop\pythonproject3\Demo1.py
标题: 追记因公牺牲民警许树林:从警23年,他像大树一样把根扎进基层
标题: 山西青年返乡创业:黄芪种植铺就农民增收路
标题: 西宁穿警服的社区副书记:守护万人社区 近6年电诈案“零”发生
标题: 山西省人大代表李媛:扎根基层一线 倾心教书育人
标题: 新疆兵团护林员马晓华植树造林28年守护生态
标题: 北京医疗团队走进西藏洛隆 把医疗健康知识留在高原
标题: (“八八战略”观澜)海岛守“候”20年:让“神话之鸟”有个家
标题: 滚滚热浪中,他们仍在岗位坚守
标题: 一个青年画家与一座抗战纪念馆
标题: 通讯:广西百岁抗战老兵韦忠诚的传奇人生
标题: 台湾资深配音演员康殿宏40余年“声音情缘”:热爱可抵岁月漫长
标题: 用身体隔开持刀纷争 “女勇士”柴丽娟:来不及害怕
标题: 深扎基层金融二十余载的“75后” 贴心服务守护“银发一族”
标题: 【寻味中华丨饮食】浙江杨梅:从“时令”变“时髦”
标题: “民间艺术之乡”浙江乐清:黄杨木雕发源地助力“文化自信”
标题: 采种、育种南药近千种 九旬老人深耕南药六十余载
标题: 与山川草木为伴 护林人一年走出6000余公里
标题: 浙江“千岛之城”新乡贤的多面人生:深耕海岛不断转型
标题: 乡风乡韵绘新景 和美“湘村”入画来
标题: 浙江一高校请毕业生吃豪华自助 3年间惠及11200余名学子
进程已结束,退出代码0