获取https://36kr.com/网站首页所有的新闻
操作步骤:
1、访问本网站,使用手机方式|检查,需要ctrl+F查找你新闻的关键词语
2、找到之后,你可以查看是在<script></script> ,有key:value
3、 编写代码,获取数据
import re
import requests
import json
#头部
headers={"userAgent":"Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Mobile Safari/537.36"}
#URL路径
url="https://36kr.com/"
response = requests.get(url,headers=headers)
str = response.content.decode()
# print(str)
#查找,使用正在表达式->取数组的第一个
result=re.findall("<script>window.initialState=(.*?)</script>",str)[0]
# print(result)
#先写入到本地,再查看
with open("36kr.json","w",encoding="utf-8") as f:
f.write(result)
#加载json转换成python类型
json.loads(result)
print(result)
4、可以先写入到本地上,再通过这个方式来查找是哪里有问题?
注意: 往一个文件中写入多个json串,不再是一个json串,不能直接读取
一行写一个json串,按照行来读取
5、效果: