Python 使用正则表达式来爬虫

获取https://36kr.com/网站首页所有的新闻

操作步骤： 

 1、访问本网站,使用手机方式|检查，需要ctrl+F查找你新闻的关键词语

2、找到之后，你可以查看是在<script></script> ，有key:value

3、 编写代码，获取数据

import re
import  requests
import  json

#头部
headers={"userAgent":"Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Mobile Safari/537.36"}

#URL路径
url="https://36kr.com/"
response = requests.get(url,headers=headers)
str = response.content.decode()
# print(str)

#查找,使用正在表达式->取数组的第一个
result=re.findall("<script>window.initialState=(.*?)</script>",str)[0]
# print(result)


#先写入到本地，再查看
with open("36kr.json","w",encoding="utf-8") as f:
     f.write(result)

#加载json转换成python类型
json.loads(result)
print(result)

4、可以先写入到本地上，再通过这个方式来查找是哪里有问题？ 

注意： 往一个文件中写入多个json串，不再是一个json串，不能直接读取

          一行写一个json串，按照行来读取

5、效果：