python爬取百度新闻所有的新闻的前1页标题和URL地址

最新推荐文章于 2022-01-27 23:23:40 发布

·慕晴·

最新推荐文章于 2022-01-27 23:23:40 发布

阅读量5.8k

点赞数

分类专栏： Python爬虫文章标签： python

本文链接：https://blog.csdn.net/chao_qing/article/details/77864352

版权

本文分享了一段Python代码，用于爬取百度新闻首页的新闻标题和URL，经测试可运行，并附有运行效果截图。

摘要由CSDN通过智能技术生成

这是我自己写的一个爬取百度新闻的一个代码，欢迎大家多来讨论，谢谢！(自己已经测试可以使用，在文章最后见效果图)

'''
re模板：2.2.1
requests模板：2.18.4
bs4模板：4.6.0
json模板：2.0.9
爬取百度新闻所有的新闻的前1页 标题和URL地址
'''
import requests
import json
from bs4 import BeautifulSoup
import re

#获得每页新闻标题和新闻地址
def getPageInfo(url,page):
    newurl=url + str(page)
    res = requests.get(newurl)
    jd = json.loads(res.text)
    list1 = jd['data']['list']
    it = i