Python之路__爬虫篇:新浪新闻爬取回顾（三）

最新推荐文章于 2023-05-19 22:18:44 发布

MacanLiu

最新推荐文章于 2023-05-19 22:18:44 发布

阅读量373

点赞数

分类专栏： Python

本文链接：https://blog.csdn.net/idlehand/article/details/79069643

版权

Python 专栏收录该内容

17 篇文章 0 订阅

订阅专栏

获取首页分页 range(1, 2) 可以范围大一点

#3- 获取首页新闻分页 并拿出所有分页的新闻URL 并取得对应新闻的内容
import json

commonPage = 'http://api.roll.news.sina.com.cn/zt_list?channel=news&cat_1=gnxw&cat_2==gdxw1||=gatxw||=zs-pl||=mtjj&level==1||=2&show_ext=1&show_all=1&show_num=22&tag=1&format=json&page={}'

def getNewLists(commonPage):

    newsList = []

    for i in range(1, 2):
        newsPage = commonPage.format(i)
        # print(newsPage)

        reContent = requests.get(newsPage)
        reContent.encoding = 'utf-8'

        if reContent.status_code == 200:
            jsonData = json.loads(reContent.text)

            for newDic in jsonData['result']['data']:
                newsURL = newDic['url']

                #print(newsURL)

                newsList.append(getNewsDetail(newsURL))
        else:
            print('分页结束******')
            break

    return newsList