今日头条标签新闻的爬取

最新推荐文章于 2023-09-24 20:05:19 发布
最新推荐文章于 2023-09-24 20:05:19 发布
阅读量3.2k 收藏 11
点赞数
分类专栏： python爬虫 文章标签： python爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44013214/article/details/101619293
版权

本文主要讲，用户输入标签后，通过爬虫，可实现获取相关的新闻，将获取的新闻保存为.csv文件。

前期准备

首先导入需要的第三方库

import requests
import time
import random
import json
import pandas as pd

以‘爱国’标签为例，获取的网址为：https://www.toutiao.com/api/search/content/?aid=24&app_name=web_search&offset=0&format=json&keyword=%E7%88%B1%E5%9B%BD&autoload=true&count=20&en_qc=1&cur_tab=1&from=search_tab&pd=synthesis&timestamp=1569648697670】

我们可以发现中间有一个keyword,经验告诉我们，这个就是标签，我们需要改变的的也正是这个，同时我们也该注意到url最后面有一个 timestamp，这个是时间戳，为了避免长时间使用同一个时间戳，这里需要引入time模块，生成一个即时的时间戳。

代码如下：

# 输入标签名
keyword = input('请输入标签名称：')
# 生成时间戳
timestamp = round(time.time()*1000)  
# 生成url
url = f'https://www.toutiao.com/api/search/content/?aid=24&app_name=web_search&offset=0&format=json&keyword={keyword}&autoload=true&count=20&en_qc=1&cur_tab=1&from=search_tab&pd=synthesis&timestamp={timestamp}'

headers的伪装

今日头条的反爬挺厉害的，如果headers中不传入cookie,是无法多次都返回我们需要的新闻内容的，而cookie的获取有简单的方式就是复制粘贴；即打开一个标签的文章，打开开发者工具，在headers中复制cookie，如图;

headers的伪装代码如下:

UserAgent_list = ['Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36',
                  'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36',
                  'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.75 Safari/537.36']
Cookie = 'tt_webid=6741334664763835907; WEATHER_CITY=%E5%8C%97%E4%BA%AC; ' \
                 'tt_webid=6741334664763835907; csrftoken=af5535d3c7e019b988ec0f93b7f1774d; ' \
                 's_v_web_id=9985dd97ccfd39b145674d0955a295a1; ' \
                 '__tasessionId=pj925vib61569648686929'
headers = {
            'User-Agent': random.choices(UserAgent_list),  # 使用random模块中的choices()方法随机从列表中提取出一个内容
            'Cookie': Cookie
        }

请求页面和页面解析

以

'https://www.toutiao.com/api/search/content/?aid=24&app_name=web_search&offset=0&format=json&keyword=%E6%B3%95%E5%9B%BD&autoload=true&count=20&en_qc=1&cur_tab=1&from=search_tab&pd=synthesis&timestamp=1569650894434'

为例；

我们打开开发者工具点击左边第一个可以看到如下图面：

经过分析，我们可以发现新闻主要在字段'data'中:

需要注意的是：data中并非所有都是新闻，最后我发现当出现‘abstract’这个字段时，一定是新闻，这里可以借此加一个判断

点开data中的其中一个内容，如图：

而我们需要的提取的内容分别就是字段：abstract,articleurl,commentscount,datetime,read_count,title

代码实现：

response = requests.get(url, headers=headers)
response.encoding = 'utf-8'
news_json = json.loads(response.text)
news_data = news_json['data']
# 创建相关的列表来保存相关的内容
title_list = []
news_content_list = []
news_time_list = []
read_count_list = []
comment_count_list = []
news_url_list = []
news_keyword_list = []
# 遍历news_data,提取相关的内容
for news in news_data:
    # 加入一个判断条件，判断是否为新闻
    if 'abstract' in news.keys():
        # 标题
        title_list.append(news['title'])
        # 新闻内容
        news_content_list.append(news['abstract'])
        # 发布时间
        news_time_list.append(news['datetime'])
        # 阅读量
        read_count_list.append(news['read_count'])
        # 评论数
        comment_count_list.append(news['comment_count'])
        # 新闻链接
        news_url_list.append(news['article_url'])
        # 新闻关键字
        news_keyword_list.append(news['keyword'])
# 将获取的内容组成字典
news_info_dict = dict()
news_info_dict['title'] = title_list
news_info_dict['content'] = news_content_list
news_info_dict['read_count'] = read_count_list
news_info_dict['news_time'] = news_time_list
news_info_dict['comment_count'] = comment_count_list
news_info_dict['news_url'] = news_url_list
news_info_dict['news_keyword'] = news_keyword_list

新闻内容的保存

使用pandas库的to_csv来保存成.csv文件

代码如下：

news_DF = pd.DataFrame(news_info_dict)
news_DF.to_csv(self.keyword+'标签的新闻内容.csv', mode='a', encoding='utf_8_sig')  # 如果使用‘utf-8’编码，还出现中文乱码，建议使用'utf_8_sig'
print('文件保存成功！！')

完整代码

上面的是按顺序执行下来的，而完整代码我是用面向对象的编程方式（即使用类）

完整代码如下：

# 导入所需的库
import requests
import json
import pandas as pd
import time
import random

class toutiao_spider():
    def __init__(self, keyword):
        # 标签名
        self.keyword = keyword
        # 生成一个13位的时间戳
        self.timestamp = round(time.time()*1000)

    def get_headers(self):
        """
        headers伪装：User-Agent和Cookie
        :return: headers
        """
        UserAgent_list = ['Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36',
                          'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36',
                          'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.75 Safari/537.36']
        Cookie = 'tt_webid=6741334664763835907; WEATHER_CITY=%E5%8C%97%E4%BA%AC; ' \
                 'tt_webid=6741334664763835907; csrftoken=af5535d3c7e019b988ec0f93b7f1774d; ' \
                 's_v_web_id=9985dd97ccfd39b145674d0955a295a1; ' \
                 '__tasessionId=pj925vib61569648686929'

        headers = {
            'User-Agent': random.choices(UserAgent_list)[0],  # 使用random模块中的choices()方法随机从列表中提取出一个内容
            'Cookie': Cookie
        }
        return headers

    def get_news_info(self, json_data):
        """
        传入json格式的内容，对内容进行提取：分别提取新闻的标题及内容，发布日期，阅读量，评论数，新闻url，新闻所属的关键字
        :param json_data: json格式的文本
        :return: news_info_dict
        """

        # 将json格式转化为字典格式
        dict_data = json.loads(json_data, encoding='utf-8')
        # 新闻的主要内容都在dict_data中的data字段中
        news_data = dict_data['data']
        # 创建相关的列表来保存相关的内容
        title_list = []
        news_content_list = []
        news_time_list = []
        read_count_list = []
        comment_count_list = []
        news_url_list = []
        news_keyword_list = []
        # 遍历news_data,提取相关的内容
        for news in news_data:
            # 加入一个判断条件，判断是否为新闻
            if 'abstract' in news.keys():
                # 标题
                title_list.append(news['title'])
                # 新闻内容
                news_content_list.append(news['abstract'])
                # 发布时间
                news_time_list.append(news['datetime'])
                # 阅读量
                read_count_list.append(news['read_count'])
                # 评论数
                comment_count_list.append(news['comment_count'])
                # 新闻链接
                news_url_list.append(news['article_url'])
                # 新闻关键字
                news_keyword_list.append(news['keyword'])
        # 将获取的内容组成字典
        news_info_dict = dict()
        news_info_dict['title'] = title_list
        news_info_dict['content'] = news_content_list
        news_info_dict['read_count'] = read_count_list
        news_info_dict['news_time'] = news_time_list
        news_info_dict['comment_count'] = comment_count_list
        news_info_dict['news_url'] = news_url_list
        news_info_dict['news_keyword'] = news_keyword_list
        return news_info_dict

    def save_to_csv(self, news_info_dict):
        """
        使用pandas中的to_csv()将新闻内容保存为.csv 文件
        :param news_info_dict: 新闻内容字典
        :return:
        """

        news_DF = pd.DataFrame(news_info_dict)
        news_DF.to_csv(self.keyword+'标签的新闻内容.csv', mode='a', encoding='utf_8_sig')  # 如果使用‘utf-8’编码，还出现中文乱码，建议使用'utf_8_sig'
        print('文件保存成功！！')

    def get_response(self):
        """
        请求页面
        :return:json_data
        """

        # 拼接url
        url = f'https://www.toutiao.com/api/search/content/?aid=24&app_name=web_search&offset=0&format=json&keyword={self.keyword}&autoload=true&count=20&en_qc=1&cur_tab=1&from=search_tab&pd=synthesis&timestamp={self.timestamp}'
        # 获取headers
        headers = self.get_headers()
        # 请求页面
        response = requests.get(url=url, headers=headers)
        if response.status_code == 200:
            print('请求成功！！')
        else:
            print('请求失败，正在尝试发起请求！！')
            self.get_response()
        json_data = response.text
        return json_data

    def run(self):
        """
        主运行函数
        :return:
        """
        json_data = self.get_response()
        news_info_dict = self.get_news_info(json_data)
        self.save_to_csv(news_info_dict)


if __name__ == '__main__':
     spider = toutiao_spider(keyword='爱国')
     spider.run()

以上就是本期的内容，本文如果存在不足和错误欢迎指出，谢谢大家的阅读！！！

Python爬虫教程：爬取热点新闻数据
2201_76125261的博客
03-12 1525
通过本篇博客，我们介绍了如何使用 Python 爬虫爬取新闻网站的数据，重点介绍了如何应对静态页面和动态页面的爬取，如何应对反爬虫机制以及如何使用 Scrapy 框架高效地抓取新闻数据。掌握这些技术后，你可以构建自己的新闻爬虫，收集各类新闻数据并进行分析、存储。
基于Python的今日头条新闻爬虫实现：最新技术与代码详解
最新发布
2201_76125261的博客
02-22 828
本文详细介绍了如何使用Python实现今日头条新闻爬虫，涵盖了从环境配置到数据存储的完整流程。文章重点探讨了最新爬虫技术的应用，包括异步请求、反反爬虫策略和高效数据解析方法。通过详细的代码示例和解释，读者将掌握构建高效、稳定的今日头条新闻爬虫系统的技能，为新闻分析、舆情监测等应用提供数据支持。关键词Python爬虫；今日头条；异步请求；反爬虫策略；数据解析；数据存储。
根据关键词使用scrapy爬取今日头条网站新闻各类信息和内容页
10-10
在今日头条上输入关键词，爬取与关键词相关的新闻各类信息和内容页。
小福利，爬取今日头条新闻信息
littlespider889的博客
10-15 843
大家好，我是天空之城，今天给大家带来小福利，爬取今日头条新闻信息 话不多说，代码如下 import requests headers={'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'} url='https://www.toutiao.com/api/search/content/'
python爬取今日头条评论,python3爬今日头条新闻
chatgpt002的博客
09-24 472
首先，打开第一个网络请求，这个请求的URL就是当前的链接，打开Preview选项卡查看Response Body。如果页面中的内容是根据第一个请求得到的结果渲染出来的，那么第一个请求的源代码中必然会包含页面结果中的文字。来创建文件夹，然后请求这个图片链接，获取图片的二进制数据，以二进制的形式写入文件。接下来，可以滑动页面，多加载一些新结果。这样一来，我们就可以通过接口批量获取数据了，然后将数据解析，将图片下载下来即可。不出所料，此处出现了一个比较常规的Ajax请求，看看它的结果是否包含了页面中的相关数据。
头条的_signature这个如何_python 简单爬取今日头条热点新闻
weixin_39839410的博客
12-05 748
今日头条如今在自媒体领域算是比较强大的存在，今天就带大家利用python爬去今日头条的热点新闻，理论上是可以做到无限爬取的；在浏览器中打开今日头条的链接，选中左侧的热点，在浏览器开发者模式network下很快能找到一个‘?category=new_hot...’字样的文件，查看该文件发现新闻内容的数据全部存储在data里面，且能发现数据类型为json；如下图：这样一来就简单了，只要找到这个文件的r...
基于TF-IDF的新闻标签提取
weixin_33913377的博客
06-07 262
基于TF-IDF的新闻标签提取 1. 新闻标签 　　新闻标签是一条新闻的关键字，可以由编辑上传，或者通过机器提取。新闻标签的提取主要用于推荐系统中，所以，提取的准确性影响推荐系统的有效性。同时，对于将标签展示出来的新闻网站，标签的准确性也会影响用户体验。 2. 新闻标签提取算法 　　新闻首先是一段文本，新闻的标签首先是这一段文本的关键字。在文本关键字提取当中，TD-IDF是首先可以想到的算...
python爬虫爬取今日头条_python 简单爬取今日头条热点新闻(一)
weixin_39817176的博客
11-20 973
今日头条如今在自媒体领域算是比较强大的存在，今天就带大家利用python爬去今日头条的热点新闻，理论上是可以做到无限爬取的；在浏览器中打开今日头条的链接，选中左侧的热点，在浏览器开发者模式network下很快能找到一个‘?category=new_hot...’字样的文件，查看该文件发现新闻内容的数据全部存储在data里面，且能发现数据类型为json；如下图：这样一来就简单了，只要找到这个文件的r...
python爬取今日头条后台数据_爬虫爬取今日头条数据代码实现
weixin_42519126的博客
02-04 3323
课程链接讲师的公众号文章：今日头条数据抓取及持久化(完整代码版,含IP和用户代理)​mp.weixin.qq.com课程代码抓取并持久化user-agent工具utils.py对于爬虫工具，需要设置发起请求的user-agent，import fake-useragent可以实现，但是每次更换user-agent都要发起网络请求，并不是好办法，所以比较好的做法是：抓取文件，本地json存储备用。怎...
Go-根据指定标签爬取今日头条文章图片并存储
08-14
在本项目中，"Go-根据指定标签爬取今日头条文章图片并存储" 是一个使用Go语言编写的Web爬虫程序，其目标是抓取今日头条网站上与特定标签相关的文章中的图片，并将这些图片保存到本地。这个项目对于学习Go语言的网络...
今日头条 爬虫 java_Java爬虫实践：Jsoup+HttpUnit爬取今日头条、网易、搜狐、凤凰新闻...
weixin_39996750的博客
02-24 865
0x0 背景最近学习爬虫，分析了几种主流的爬虫框架，决定使用最原始的两大框架进行练手：Jsoup&HttpUnit其中jsoup可以获取静态页面，并解析页面标签，最主要的是，可以采用类似于jquery的语法获取想要的标签元素，例如：//1.获取url地址的网页htmlhtml = Jsoup.connect(url).get();// 2.jsoup获取新闻标签Elements newsA...
python学习抓取头条首页新闻
09-26
学习Python3的demo，实现了抓取网页版今日头条新闻首页的内容，并解析输出到控制台，具体教程请移步博客：https://blog.csdn.net/xiaocy66/article/details/82829120
爬取今日头条Ajax请求
04-09
网址：https://www.toutiao.com/ 搜索头条 可以得到这个网址： https://www.toutiao.com/search/?keyword=街拍 开发者工具查看： 我们在搜索中并没有发现上面的文字，那么我们可以初步判定，这个由Ajax加载，然后渲染出来的。此时切换到xhr过滤，可以看到确实是ajax请求。 观察请求的特点，发现只有offset是改变的，而且一次加20,。 我们可以用它来控制数据分页，然后把图片下载下来。代码如下： import requests import os from urllib.parse import
java实现简单的爬虫之今日头条
10-21
最近在学习搜索方面的东西，需要了解网络爬虫方面的知识，虽然有很多开源的强大的爬虫，但本着学习的态度，想到之前在做资讯站的时候需要用到爬虫来获取一些文章,今天刚好有空就研究了一下.在网上看到了一个demo,使用的是Jsoup,我拿过来修改了一下,有需要的朋友可以参考
今日头条新闻文章采集爬虫.csv
05-10
单日今日头条新闻文章采集，信息量大
新闻中文本地域信息标签的抽取
Inner Peace
08-31 3304
这里主要是基于规则的新闻地域提取方法，这里简要记录一下思路。 首先我们拥有了地域信息数据库，并且标注了省市的layer层信息。主要思路是利用nlp库，分词得到标有地名属性词，在于地域数据库匹配。 第一步，提取正文分词得到标注为地名的词语。 第二步，匹配地域数据库。 按照数据库的分类有 省：一级 市：二级 区、县：三级 算法伪代码：code指当前城市的key,pcod
爬取百度首页新闻标签文本
m0_53357280的博客
04-22 210
代码如上，第七行错误，IndexError: list index out of range，大神帮忙看一看要怎么改
python今日内容_Python爬取今日头条JS内容
weixin_36316642的博客
02-03 482
参考网站：http://blog.csdn.net/u011475134/article/details/70198533目标：爬取热点新闻的标题，链接(图1)图1---- 爬取目标核心技术：所爬内容为JS加载，需要从网页响应中找到JS脚本返回的JSON数据(1)找到JS请求的数据接口1.打开网页调试工具网页调试工具2.发现所需要的数据在文件名含“?category“字段的文件中，筛选，只显示该种...
爬取今日头条图片
As的博客
09-20 592
import requests from urllib.parse import urlencode import os from hashlib import md5 from multiprocessing.pool import Pool def get_page(offset): params={ 'offset':offset, 'format...
使用Scrapy和Selenium爬取今日头条关键词新闻
在爬取今日头条网站新闻时，可以通过构造含有特定关键词的URL请求，然后解析返回的页面内容，提取出与关键词相关的新闻信息。 4. Selenium工具介绍： Selenium是一个用于Web应用程序测试的工具。它支持浏览器自动化...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值