爬虫篇——腾讯新闻的详细采集过程（列表新闻和新闻内容）

最新推荐文章于 2024-05-07 23:13:35 发布
最新推荐文章于 2024-05-07 23:13:35 发布
阅读量4.9k 收藏 19
点赞数 1
分类专栏： 爬虫 文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41510985/article/details/118420651
版权

腾讯新闻、新浪新闻的详细采集过程

一、腾讯新闻采集

1.按分类采集腾讯新闻列表

分析过程：

  1. 采集的网页地址：https://xw.qq.com/?f=c_news
    在这里插入图片描述
    2.先进入一个分类(娱乐)来分析数据如何传输的
    在这里插入图片描述
    1. 通过在娱乐分类页面里，向下滑动新闻加载更多数据，同时 利用chrome的Network可以发现有一个加载下一页的url接口： https://pacaio.match.qq.com/xw/site?ext=ent&channel=ent&webview=wechat&qudao=default&network=WIFI&num=20&page=1
    2. 通过分析，上面这个接口就是获取新闻列表的数据接口。下一步我们将要模拟请求 去爬取这个url接口数据。 而且我们发现只需要修改请求url里的page的参数就可以得到新闻第几页数据了。这就更方便我们去遍历获取新闻数据了。
      在这里插入图片描述
      5.接下来，我们就可以写代码去请求接口并解析返回的json数据了

具体代码：

```java

    public static void main(String[] args) {
        //循环10次  采集10页
        for (int i = 1; i < 10; i++) {
            String url="https://pacaio.match.qq.com/xw/site?ext=ent&channel=ent&webview=wechat&qudao=default&network=WIFI&num=20&page="+i+"&_t=1625219273";
            String s = get(url);
            JSONObject jsonObject = JSONObject.parseObject(s);

            JSONArray jsonArray = jsonObject.getJSONArray("data");
            if (jsonArray.isEmpty())
                continue;
            for (Object o : jsonArray) {
                JSONObject jsonObject1 = JSONObject.parseObject(String.valueOf(o));
                //新闻id
                String sourceid = jsonObject1.getString("app_id");
                //作者
                String source = jsonObject1.getString("source");
                //标题
                String topic = jsonObject1.getString("title");
                //新闻详细内容的地址
                String sourceurl = jsonObject1.getString("url");
                //新闻的创建时间
                String datetime = jsonObject1.getString("update_time");

                //新闻的评论数
                int like_count = jsonObject1.getInteger("comment_num");

                //新闻的缩略图
                JSONArray jsonArray1 = jsonObject1.getJSONArray("multi_imgs");

                System.out.println(topic);
                System.out.println(sourceurl);

            }
        }
    }



    //get请求的工具方法
    private static String get(String url) {
        String result = "";
        BufferedReader in = null;
        try {
            URL realUrl = new URL(url);
            URLConnection connection = realUrl.openConnection(); // 打开和URL之间的连接
            // 设置通用的请求属性
            connection.setRequestProperty("Accept-Charset", "UTF-8");
            connection.setRequestProperty("content-type", "text/html; charset=utf-8");
            connection.setRequestProperty("accept", "*/*");
            //connection.setRequestProperty("Cookie", "tt_webid=20 B, session, HttpOnly www.toutiao.com/");
            connection.setRequestProperty("Cookie", "utm_source=vivoliulanqi; webpSupport=%7B%22lossy%22%3Atrue%2C%22animation%22%3Atrue%2C%22alpha%22%3Atrue%7D; tt_webid=6977609332415530509; ttcid=1b2305f8baa44c8f929093024ae40dbf62; csrftoken=f8363c5a04097f7fd5d2ee36cf5bbd40; s_v_web_id=verify_kqbxnll7_QA9Z6n7G_LFul_4hTP_9jZf_zgZYUK3ySQOT; _ga=GA1.2.2038365076.1624601292; _gid=GA1.2.2124270427.1624601292; MONITOR_WEB_ID=518b84ad-98d5-4cb4-9e4e-4e3c3ec3ffe2; tt_webid=6977609332415530509; __ac_nonce=060d5aa4200b3672b2734; __ac_signature=_02B4Z6wo00f010CALQgAAIDA8HHBwRR4FntApCmAALEAeRZEDep7WW-RzEt50sUvtrkCpbRJMhboWeZNJ2s66iti2ZD-7sSiClTqpKs6b7ppQUp1vD8JHANxzSZ1srY4FF1y1iQitM1bQvYIf3; ttwid=1%7CTBE591UU7daDw3rsqkr6wXM1DqlOA3iyjUnPK-W6ThQ%7C1624615515%7Ccb0f077482096b50d19757a23f71240547d6b0c767bf9ab90fa583d022f47745; tt_scid=af-M9Xg-rmZAnPsCXhZu.2.DfKZe95AyPKJFzU0cL1KarDLfV3JYeIf.G28mIwhI57a0");
            connection.setRequestProperty("connection", "Keep-Alive");
            connection.setRequestProperty("user-agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.106 Safari/537.36");
            connection.connect(); // 建立实际的连接
            Map<String, List<String>> map = connection.getHeaderFields(); // 获取所有响应头字段

            in = new BufferedReader(new InputStreamReader(
                    connection.getInputStream(),"utf-8"));
            String line;
            while ((line = in.readLine()) != null) {
                result += line;
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
        // 使用finally块来关闭输入流
        finally {
            try {
                if (in != null) {
                    in.close();
                }
            } catch (Exception e2) {
                e2.printStackTrace();
            }
        }
        return result;
    }
```

2.采集腾讯新闻内容

分析过程

  1. 上面我们已经采集到了列表数据，拿到了 新闻内容地址：
    在这里插入图片描述
  2. 打开新闻链接内容，分析如何获取内容。https://xw.qq.com/cmsid/20210630A09TUE00
    在这里插入图片描述
    3.打开新闻页面后，在chrome的浏览器 按住 Ctrl+U 查看内容的资源文件：
    在这里插入图片描述
    4.复制出资源文件里的html内容，美化成好看的格式后。分析如何拿到新闻 的文本和图片。
    在这里插入图片描述
    5.分析后， html里有一个js变量（json_content）里，有我们要用的数据。

在这里插入图片描述

具体代码

 //采集腾讯内容
   
    public static void main(String[] args) {
        String s = get("https://xw.qq.com/cmsid/20210630A09TUE00");

        String[] split = s.split("json_content\":");
        if (split.length<=1){
            return;
        }
        String[] split1 = split[1].split("]");
        JSONArray array = JSONObject.parseArray(split1[0] + "]");
        StringBuilder contentBuffer = new StringBuilder(); //得到主体内容
        for (Object o : array) {
            JSONObject jsonObject = JSONObject.parseObject(String.valueOf(o));
            String value = jsonObject.getString("value");
            Integer type = jsonObject.getInteger("type");
            if (type==1){
                contentBuffer.append("<p>" + value + "</p>");
                System.out.println("文本："+value);
            }else if(type==2){
                System.out.println("图片："+value);
                contentBuffer.append("<img src=\"" + value + "\">");
            }

        }
        
        //整理后的内容
        System.out.println(contentBuffer);

    }



    //get请求的工具方法
    private static String get(String url) {
        String result = "";
        BufferedReader in = null;
        try {
            URL realUrl = new URL(url);
            URLConnection connection = realUrl.openConnection(); // 打开和URL之间的连接
            // 设置通用的请求属性
            connection.setRequestProperty("Accept-Charset", "UTF-8");
            connection.setRequestProperty("content-type", "text/html; charset=utf-8");
            connection.setRequestProperty("accept", "*/*");
            //connection.setRequestProperty("Cookie", "tt_webid=20 B, session, HttpOnly www.toutiao.com/");
            connection.setRequestProperty("Cookie", "utm_source=vivoliulanqi; webpSupport=%7B%22lossy%22%3Atrue%2C%22animation%22%3Atrue%2C%22alpha%22%3Atrue%7D; tt_webid=6977609332415530509; ttcid=1b2305f8baa44c8f929093024ae40dbf62; csrftoken=f8363c5a04097f7fd5d2ee36cf5bbd40; s_v_web_id=verify_kqbxnll7_QA9Z6n7G_LFul_4hTP_9jZf_zgZYUK3ySQOT; _ga=GA1.2.2038365076.1624601292; _gid=GA1.2.2124270427.1624601292; MONITOR_WEB_ID=518b84ad-98d5-4cb4-9e4e-4e3c3ec3ffe2; tt_webid=6977609332415530509; __ac_nonce=060d5aa4200b3672b2734; __ac_signature=_02B4Z6wo00f010CALQgAAIDA8HHBwRR4FntApCmAALEAeRZEDep7WW-RzEt50sUvtrkCpbRJMhboWeZNJ2s66iti2ZD-7sSiClTqpKs6b7ppQUp1vD8JHANxzSZ1srY4FF1y1iQitM1bQvYIf3; ttwid=1%7CTBE591UU7daDw3rsqkr6wXM1DqlOA3iyjUnPK-W6ThQ%7C1624615515%7Ccb0f077482096b50d19757a23f71240547d6b0c767bf9ab90fa583d022f47745; tt_scid=af-M9Xg-rmZAnPsCXhZu.2.DfKZe95AyPKJFzU0cL1KarDLfV3JYeIf.G28mIwhI57a0");
            connection.setRequestProperty("connection", "Keep-Alive");
            connection.setRequestProperty("user-agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.106 Safari/537.36");
            connection.connect(); // 建立实际的连接
            Map<String, List<String>> map = connection.getHeaderFields(); // 获取所有响应头字段

            in = new BufferedReader(new InputStreamReader(
                    connection.getInputStream(),"utf-8"));
            String line;
            while ((line = in.readLine()) != null) {
                result += line;
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
        // 使用finally块来关闭输入流
        finally {
            try {
                if (in != null) {
                    in.close();
                }
            } catch (Exception e2) {
                e2.printStackTrace();
            }
        }
        return result;
    }

执行后：
在这里插入图片描述

二、新浪新闻采集分析

爬虫篇——新浪新闻的详细采集过程(列表新闻和新闻内容)

Pang Yu
关注
  • 1
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
《Python实用爬虫案例》练习2：使用requests库爬取腾讯新闻较真平台辟谣数据
weixin_43095088的博客
12-12 1419
爬取目标：抓取腾讯较真平台发布的辟谣信息并将相关数据以CSV表格形式下载保存至本地；相关库名：requests/json/csv/time
python_爬虫_腾讯新闻app 单页新闻数据分析爬取
weixin_30357231的博客
07-20 693
软件：charles、pycharm 平台：mac 网址：https://view.inews.qq.com/a/20180718A1WSEB00?uid= 第一步：获取api接口 1、电脑中安装charles抓包软件，与手机处于同一wifi网络下，将charles作为手机端的代理服务器。 　　主机名：IP地址为电脑端的IP， 　　端口号：根据电脑端的charles软件...
腾讯新闻博主发布内容数据爬取
weixin_71039452的博客
05-07 367
对于单个腾讯新闻，爬取文章的内容和评论非常容易。但是对于腾讯新闻内一位博主近些年发布的新闻内容爬取有点棘手。如果不嫌爬取速度慢可以通过后裔采集器和八爪鱼采集器爬取。但是腾讯新闻的网页端没有展示对其每条博文的URL，因此我们目光转向移动端的浏览器。
python实现新闻爬取系统
没化妆，别看
06-07 1056
信息展示：tkinter爬取及请求：requests、BeautifulSoup。
android:获取富文本图片和使用Jsoup抓取腾讯新闻网页数据
黄孝果的博客
11-02 4536
先看效果： 获取富文本中的图片抓取腾讯新闻中的图片首先引入要使用的jar包 compile 'jp.wasabeef:glide-transformations:2.0.2' compile 'org.jsoup:jsoup:1.9.2'一、加载富文本图片自适应 关键代码如下： package tsou.cn.webviewtext;import android.os.Build; import
基于python的新闻爬虫
程序员伤不起
02-01 3294
过程中，咱得注意，网页上的链接可能有的是完整的，有的可能就给了个后缀，咱得处理好这个，确保能正确访问到新闻的详细页面。标题、正文咱都要，然后把它们整理一下，每条新闻保存成一个txt文件，文件名就按照咱抓取的顺序来编号，这样方便管理。首先，咱得有个网址，这就是咱要去的地方。这样一来，只要运行这段代码，咱就能自动化地把网站上的新闻一条条地保存到本地了，省时省力，还能随时回头看看收集到的新闻呢。接下来，用lxml这个库来解析网页，就像是拿到一本书，咱得知道目录在哪儿，正文在哪儿，才能把需要的内容找出来。
python爬取腾讯新闻_Python 实现腾讯新闻抓取
weixin_39865440的博客
11-23 502
思路：3.在详细页中提取新闻标题和内容4.去除提取内容中的html标签，生成txt文档代码：1 #coding=utf-82 importsys3 importurllib24 importre5 importos67 defextract_url(info):8 rege="http://news.qq.com/a/\d{8}/\d{6}.htm"9 re_url =re.fin...
Python实现的基于Scrapy爬虫框架和Django框架的新闻采集和订阅系统
02-08
在具体实现上会使用Python配合scrapy等框架来编写爬虫，采用特定的内容抽取算法来提取目标数据，最后使用Django加上weui来提供新闻订阅后台和新闻内容展示页，使用微信向用户推送信息。用户可以通过本系统订阅指定...
基于网络爬虫的新闻采集和订阅系统的设计与实现
12-08
可以使用协同过滤、内容过滤或者混合推荐算法，结合用户历史行为和新闻内容特征进行推荐。 6. **订阅管理**：用户可以订阅特定的新闻类别或关键词，系统需维护用户的订阅列表，并在新新闻出现时进行通知。 7. **...
Python_爬虫_新闻采集_
10-01
采集###学校2020年1月1日到5月31日之间的所有新闻文字，然后实现：1）统计每个月出现次数最多的前10个词，分别生成柱状图显示每个词出现的次数，每个月保存为一个图片文件，以月份命名；2）统计这段时间所有新闻中...
今日头条新闻文章采集爬虫.csv
05-10
单日今日头条新闻文章采集，信息量大
腾讯数码滚动新闻采集爬虫源码
12-23
【腾讯数码滚动新闻采集爬虫源码】是一个用于自动化抓取腾讯数码频道最新新闻的程序。这个源码能够帮助开发者或者数据分析人员实时获取网站上的新闻数据，包括标题、正文、发布时间以及作者等关键信息，这对于关注...
基于网络爬虫的新闻采集和订阅系统的设计与实现(论文+源码)
最新发布
06-07
【作品名称】：基于网络爬虫的新闻采集和订阅系统的设计与实现(论文+源码) 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【项目...
新闻文章自动新闻采集系统-webapps.zip
03-10
在本压缩包文件"webapps.zip"中，包含的是一个与新闻采集相关的Web应用程序项目，下面我们将详细探讨这一系统的组成部分、工作原理以及相关技术。 一、系统组成部分 1. 数据源识别：自动新闻采集系统首先需要确定...
python新闻爬虫_Python 通过requests实现腾讯新闻抓取爬虫的方法
weixin_39568926的博客
11-20 228
最近也是学习了一些爬虫方面的知识。以我自己的理解，通常我们用浏览器查看网页时，是通过浏览器向服务器发送请求，然后服务器响应以后返回一些代码数据，再经过浏览器解析后呈现出来。而爬虫则是通过程序向服务器发送请求，并且将服务器返回的信息，通过一些处理后，就能得到我们想要的数据了。以下是前段时间我用python写的一个爬取TX新闻标题及其网址的一个简单爬虫：首先需要用到python中requests（方便...
python爬取腾讯新闻_Python采集腾讯新闻实例
weixin_39874809的博客
02-04 600
目标是把腾讯新闻主页上所有新闻爬取下来，获得每一篇新闻的名称、时间、来源以及正文。接下来分解目标，一步一步地做。步骤1：将主页上所有链接爬取出来，写到文件里。python在获取html方面十分方便，寥寥数行代码就可以实现我们需要的功能。代码如下:def getHtml(url):page = urllib.urlopen(url)html = page.read()page.close()retu...
Python+Scrapy爬取腾讯新闻首页所有新闻及评论
weixin_30662011的博客
04-25 1097
前言 这篇博客写的是实现的一个爬取腾讯新闻首页所有的新闻及其所有评论的爬虫。选用Python的Scrapy框架。这篇文章主要讨论使用Chrome浏览器的开发者工具获取新闻及评论的来源地址。 Chrome的开发者工具（或Firefox的web控制台）是个很有用的工具，你可以通过它清楚的看到你在访问一个网站的过程中浏览器发送了哪些信息，接收了哪些信息。而在我们编写爬虫的时候，就需要知道我们需要爬取...
基于网络爬虫技术的网络新闻分析设计与实现.doc
06-05
基于网络爬虫技术的网络新闻分析 摘 要 自从大数据的概念被提出后，互联网数据成为了越来越多的科研单位进行数据挖掘的对象。网络新闻数据占据了互联网数据的半壁江山，相比传统媒体，其具有传播迅速、曝光时间短、含有网民舆论等相关特征，其蕴含的价值也愈来愈大。 利用相关网络爬虫技术与算法，实现网络媒体新闻数据自动化采集与结构化存储，并利用中文分词算法和中文相似度分析算法进行一些归纳整理，得出相关的新闻发展趋势，体现网络新闻数据的挖掘价值。 如果商业公司能选取其中与自身相关的新闻进行分析，则可以得到许多意想不到的收获，例如是否有幕后黑手故意抹黑、竞争对手情况如何。第一时间掌握与其相关的网络新闻负面效应，动用公关力量，及时修正错误，平息负面新闻，这对当今的企业来说价值是巨大的。 关键词：网络爬虫；网络新闻；数据挖掘

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值