CSDN爬虫（四）——博客专家(所有)爬取+数据分析

最新推荐文章于 2024-07-31 17:06:19 发布
最新推荐文章于 2024-07-31 17:06:19 发布
阅读量7.5k 收藏 44
点赞数 8
分类专栏： 爬虫 文章标签： webMagic 爬虫 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wgyscsf/article/details/52751467
版权

CSDN爬虫（四）——博客专家(所有)爬取+数据分析

说明

  • 开发环境：jdk1.7+myeclipse10.7+win74bit+mysql5.5+webmagic0.5.2+jsoup1.7.2
  • 爬虫框架：webMagic
  • 建议：建议首先阅读webMagic的文档，再查看此系列文章，便于理解，快速学习：http://webmagic.io/
  • 开发所需jar下载（不包括数据库操作相关jar包）：点我下载
  • 该系列文章会省略webMagic文档已经讲解过的相关知识。

概述

  • 我们会从博客专家首页http://blog.csdn.net/experts.html#list分析页面，从中到找到所有专家所在的“接口”（需要分析网页源码），从中爬取所用专家用户，保存到本地数据库。
  • 根据专家id也即用户id去爬取他们的博客列表（第二篇文章已经讲解过该部分）。
  • 因为，博客专家是CSDN的核心用户，文章相对而言质量也比较高，优先考虑爬取这一部分用户即其文章。
  • 根据博客专家的文章总浏览量、关注数、博文单的阅读数、评论数进行排序，找出“最有价值”的文章以及博客专家。

博客专家爬虫代码预览

package com.wgyscsf.spider;

import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;

import com.wgyscsf.utils.MyStringUtils;

/**
 * @author wgy</n> 编写日期 2016-9-24下午7:25:36</n> 邮箱 wgyscsf@163.com</n> 博客
 *         http://blog.csdn.net/wgyscsf</n> TODO</n>
 */
public class CsdnExpertListSpider implements PageProcessor {
    // 这个是列表页
    public static final String EXPERTS_LIST = "http://blog\\.csdn\\.net/peoplelist\\.html\\?channelid=0\\&page="
            + "\\w+";
    private static final String TAG = "CsdnExpertListSpider";
    // 博客详情页
    // public static final String EXPERTS_DETAILS =
    // "http://blog.csdn.net/\\w+";// \\w+是一个匹配符，可以匹配任意字段
    private Site site = Site
            .me()
            .setDomain("blog.csdn.net")
            .setSleepTime(300)
            .setUserAgent(
                    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_2) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.65 Safari/537.31");

    @Override
    public void process(Page page) {
        // 列表页： 这里进行匹配，匹配出列表页进行相关处理。
        if ((page.getUrl()).regex(EXPERTS_LIST).match()) {
            // 遍历出div[@class=\"page_nav\"]节点下的所有超链接，这里的超链接是分页的超链接，可以进行分页。
            page.addTargetRequests(page.getHtml()
                    .xpath("//div[@class=\"page_nav\"]").links()
                    .regex(EXPERTS_LIST).all());// 是一个正则规则，校验使用，可以省略。

            // 获取专家列表元素
            Elements expertList_elements = page.getHtml().getDocument()
                    .getElementsByClass("experts_list");

            for (Element element : expertList_elements) {
                // 两个根节点
                Element tag_dt = element.getElementsByTag("dt").get(0);
                Element tag_dd = element.getElementsByTag("dd").get(0);
                // 获取用户id
                String id_expert = MyStringUtils.getLastSlantContent(tag_dt
                        .getElementsByTag("a").get(0).attributes().get("href"));
                // 获取用户头像
                String headImg = tag_dt.getElementsByTag("a").get(0)
                        .getElementsByClass("expert_head").get(0).attributes()
                        .get("src");
                // 获取用户名
                String name = tag_dd.getElementsByTag("a").get(0).text();
                String address_job = tag_dd.getElementsByTag("div").get(0)
                        .text();
                // 获取地址
                String localtion = MyStringUtils
                        .getBeforeVercitalLine(address_job);
                // 获取职位
                String job = MyStringUtils.getAfterVercitalLine(address_job);
                // 获取文章数
                String articleNums = tag_dd.getElementsByTag("div").get(1)
                        .getElementsByTag("div").get(1).getElementsByTag("b")
                        .get(0).text();
                // 获取阅读数
                // TODO:这里逻辑不太对呀，但是结果正确
                String readNums = tag_dd.getElementsByTag("div").get(1)
                        .getElementsByTag("div").get(2).getElementsByTag("b")
                        .get(0).text();

                // 开始组装数据
                System.out.println(TAG + ":" + "专家id:" + id_expert + ",专家名字："
                        + name + ",地区：" + localtion + ",职业：" + job + ",文章总阅读数："
                        + readNums + ",文章数：" + articleNums);

            }

        }
    }
    @Override
    public Site getSite() {
        return site;
    }

    public static void main(String[] args) {
        Spider.create(new CsdnExpertListSpider())
                .addUrl("http://blog.csdn.net/peoplelist.html?channelid=0&page=1")
                .addPipeline(null).thread(5).run();
    }

}

关键代码解释

  • 以上代码涉及分页爬虫、jsoup方式解析爬虫、正则匹配，具体请参考前三篇文章。
  • 涉及到一个“接口”"http://blog.csdn.net/peoplelist.html?channelid=0&page=1"，这个接口是分析博客专家首页http://blog.csdn.net/experts.html#list网页源码后得到的，极大的方便了博客专家的爬取过程。正是由于有了这个“接口”，才使得爬取博客专家特别方便。

爬取结果预览

这里写图片描述

数据分析

注： 博客专家（全部专家）：1255人，博客总量（部分数据）： 298057，统计时间：10/7/2016 6:28:34 PM

  • 博客专家按博文浏览量排名前十名
总浏览量排名专家Id专家名称地址职位文章量总阅读量博客地址个人中心
1v_JULY_v周磊 15811651669http://blog.csdn.net/v_JULY_vhttp://my.csdn.net/v_JULY_v
2luopingfeng罗平峰广东省深圳市 驱动工程师4811335406http://blog.csdn.net/luopingfenghttp://my.csdn.net/luopingfeng
3tianlesoftware戴明明杭州 DBA109210306025http://blog.csdn.net/tianlesoftwarehttp://my.csdn.net/tianlesoftware
4lmj623565791张鸿洋陕西西安 研究生19510204783http://blog.csdn.net/lmj623565791http://my.csdn.net/lmj623565791
5sunboy_2050杨刚北京 高级工程师8649437469http://blog.csdn.net/sunboy_2050http://my.csdn.net/sunboy_2050
621aspnet黄鸣 16808816125http://blog.csdn.net/21aspnethttp://my.csdn.net/21aspnet
7Luoshengyang罗升阳上海 客户端开发1778643601http://blog.csdn.net/Luoshengyanghttp://my.csdn.net/Luoshengyang
8luozhuang罗莊 10917857322http://blog.csdn.net/luozhuanghttp://my.csdn.net/luozhuang
9david_lv吕建伟北京北京5147665707http://blog.csdn.net/david_lvhttp://my.csdn.net/david_lv
10Augusdi高庆地南京 研发工程师40827327363http://blog.csdn.net/Augusdihttp://my.csdn.net/Augusdi

这里写图片描述
* 博客专家按博文创作量排名前十名

总博文量排名专家Id专家名称地址职位文章量总阅读量博客地址个人中心
1yuanmeng001袁萌 40957117504http://blog.csdn.net/yuanmeng001http://my.csdn.net/yuanmeng001
2Augusdi高庆地南京 研发工程师40827327363http://blog.csdn.net/Augusdihttp://my.csdn.net/Augusdi
3SmartTony邓斌中国上海市 执行董事27923619000http://blog.csdn.net/SmartTonyhttp://my.csdn.net/SmartTony
4jdsjlzx李治现北京 Android开发工程师23146496619http://blog.csdn.net/jdsjlzxhttp://my.csdn.net/jdsjlzx
5jackyrongvip廖煜嵘广州 IT开发工程师22541287146http://blog.csdn.net/jackyrongviphttp://my.csdn.net/jackyrongvip
6shanyou张善友 21721324942http://blog.csdn.net/shanyouhttp://my.csdn.net/shanyou
7metababy花纯春成都成都20584456469http://blog.csdn.net/metababyhttp://my.csdn.net/metababy
8hu_zhenghui胡争辉 20242492625http://blog.csdn.net/hu_zhenghuihttp://my.csdn.net/hu_zhenghui
9sxhelijian贺利坚烟台 教师19784459980http://blog.csdn.net/sxhelijianhttp://my.csdn.net/sxhelijian
10matrix67顾森 1899814777http://blog.csdn.net/matrix67http://my.csdn.net/matrix67

这里写图片描述
* 博文评论量最多前十名

评论数排名博主id评论数浏览量博文标题博客详情地址发表日期置顶与否
1xiaominghimi984107300 Himi浅谈游戏开发de自学历程！（仅供参考） http://blog.csdn.net/xiaominghimi/article/details/62490052011/3/14 10:181
2zhmxy555974180921 【Visual C++】游戏开发笔记之一——API函数、DirectX的关键系统 http://blog.csdn.net/poem_qianmo/article/details/73182642012/3/4 8:591
3yincheng0181019303 年少痴狂，怀恋曾经的创业岁月，语音识别的应用远远未到高潮，本人的软件源码开源，需要的留下Email,我给大家发 http://blog.csdn.net/itcastcpp/article/details/41464942009/5/3 21:570
4chgaowei78562174 给部分培训学生的建议 http://blog.csdn.net/chgaowei/article/details/60135542010/11/16 22:490
5wdaming198678491414 Android闹钟最终版【android源码闹钟解析】 http://blog.csdn.net/wdaming1986/article/details/74610432012/4/14 18:140
6jirigala78043372 技术水平的确很高，正规公司为什么还是不录用这些人(技术水平不高的更不可能) http://blog.csdn.net/jirigala/article/details/55651582010/5/6 11:020
721aspnet749510256 C#精髓 第四讲 GridView 72般绝技 http://blog.csdn.net/21aspnet/article/details/15403012007/3/25 4:361
8shimiso74539352 Android精品开源项目整理_V20140221(持续更新中..) http://blog.csdn.net/shimiso/article/details/197719152014/2/23 22:060
9sinyu89080767694932 历时一年，我的著作《第一行代码——Android》已出版！ http://blog.csdn.net/sinyu890807/article/details/263659132014/7/17 9:131
10sxhelijian6358933 写给菜鸟：发CSDN博文常见问题处理 http://blog.csdn.net/sxhelijian/article/details/80425072012/10/6 8:080

这里写图片描述
* 博文浏览量最多前十名

浏览数排名博主id评论数浏览量博文标题博客详情地址发表日期置顶与否
1lmj6235657911611528773 Android Https相关完全解析 当OkHttp遇到Https http://blog.csdn.net/lmj623565791/article/details/481294052015/9/12 11:250
2tingsking1811228563 简单即时贴：python输出A到Z http://blog.csdn.net/tingsking18/article/details/43304142009/7/8 10:590
3sunboy_2050504831516 Android APK反编译详解（附图） http://blog.csdn.net/sunboy_2050/article/details/67275812011/8/28 22:420
4luopingfeng1777893 《Linux Device Drivers》第十五章 内存映射和DMA——note http://blog.csdn.net/luopingfeng/article/details/241739852014/10/9 8:410
5luopingfeng1777855 《Linux Device Drivers》第十六章 块设备驱动程序——note http://blog.csdn.net/luopingfeng/article/details/241740452014/10/11 16:530
6luopingfeng2777674 《Linux Device Drivers》第八章 分配内存——note http://blog.csdn.net/luopingfeng/article/details/241735952014/9/28 9:260
7luozhuang28656975 RapeLay（电车之狼R）的结局介绍 (隐藏结局攻略) http://blog.csdn.net/luozhuang/article/details/25958162008/6/29 14:480
8metababy0630052 时更新　在线观察纸黄金价格 24小时黄金走势图使用现货买入价格 黄金价格历史走势图 全天显示黄金，银，钯 和 铂以及原油期货，美元指数的最新价格 http://blog.csdn.net/metababy/article/details/14887972007/1/20 21:340
9alex19796338611795 历年奥斯卡获奖影片（1927—2015） http://blog.csdn.net/oracle_microsoft/article/details/44369742009/8/12 9:041
10t12x345667534164 Android 网络通信框架Volley简介(Google IO 2013) http://blog.csdn.net/t12x3456/article/details/92216112013/7/2 9:150

这里写图片描述

操作代码

点我下载

个人公众号，及时更新技术文章(请移步公众号，文章会被官方删除)

_高远
关注
专栏目录
CSDN爬虫（一）——爬虫入门+数据总览
10-01
文章同步：http://blog.csdn.net/wgyscsf
爬虫技术——一篇全搞定！
qq_53914420的博客
04-04 5930
python爬虫技术
SQL语句-入门到精通
最新发布
gqren003
07-31 1445
SQL，Structured Query Language，中文结构化查询语言，是一种对关系数据库 数据定义和操作语言。sql_mode是对SQL语法控制和效验的一套规则having用途having子句常用在group by子句过滤后，再进行判断筛选。having子句实践#1.统计中国每个省的城市个数，并把超过10个城市个数的输出#使用聚合函数,GROUP_CONCAT(NAME)#生产经验：having子句不走索引，效率低，尽量减少使用，除非结果集很少，如果结果集大，且非要用，可以从库做。
爬虫学习——初步了解爬虫
一个默默无闻的小程序员的博客
07-29 925
最近在学习之余迷上了看电视剧，但是想要看的电视剧又不在同一个APP里，全部充会员也不太现实，所以就想着简单入门一下爬虫，爬取自己想要看的电视剧，让自己的暑假过的更多姿多彩一点！首先我们要先清楚爬虫是什么，百度百科中解释为，爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。浅显一点讲，爬虫就是自动获取网页内容的程序。 ......
爬虫（一） -- 带你了解爬虫最基本概念，一文即可实践
qq_54015136的博客
03-29 2971
一文了解爬虫的最基本常识，让小白轻松入门，直接实践
python爬虫详解
热门推荐
CSDN_430422的博客
05-25 3万+
早在1989年，网络发明人蒂姆·伯纳斯 - 李（Tim Berners-Lee）就提出了网站的三大支柱：1）URL ,跟踪Web文档的地址系统2）HTTP，一个传输协议，以便在给定URL时查找文档3）HTML, 允许嵌入超链接的文档格式Web的最初目的是提供一种简单的方式来访问，阅读和浏览文本文档。从那时起，网络已经发展到提供图像，视频和二进制数据的访问，但是这些改进几乎没有改变三大支柱。在Web之前，很难访问文档并从一个文档跳转到另一个文档。
爬虫基础篇
m0_71422677的博客
04-20 550
获取网页源代码、状态码、爬虫乱码、User-Agent、 encoding 参数、UTF-8
Python实用技术——爬虫（一）：爬虫基础
喜欢吃豆的博客
05-05 1万+
这一章主要讲了讲要学习爬虫之前，我们先要了解的网页知识，以便于后面的学习。
python爬虫爬取CSDN文章，一文详解
qq_58071132的博客
03-21 634
🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
如何爬取csdn
weixin_42608299的博客
12-29 594
爬取CSDN的信息，你可以使用爬虫。爬虫是一种自动化的程序，它可以通过解析网站的HTML或XML文件来抓取信息。 要爬取CSDN的信息，你可以使用Python中的爬虫框架，如Scrapy或Beautiful Soup。 首先，你需要安装这些框架，可以使用pip命令来安装。 其次，你需要找到你想要爬取的CSDN页面的URL。 然后，你可以使用代码来发送HTTP请求，并获取网页的HTML或XML...
爬虫入门教程（非常详细）从零基础入门到精通，看完这一篇就够了
wly55690的博客
07-05 5979
相比其他静态编程语言（如java、c#与c++）Python抓取网页文档的接口更简洁，而对比其他动态脚本语言（如perl，shell）Python的urllib包提供了较为完整的访问网页文档的API。Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
[Python学习] 简单爬取CSDN下载资源信息
weixin_33721344的博客
07-21 609
这是一篇Python爬取CSDN下载资源信息的例子，主要是通过urllib2获取CSDN某个人所有资源的资源URL、资源名称、下载次数、分数等信息；写这篇文章的原因是我想获取自己的资源所有的评论信息，但是由于评论采用JS临时加载，所以这篇文章先简单介绍如何人工分析HTML页面爬取信息。源代码# coding=utf-8 import...
爬虫基础知识
无敌大花彪zgw的博客
04-13 462
回过头思考一下找辣条借钱的案列，如果你想找到辣条是需要通过我的地址，那么我给的地址可能是我的工作地址，那要是我回家我的地址就更换了，那么我们所说的网址也是的，我们能在搜索页面看到的网址是静态网址，那我们有些网址的数据是在不断更新的（类似新闻网站），那这种不断加载的数据就叫做动态数据，那我要如何区分我们的数据是静态数据还是动态数据呢？请求方式是用来区分网址的请求规律，常见的有get和post，get一般是获取网页的数据，post需要提交数据给服务器（比方说你登录的时候需要把账户和密码进行传递）
『scrapy爬虫』10. 实战爬取自己的csdn信息（详细注释步骤）
MZH
03-22 1361
『scrapy爬虫』10. 实战爬取自己的csdn信息（详细注释步骤）
【2024-完整版】python爬虫 批量查询自己所有CSDN文章的质量分：附整个实现流程
定期分享我的发现和想法，感谢你的陪伴和支持
03-14 1万+
python爬虫 批量查询自己所有CSDN文章的质量分
Python爬虫详解（一看就懂）
qq_46094651的博客
06-15 1587
好了，今天的分享就到这里了，拜拜~哎？忘了一件事，再给你们一个爬取天气的代码！'''存放天气情况''''''存放日期'''i = 0if i
Python爬虫入门教程（非常详细）
2201_75362610的博客
06-19 2万+
爬虫的全称为网络爬虫，简称爬虫，别名有网络机器人，网络蜘蛛等等。网络爬虫是一种自动获取网页内容的程序，为搜索引擎提供了重要的数据支撑。搜索引擎通过网络爬虫技术，将互联网中丰富的网页信息保存到本地，形成镜像备份。我们熟悉的谷歌、百度本质上也可理解为一种爬虫。如果形象地理解，爬虫就如同一只机器蜘蛛，它的基本操作就是模拟人的行为去各个网站抓取数据或返回数据。
01010011 + 01100110 ———————————— 10111001 + 01110100 ———————————— (1) 00101101 + 1 ———————————— 00101110 为什么最后加1
07-27
根据提供的引用内容，我们无法找到与最后加1相关的信息。引用\[1\]和引用\[2\]提供了一些与网络配置和命令相关的信息，而引用\[3\]则提到了对pykinect进行改进的情况。请提供更多相关的信息，以便我们能够更好地回答您的问题。 #### 引用[.reference_title] - *1* *2* [双机热备技术（讲解+实验）——静态路由实现](https://blog.csdn.net/qq_62311779/article/details/126123540)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [Python+KinectV2——PyKinect](https://blog.csdn.net/scy261983626/article/details/104034812)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值