万粉博主为CSDN增加粉丝数据分析模块【硬核】

最新推荐文章于 2024-05-13 01:21:36 发布
最新推荐文章于 2024-05-13 01:21:36 发布
阅读量1.5w 收藏 47
点赞数 81
分类专栏： Python文章杂谈 文章标签： python 爬虫 数据可视化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PaperJack/article/details/117871761
版权

万粉博主为CSDN增加粉丝数据分析模块【硬核】

在这里插入图片描述

1. 写在前面

截止2021年6月13日，我的CSDN个人账号终于突破1w粉丝啦！
在这里插入图片描述

做为一个创作不到 一个月的博主来说，我知道我的作品还不多，但能够收获这么多粉丝真的很意外，小J会继续加油哒！既然今天突破1万粉丝，那么我就在想能不能做一点值得纪念的事情。于是我就有了一个想法——将1w个粉丝的基本信息存到一张表格里面。

2. 数据准备

2.1. 博客主页面

目标链接为本人博客主页的粉丝页面
https://blog.csdn.net/PaperJack?type=sub&subType=fans

通过对网页的分析，我们发现粉丝的信息就藏在这个下图这个url中，并且以分页的json格式数据返回给前端，每一页的数量为20，根据粉丝的总数动态分布页数。

在这里插入图片描述
图中标出的数据即为我最新的一个粉丝的具体信息。

在这里插入图片描述
关于如何爬取信息以及如何将信息存储到Excel中，更加详细的过程可以查看我的一下文章

使用Python爬取一个网页并解析
（截止写该篇文章时已获得1w+浏览）

【干货】建议收藏！！全网最完整的Python操作Excel数据封装函数（截止写该篇文章时已获得955收藏）

2.2. 粉丝主页面（多个）

目标链接为本人博客主页粉丝的每一个主页
当我们爬取了主页面的粉丝数据的时候，我们缺少了粉丝数据中最为关键的一部分信息——粉丝的性别和码龄。这一部分信息对我个人而言是有用的，对CSDN的用户群体分析也是有一定的价值的（毕竟1万虽然不多，但也足够反应真实情况）。
在这里插入图片描述
同样将数据爬取之后放到同一个Excel中

3. 代码展示

3.1. 爬取博客主页面粉丝数据

import openpyxl
import requests
from lxml import etree

def i_love_CSDN(CSDN_id, fans_nums):
    # 目标Url
    url = "https://blog.csdn.net/community/home-api/v1/get-fans-list"
    # 模拟浏览器
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36"
    }
    # 根据粉丝数目设置总页数
    if fans_nums % 20 == 0:
        page_nums = fans_nums // 20
    else:
        page_nums = (fans_nums // 20) + 1
    # 总数据
    bli = []
    # 单条数据
    li = []
    # 设置第一行的中文标题
    li.append("是否为博客专家")
    li.append("博客链接")
    li.append("博客自我简介")
    li.append("我是否关注该用户")
    li.append("昵称")
    li.append("头像")
    li.append("用户名")
    bli.append(li)
    # 循环访问每一页
    for i in range(1,page_nums):
        params = {
            "page": i,
            "size": 20,
            "noMore": "false",
            "blogUsername": CSDN_id
        }
        resp = requests.get(url, headers=headers, params=params)
        js = resp.json()
        infos = js['data']['list']
        # 解析到访问后的数据
        for info in infos:
            li = []
            blogExpert = info['blogExpert']
            blogUrl = info['blogUrl']
            briefIntroduction = info['briefIntroduction']
            loginUserNameIsFollow = info['loginUserNameIsFollow']
            nickname = info['nickname']
            userAvatar = info['userAvatar']
            username = info['username']
            li.append(blogExpert)
            li.append(blogUrl)
            li.append(briefIntroduction)
            li.append(loginUserNameIsFollow)
            li.append(nickname)
            li.append(userAvatar)
            li.append(username)
            bli.append(li)
            # 打印测试数据
            print(li)
    return bli

# 写入Excel
def write_xlsx_excel(url, sheet_name, two_dimensional_data):
    # 创建工作簿对象
    workbook = openpyxl.Workbook()
    # 创建工作表对象
    sheet = workbook.active
    # 设置该工作表的名字
    sheet.title = sheet_name
    # 遍历表格的每一行
    for i in range(0, len(two_dimensional_data)):
        # 遍历表格的每一列
        for j in range(0, len(two_dimensional_data[i])):
            # 写入数据（注意openpyxl的行和列是从1开始的，和我们平时的认知是一样的）
            sheet.cell(row=i + 1, column=j + 1, value=str(two_dimensional_data[i][j]))
    # 保存到指定位置
    workbook.save(url)
    print("写入成功")


if __name__ == '__main__':
    # 参数为CSDN的ID和当前粉丝数量
    bli = i_love_CSDN('PaperJack',10212)
    # 参数为文件路径、表格名称和将要写入的数据
    write_xlsx_excel("D:\myfans.xlsx",'sheet1',bli)
    # 提示操作成功
    print("over...")

3.2. 爬取粉丝主页面粉丝数据

import openpyxl
import requests
from lxml import etree

def i_love_CSDN(CSDN_id, fans_nums):
    # 目标Url
    url = "https://blog.csdn.net/community/home-api/v1/get-fans-list"
    # 模拟浏览器
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36"
    }
    # 根据粉丝数目设置总页数
    if fans_nums % 20 == 0:
        page_nums = fans_nums // 20
    else:
        page_nums = (fans_nums // 20) + 1
    # 总数据
    bli = []
    # 单条数据
    li = []
    # 设置第一行的中文标题
    li.append("是否为博客专家")
    li.append("博客链接")
    li.append("码龄")
    li.append("性别")
    li.append("博客自我简介")
    li.append("我是否关注该用户")
    li.append("昵称")
    li.append("头像")
    li.append("用户名")
    bli.append(li)
    # 循环访问每一页
    for i in range(1,page_nums):
        params = {
            "page": i,
            "size": 20,
            "noMore": "false",
            "blogUsername": CSDN_id
        }
        resp = requests.get(url, headers=headers, params=params)
        js = resp.json()
        infos = js['data']['list']
        # 解析到访问后的数据
        for info in infos:
            li = []
            blogExpert = info['blogExpert']
            blogUrl = info['blogUrl']

            resps = requests.get(blogUrl,headers = headers)
            tree1 = etree.HTML(resps.text)
            codeAge = tree1.xpath("/html/body/div[1]/div/div[1]/div/div/div/div/div/div[1]/div[2]/div[2]/div/div[2]/span/text()")[0]
            gender = tree1.xpath("/html/body/div[1]/div/div[1]/div/div/div/div/div/div[1]/div[2]/div[1]/div[1]/i/@class")[0]
            if gender == 'user-gender-male':
                gender = '男'
            elif gender == 'user-gender-female':
                gender = '女'
            else:
                gender = "其他"
            briefIntroduction = info['briefIntroduction']
            loginUserNameIsFollow = info['loginUserNameIsFollow']
            nickname = info['nickname']
            userAvatar = info['userAvatar']
            username = info['username']
            li.append(blogExpert)
            li.append(blogUrl)
            li.append(codeAge)
            li.append(gender)
            li.append(briefIntroduction)
            li.append(loginUserNameIsFollow)
            li.append(nickname)
            li.append(userAvatar)
            li.append(username)
            bli.append(li)
            # 打印测试数据
            print(li)
    return bli

# 写入Excel
def write_xlsx_excel(url, sheet_name, two_dimensional_data):
    # 创建工作簿对象
    workbook = openpyxl.Workbook()
    # 创建工作表对象
    sheet = workbook.active
    # 设置该工作表的名字
    sheet.title = sheet_name
    # 遍历表格的每一行
    for i in range(0, len(two_dimensional_data)):
        # 遍历表格的每一列
        for j in range(0, len(two_dimensional_data[i])):
            # 写入数据（注意openpyxl的行和列是从1开始的，和我们平时的认知是一样的）
            sheet.cell(row=i + 1, column=j + 1, value=str(two_dimensional_data[i][j]))
    # 保存到指定位置
    workbook.save(url)
    print("写入成功")


if __name__ == '__main__':
    # 参数为CSDN的ID和当前粉丝数量
    bli = i_love_CSDN('PaperJack',10246)
    # 参数为文件路径、表格名称和将要写入的数据
    write_xlsx_excel("D:\myfans.xlsx",'sheet1',bli)
    # 提示操作成功
    print("over...")

4. 数据分析及可视化

主页面数据正在爬取的过程
在这里插入图片描述
添加了粉丝性别和码龄的爬取过程
在这里插入图片描述

只有主页面数据的Excel文件截图
在这里插入图片描述
加入粉丝主页码龄和性别数据后的Excel文件截图
在这里插入图片描述

本来我是打算用Python继续分析数据，但现在数据已经完整的存到了Excel中，考虑到操作的方便性，我接下来将会直接在Excel中分析数据。

  1. 在我的粉丝群体中，有10个博客专家
    在这里插入图片描述
    在这里插入图片描述

  2. 在我的粉丝中
    有3579个以m0_开头作为昵称的粉丝；
    有2872个以weixin_开头作为昵称的粉丝；
    有2070个以qq_开头作为昵称的粉丝；
    有1679个以自定义昵称的粉丝；
    有8521个没有修改昵称的粉丝。
    从这里我们也可以大概分析到：CSDN的新注册用户中，有约16.46%的用户会更改自己的昵称（忽略我粉丝中占极小部分的熟人）；有42.00%的用户通过手机注册，33.70%的用户通过微信注册，有24.29%的用户通过QQ注册。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  3. 在我加入粉丝主页数据进行分析的时候，我的粉丝数量也在增加，因此Excel粉丝的总数变为10164，其中男性粉丝有9576人，女性粉丝有588人。男生人数：女生人数 = 94.2%：5.8%
    在这里插入图片描述
    在这里插入图片描述

  4. 对于博客码龄（也就是从注册账号的那天开始），既有超过10年码龄的重量级博主，也有刚刚注册的7-8天的新人博主。
    在这里插入图片描述

5. 总结

我认为我爬取的一万个粉丝的数据完全可以撑起一个完整的CSDN粉丝数据分析的模块；进一步讲，一万个数据虽然只是全站用户的凤毛麟角，但这个数据量分析出来的很多结果也可以反映目前CSDN全站的数据，例如：用户男女比例、用户使用不同社交软件注册的比例，用户修改昵称的比例（一定程度反映活跃度）等等。

本文对数据的获取仅仅是为了提高小伙伴们对爬虫的兴趣，体会到爬虫在生活中的一些使用场景。对于爬取之后的完整数据，如果小伙伴们感兴趣的话，欢迎在CSDN上私信我，我可以将完整的Excel数据提供给你。

执章学长
关注
  • 81
    点赞
  • 踩
  • 47
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 135
    评论
专栏目录
2023年，在CSDN拥有10000粉丝有多难？
猿小白的博客
10-04 6124
根据CSDN官方报道去年的注册用户大概4500万人， 按照增长比率估算，现在的注册用户人数大概在5000万左右。粗略估算，如果你拥有10000粉丝的概率大概是：3763/50000000,换算出来，大概每10万用户里面，大概有7.526个用户能够达到这个目标。该数据来源于粉丝数人数排行前5000名用户的关注用户列表中产生的，由于采集样本数有限，数据可能具有一定的误差，仅供参考，本次采样用户数大概在100万以上。快乐李同学(李俊德-大连理工大学)Dreamchaser追梦。17岁boy想当攻城狮。
Python 操作 Excel 数据的封装函数
datayx的文章
03-22 334
向AI转型的程序员都关注了这个号????????????对比其它编程语言，我们都知道Python最大的优势是代码简单，有丰富的第三方开源库供开发者使用。伴随着近几年数据分析的热度，Python也成为最受欢迎的编程语言之一。而对于数据的读取和存储，对于普通人来讲，除了数据库之外，最常见的就是微软的Excel。1. 前期准备1.1. 初识ExcelMicrosoft Excel是Microsoft为使用Windows和...
【CSDN 2024 年度总结】半年涨粉11万，铁杵磨成针_csdn突然多了很多粉丝
最新发布
2401_84925558的博客
05-13 667
这篇文章详细分享一下我 2021 年的涨粉经历，2021年5月底的时候，不到 3000 粉，如何通过半年时间，涨粉 11 万？？？看完，或许你心里会有一个答案。首先，我本人是做游戏开发的，曾就职于 网易、电魂，目前在字节跳动，曾经参与过的上线项目有《战歌》、《危机2015》、《突击英雄》、《光明大陆》、《我的侠客》，你可能都没有听过，但这不重要。这只是我的职业，职业并不代表爱好。
CSDN就是牛掰，一名万粉博主说出了心里话
IT邦德
03-28 8266
开始写技术博客，首要面临的问题是如何选择一个合适的博客平台？
软件工程师，用100天时间让CSDN粉丝数从0狂飙到10000
2302_80263300的博客
12-10 246
不用着急，我们先去主动关注别人，三个主动：主动去添加各种榜单上的大佬，主动阅读和学习他人的博文，主动添加优质博文的博主。发布新的博客文章后，可以利用群发功能向全部粉丝或活跃粉丝发送文章的链接，这样将大大提升我们博文的阅读量和人气值，而阅读量和人气值又会带来更多的粉丝。截止到2023年5月7日，差不多100天时间，一共发布了33篇原创博文，粉丝数已超过10000人，铁粉有1100多人，总访问量达到18万多。下面来点干货，聊一聊新加入CSDN的博主，如果在较短时间内，实现粉丝数量和访问量的快速增长。
一万粉的时候，我爬光了我所有的粉丝，只为验证一个事情
热门推荐
LSEC小陆的博客
10-31 1万+
一万粉的时候，我爬光了我所有的粉丝，只为验证一个事情 前言 CSDN 博客网站的粉丝增长和访问增长是一件很离奇的事情。 如果你不发博客，粉丝几乎零增长。你发了一篇文字数量充分多的博客之后的一两天，会有一个粉丝量和访问量的突变，然后一下又零增长了。你以为这些突变是你发的这单篇博文带来的，但是我观察到，这篇文章几乎无访问量，难道这篇文章会带来别的文章访问量增加呢？离奇！ 曾经每增加 N 个粉丝，都有 k 个人跟你互动。但是通过 C 站推荐，获得的 100N 个粉丝，却不足 k 个人跟你互动。不符合大数定律。粉
百万粉丝大V的PPT进阶课程，教你如何在工作中用好PPT，提升硬核竞争力-视频教程网盘链接提取码下载.txt
10-01
抖音百万粉丝PPT头部账号教你如何在工作中用好PPT,让你做得快看得快少改稿高颜值，得心应手为你的工作提升硬核竞争力。 课程内容：52节课 001-01.文本篇之如何正确输入文本.mp4 002-02.文本篇之如何选择合适字体....
电子行业周报：硬核数据彰显电子高景气.pdf
07-08
电子行业周报：硬核数据彰显电子高景气.pdf
新版生意参谋数据分析模型-关键词分析表
04-04
新版生意参谋数据分析模型-关键词分析表，含图表分析，硬核分析表值得下载！
电子行业周报：海外龙头硬核数据印证高景气，半导体剪刀差修复启动.pdf
07-08
电子行业周报：海外龙头硬核数据印证高景气，半导体剪刀差修复启动.pdf
硬核战“疫”中的特殊战士——人工智能.pdf
07-10
硬核战“疫”中的特殊战士——人工智能.pdf
如何分析粉丝兴趣？
公众号（猴子数据分析）
07-05 132
【题目】有一张“粉丝关注表”，包含3个字段：用户id、关注媒体id、日期。【问题】“粉丝关注表”中存在一个用户同时关注多个媒体的情况存在，比如：用户id为A001的用户，对应关注媒体id数据为1010,1020,1031。为了便于后期分析粉丝兴趣，请将该表中的这种情况进行拆分为多条。比如对于用户A001，其转换如下：【解题思路】这类问题称为“列转行”，在MySQL里的处理...
【csdn涨粉秘籍】亲身体验从一年才涨80粉到20天涨粉800多，规则内设置，一个步骤助你快速涨粉
seeeeeeeeeee的博客
04-29 1732
前言： 我用了csdn一年不到的时间，主要作用是当做笔记在写了，因为自己平常工作中会遇到一些大坑，或者平常也在保持学习一些知识点，我会把知识点汇总成一个案例然后注释好发帖子，这样可以巩固自己学习，同时也可以以后遇到同样功能的时候做一个合格的CV工程师，保证自己不会因为忘记了，看别人的帖子看不懂理解很慢。 我以前呢也是写了差不多快一年了，但是也不过存下来了80个粉丝，一开始我还没在意的，但是后来无意间发现了一个csdn的设置方法可以让粉丝数快速增多。又不违规。那能有更多的粉丝谁又不乐意呢，至少证明了，我的帖
《CSDN 涨粉攻略》11个涨粉方法，你学会了几个？
英雄哪里出来
03-09 9129
第10个可不是所有人都能拥有的哦
CSDN 的中铁粉是什么？如何获得粉丝与铁粉呢？一篇文章告诉你，干货满满，建议收藏
黛琳ghz的博客，期待你的关注。
06-05 1万+
CSDN 官方为了感谢我们的铁粉们一直以来对我们的支持，同时也为了鼓励更多的博主们积极参与创作，我们特地为您准备了专属奖牌。因此，通过这篇文章带大家了解 CSDN 的铁粉是什么？如何获得粉丝与铁粉？对于新人博主以及久久不能涨粉的博主来说具有参考价值，接下来跟随我的脚步，来一探究竟吧。
CSDN涨粉秘籍（亲测有效）
a789865315的博客
05-08 1万+
大家好~今天是浪哥进入CSDN的第30天（虽说个人主页上写的码龄1年，但前面注册账号只是为了复制代码，真正进入算30天） 我大概是在20.....多天前收获第一个粉丝的，到现在已经有三百多个了~感谢你们的关注~ 回归正题，先来秀下我个人的战绩： 可以看到，中间有一天涨的特别快，几乎是一天翻了几百倍 也有粉丝问过我，这，是怎么做到的？ 一、踏踏实实型 1.多发文章 十分的管用， .........
csdn涨粉技巧篇，都是干货涨粉知识，不花钱的
鱼大大的博客
10-22 1080
csdn是一个很好的用来搞学习，查资料的平台，能够在这里学到很多官运it方面的基础知识，也能学习到进阶知识，提高自己的计算机操作能力。下载手机app可以方便自己回复问题和评论，没事的时候用手机逛帖子也比较方便，利用坐公交乘地铁的闲暇时间，也可以为自己的博客做做数据。可以分享自己都觉得好用的工具资源，如果别人下载了觉得好用，肯定也会关注你，积少成多，不积跬步无以至千里、不积小流无以成江海。3、当你获得勋章的时候、升级的时候、可以发发动态记录一下日常，让更多的人看到你，这也有可能会涨粉的哦。
小明给大家分享几个CSDN涨粉小技巧，期待大家多多涨粉
IT技术分享社区
06-01 5020
今天和大家一起来聊聊CSDN涨粉相关几个的技巧，希望对热爱技术分享，并且想快速涨粉提升自身曝光度的朋友们提供一些经验，本文都是自己的一些想法，有说的不对的地方希望大家指正！
如何用数据分析驱动用户增长.pptx
12-19
首先，增长硬核能力——数据分析，强调的是对核心数据能力的理解。一个优秀的增长官需要能够运用数据进行业务决策，解决实际问题。他们需要学会如何提问关键问题，如数据背后代表的用户行为，以及如何通过数据反向...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 135
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

执章学长

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值