2024 更新版:苏生不惑开发过的那些原创工具和脚本

苏生不惑原创文章,加入我的知识星球

5年来苏生不惑这个公众号已经写近400多篇原创文章,去年分享过2023 更新版:苏生不惑开发过的那些原创工具和脚本 ,今天整理更新下2024版。8564b0e6c9c765787cf864d2a0880578.png

公众号分享过的上千个软件都同步到我的知识星球了正式介绍下我的知识星球 ,这个星球运营2年多了,星球内可以提问,交流,而且搜索方便,比微信群好用多了,欢迎加入2024 极品互联网宝藏资源库知识星球,聚合全网资源,低调收藏

3f7fb20c65be248c2504ea35f007b0f2.jpeg
 

公众号

以下载这篇文章视频更新版:批量下载公众号文章内容/话题/图片/封面/音频/视频,导出html,pdf,excel包含阅读数/点赞数/留言数 为例,打开wechat_down.exe输入文章链接https://mp.weixin.qq.com/s/c-jpCXxUtZpzxTCSx0Fu_w 或者包含文章链接的文件名。4edc78643a40262add1ae8dfb96c48c1.jpeg工具下载地址在公众号后台对话框回复 公众号 

我录制了个简单的视频:

默认会下载文章和文章里的文章,下载的音频保存在audio目录,视频保存在video目录,封面保存在cover目录,图片保存在image目录,文章内容保存在html目录。dd18b46b594dc0f7ae275dd3dd4f65ff.jpeg634ba1c56b98e8bc0fa21a8ffaa931c4.jpeg

除了公众号文章下载,公众号话题下载也是一样的,比如罗胖60秒这个话题https://mp.weixin.qq.com/mp/appmsgalbum?__biz=MjM5NjAxOTU4MA==&action=getalbum&album_id=1681628721901830149&scene=173&from_msgid=3009294038&from_itemidx=1&count=3&nolastread=1d03abf59a1c5b4182bb30eddf5a25442.jpeg

打开wechat_topic_down.exe 输入公众号话题链接即可批量下载,下载效果如图:8f054c2a685381376876cba3ba8f97d3.jpeg

b439e2da861ee55ad80230d9f623f397.jpeg我录制了个简单的视频:

音频/视频和文章内容都下载了,有问题加微信 sushengbuhuo 反馈:96044a50c479544b211aa82876802f5a.jpeg88c1d0d49ff37c4a4de22e196de44930.jpeg

我还写了个脚本批量下载某个公众号的所有历史文章2024批量下载公众号文章内容/话题/图片/封面/视频/音频,导出excel和pdf,文章数据包含阅读数/点赞数/分享数/留言数 ,下载效果如图:68ff55c1c306cdbc7112fe6c90a76e27.jpeg下载生成的excel文章数据包含每篇文章日期,文章标题,文章链接,文章简介,文章作者,文章封面图,是否原创,IP归属地,阅读数,在看数,点赞数,留言数,赞赏次数,文章类型(群发/发布),是否删除,粉丝数,视频数,音频数等,比如深圳卫健委2022年的文章阅读数都是10万+,文章数据分析见文章2022年过去,抓取公众号阅读数点赞数在看数留言数做数据分析, 以深圳卫健委这个号为例bb71975f4c9062128d418db44a417eb7.jpeg不过现在很多号粉丝数很难增长了研究了下莫言的公众号,2023年发布文章166篇,阅读数10万+的文章有120篇,粉丝数过百万抓取了一些公众号大号数据,2024年公众号粉丝数增长很难了2024年还有哪些百万粉丝公众号?抓取公众号数据分析下 ,比如莫言这种大号一个月也就增长1万左右,2023年3月13日粉丝数1023484,2024年7月1日粉丝数1578445。e99de70043861aee4222a0660f59b9f6.jpeg

7786d20829d94ed980f5d0ee8dba1fce.png

另外为了方便找历史文章2024批量导出公众号所有文章生成目录,这下方便找文章了,部分公众号的历史文章同步到了我的博客https://sushengbuhuo.github.io/blog ,持续更新,不用在手机上翻历史文章了公众号历史文章太多,手机上翻起来太费劲,怎么快速找到某一天的文章?为了方便看公众号文章,我搭建了个博客,在线看公众号所有历史文章,想看哪天的文章一秒就能找到 ,比如深圳卫健委从2014到2024发布1万多篇文章,第一篇文章是这个:f1942ac6447250a6b5cb6aeb5ad2e861.jpeg

每篇文章下的留言内容也可以导出到excel,内容包含文章日期,文章标题文章链接,留言昵称,留言内容,点赞数,回复和留言时间2023批量下载公众号文章内容/话题/图片/封面/视频/音频,导出html和pdf格式,含阅读数/点赞数/在看数/留言数/赞赏数,比如深圳卫健委在2022年的所有文章就有14万多条留言,有需要微信sushengbuhuo联系我。

860905006979589346fc1df3a17d3cbc.jpeg
 

除了文章数据还有批量下载文章内容,这里以莫言老师的公众号为例,下载的所有历史文章内容和音频,视频 :a215074297a44ba26a750fd17b9dd948.jpeg

12c460d63e64480d9cae985f8ec33764.jpeg
 

最后将下载的所有文章合并成一个pdf文件 ,包含文章留言和书签,点击左侧书签跳转到对应文章,效果见网盘地址 https://pan.quark.cn/s/afa15a7b027b    ,里面包含了文章内容pdf和文章数据excel:257335143c5368aab040adc751a00244.jpeg这次文章下的留言增加了留言时间。3c6e38e57109ec576a71e5ff3bca1119.jpeg

774604d04b785b3685b643944f85d764.png

微博

以这个号为例https://weibo.com/n/歌手李健,共抓取727条微博,导出的excel微博数据包含微博链接,微博正文,原始图片链接,被转发微博原始图片链接,是否为原创微博,微博视频链接,发布位置,发布时间,发布工具,点赞数,转发数,评论数,话题等苏生不惑出品:2024 批量下载微博内容/图片/视频/评论/转发,导出excel和pdfcff558eed81a82058c2b218e54ddc25d.pngb206ea890056a2fac30fc6739ca4ffe7.png第一条微博发布于2010年5月31 https://www.weibo.com/1744395855/OyJMj9695d1f156a07db210090ce84dbe2d3d.png

再分析下微博发布工具比例图:

162a56c14c35a09a14e11713dcfb70a0.png

微博内容词云图:cd377031f1e25bb31548fb39171916f5.png原创微博与转发数据分布图:8b66427ae4d7a16b84b72734c1b5960f.png转发评论点赞数据分布图:edad5f08dd2a12ac30e4551027b338e6.png

所有微博内容导出pdf,大小 40MB。  

dd1582dc5473824bf04ffc842e714973.png然后是批量下载微博评论2024 批量下载微博内容/图片/视频/评论/转发数据,导出excel和pdf,工具下载地址在公众号后台对话框回复 微博,打开工具输入微博链接https://weibo.com/1641561812/O3W1EjKrq和网页版微博cookie就行:15a6f038e5f97e594622b99881cb83b9.jpeg

3a528736f5e97605aa566025c485a88f.jpeg我录制了个简单的视频:

导出的excel数据包含微博昵称,微博uid,评论时间,评论内容,评论地区,回复数,点赞数等。f13d378f5796f8292de69b15d78bf44c.jpegd1665d41a83e44361a52e3808a551e3d.jpeg对excel文件分析评论IP地址分布图:45b9106e523af5c6612695c117647027.jpeg对excel文件分析评论内容生成的词云图:

67554618b3ece966230492fc929afe77.jpeg还有批量下载微博转发内容,导出的excel数据包含微博昵称,微博uid,转发时间,转发内容,转发地区,转发来源,转发数,评论数,点赞数,比如https://m.weibo.cn/status/5000660202553386这条微博有5000多条转发微博:c658686dd7f82901987663045fe1db66.png

知乎

之前分享过文章2024 批量下载知乎回答/文章/想法/专栏/视频/收藏夹导出 excel 和 pdf ,导出的所有知乎回答excel数据包含所有知乎回答问题标题,链接,赞同数和评论数。1001475beceadf4af457dcf132341fdb.png将所有知乎回答pdf合成一个pdf文件,大小近300MB,网盘地址 https://pan.quark.cn/s/8522433ad346

8737a2d520707235daa39f8dfd4dd447.png

导出的所有知乎文章excel数据包含知乎文章标题,链接,评论数和赞同数。bd32910bfc17dc25839fd6e4511e2dc7.png将所有知乎文章合成一个pdf,大小10MB:

2289281f7946b552ca09a70df851711c.png导出的所有知乎想法excel数据包含想法发布时间,想法链接,想法内容。

abd3c31958a5046f925dfde5c601cd7e.png将所有知乎想法合成一个pdf文件,大小11MB。

caed95ca5bc950d439faf4a74ceae7db.png

还有批量下载知乎问题下的回答 https://www.zhihu.com/question/635965766 ,输入知乎问题id和cookie就行,如何获取cookie见我之前文章 总有人问我 cookie 到底是什么?2599c3f23397315c3ec1024bb6dad305.jpeg

导出的excel包含每个回答的回答链接,回答作者,回答内容,回答时间和回答更新时间,图片太多就不下载了。4dba700e55e4fe5ff9691efddb01d010.jpeg

6cb04915d6c5a649acdf0570e911555a.jpeg
 

还有批量下载知乎专栏2024批量下载知乎回答文章想法专栏视频,公众号文章内容图片封面视频音频,微博内容图片视频评论转发数据,导出excel和pdf ,比如这个专栏https://www.zhihu.com/column/c_1299656585577177088 ,里面包含了回答,文章和视频,打开工具输入专栏地址即可批量下载,下载地址在公众号后台对话框回复 知乎 0d4147bde95c4960733c7d4d68f759db.jpeg我录制了个简单的视频:

下载的excel数据包含类型,标题,链接,创建时间,更新时间,简介,评论数和赞同数。865378730f5a0568962b3f0b33a09d72.jpeg所有文章生成的合集pdf:c5647fe2cab51086a9e946f9899de633.jpeg还有文章html和视频,有问题可以加微信 sushengbuhuo  bf82f38ef5b729e717c411d1b34feb40.jpeg以及知乎收藏夹批量下载, 工具发布在我的知识星球  https://t.zsxq.com/qWLTU ,欢迎加入我的知识星球 加入我的知识星球b038bf78c561b23af57e710fd4f2085f.jpeg6acf92b8875eac4296b34716402b5d57.png打开工具输入知乎收藏夹地址https://www.zhihu.com/collection/40047806,页数,cookie  总有人问我 cookie 到底是什么? :

be1c3873aa9e3d6169a833ffc61f6a16.png默认下载500篇回答,视频,文章,如果要继续下,修改页数再次下载。c26605c9703cf62b819d97c2c46ddb72.png下载的html文件在zhihu目录。5d1215e77a610ebbbe44a5ba25016327.png下载的视频在video目录。

14ed7a56c07aef002b6c7d1787703bf5.png

下载完成后合并转换生成的pdf文件200MB ,它依赖wkhtmltopdf ,将wkhtmltopdf.exe加入环境变量。

39ab74790c9a96f0281a6039e6a1f1f8.png点击左侧标题书签可以跳转到对应内容。

178ca8e43be9afdb9b38afa8b57f1bfb.png

如果转换pdf失败可以用我开发的html2pdf批量转换html为pdf。

6dbf8e1055974e328f08b32182b71841.png再用pdf_merge将pdf文件合并成一个文件。

466e8a7a1cdec188a9302f2c3c21af10.png

抓取的收藏夹excel数据包含类型(回答,文章,视频),标题,链接,创建时间,更新时间,简介,评论数,赞同数,页数。

3e8bd91dadb92fd0d837f98fd50b2740.png

雪球

打开软件提示输入雪球主页地址和浏览器cookie2024 批量下载雪球/东方财富文章导出excel和pdf,比如爱在冰川这个号https://xueqiu.com/u/4104161666,cookie 在浏览器控制台获取:957ac0b1bf9c6092bd9962799a621a5b.jpeg下载效果如图:ffc74b47d825cb8fe36c23584e4cb261.jpeg

下载的文章html:c7ecf39e2224c505adecdc08fa5a7790.jpeg以及文章数据excel,包含文章日期,文章标题,文章链接,文章简介,点赞数,转发数,评论数:2a279547520a8ba51d8df3c928b6bcfe.jpeg接着用我开发的这个工具将html评论转pdf ,由于工具依赖wkhtmltopdf,需要先下载安装这个 https://wkhtmltopdf.org/downloads.html 加入环境变量。4b6a15a5955046dd7c0da1d9218c14bb.jpeg转换的pdf:8f2d3750e9567360ca240aa82950f540.jpeg

最后用我开发的这个工具将所有pdf 合并为一个带书签的pdf文件, pdf合并生成书签工具 。be6dadb5d780d72eb511d95939d67560.jpeg效果如图:b84b908b5c86f824bd8df6386422d485.jpeg

批量下载市场高标解读的雪球文章pdf https://xueqiu.com/u/2201555376 ,大小226MB,网盘地址 https://pan.quark.cn/s/a95c2f5494ea a158924fcbb4f43a0537cbfcb9833212.png

pdf转换合并

我开发的htmltopdf.exe批量转换html为pdf,它依赖,不过要注意不要放在中文目录下,否则提示错误 'utf-8' codec can't decode byte 0xba in position 8: invalid start byte

a65213db0422d351723174e7dccc31b7.png再用pdf_merge将pdf文件合并成一个文件。

1c8cdf3eda46d2c86f8053cdf17bf733.png

哔哩哔哩

使用web scraper浏览器扩展抓取b站上木鱼水心的所有视频 https://space.bilibili.com/927587/video ,导入以下代码:

{"_id":"bilibili_videos","startUrl":["https://space.bilibili.com/927587/video?tid=0&pn=[1-42:1]&keyword=&order=pubdate"],"selectors":[{"id":"row","parentSelectors":["_root"],"type":"SelectorElement","selector":"li.small-item","multiple":true},{"id":"视频标题","parentSelectors":["row"],"type":"SelectorText","selector":"a.title","multiple":false,"regex":""},{"id":"视频链接","parentSelectors":["row"],"type":"SelectorElementAttribute","selector":"a.cover","multiple":false,"extractAttribute":"href"},{"id":"视频封面","parentSelectors":["row"],"type":"SelectorElementAttribute","selector":"a.cover div.b-img picture img","multiple":false,"extractAttribute":"src"},{"id":"视频播放量","parentSelectors":["row"],"type":"SelectorText","selector":".play span","multiple":false,"regex":""},{"id":"视频长度","parentSelectors":["row"],"type":"SelectorText","selector":" a.cover  span.length","multiple":false,"regex":""},{"id":"发布时间","parentSelectors":["row"],"type":"SelectorText","selector":"span.time","multiple":false,"regex":""}]}
a5598ed68070bd01af34b9da6446dee8.png

32f02a32f7c707e574c55eb4e8fcad30.png

导出的excel数据包含视频标题,链接,封面,播放量,长度,时间等,从2013到2023年发布视频1200多个。b8e3734290bb2c6efc54cc1c35ebebf9.pngb站热榜数据抓取,导入以下代码:

{"_id":"bilibili","startUrl":["https://www.bilibili.com/v/popular/rank/all"],"selectors":[{"id":"row","multiple":true,"parentSelectors":["_root"],"selector":"li.rank-item","type":"SelectorElement"},{"id":"视频排名","multiple":false,"parentSelectors":["row"],"regex":"","selector":"i.num","type":"SelectorText"},{"id":"视频标题","multiple":false,"parentSelectors":["row"],"regex":"","selector":"a.title","type":"SelectorText"},{"id":"播放量","multiple":false,"parentSelectors":["row"],"regex":"","selector":".detail-state > span:nth-of-type(1)","type":"SelectorText"},{"id":"弹幕数","multiple":false,"parentSelectors":["row"],"regex":"","selector":"span:nth-of-type(2)","type":"SelectorText"},{"id":"up主","multiple":false,"parentSelectors":["row"],"regex":"","selector":"a span","type":"SelectorText"},{"id":"视频链接","multiple":false,"parentSelectors":["row"],"selector":"a.title","type":"SelectorLink"},{"id":"点赞数","multiple":false,"parentSelectors":["视频链接"],"regex":"","selector":"span.like","type":"SelectorText"},{"id":"投币数","multiple":false,"parentSelectors":["视频链接"],"regex":"","selector":"span.coin","type":"SelectorText"},{"id":"收藏数","multiple":false,"parentSelectors":["视频链接"],"regex":"","selector":"span.collect","type":"SelectorText"}]}
7c1915f250a555e6c67c41491c0d95d2.png

抖音

以流利说英语这个号为例 https://www.douyin.com/user/MS4wLjABAAAALnQsTEDdQDmWIZeWf-O7awwb4c733v0rpGKIF_cJVdk ,详情见之前文章2024 批量下载抖音视频,抓取导出视频excel数据包含视频标题/链接/点赞数/评论数/收藏数

e33ba2178949eb72e4e371902ea6227b.png导出的excel数据包含视频标题,视频链接,点赞数,评论数,收藏数,分享数,发布时间,封面,时长,标签,话题,下载链接等。4a88d05d8c73f9137b95b1430b725fc9.png

共500多个视频。4d850afe95a17efb91dcd53e079dfbe5.png之后再对excel里的视频链接批量下载,效果如图:

8546e42d93f847ad596af5ffdd2d231f.png

小红书

批量抓取小红书所有笔记数据2024 一键批量下载小红书图片/视频,抓取导出笔记数据excel包含发布时间,标题,链接,内容,点赞数,收藏数,评论数,分享数,导出的excel数据包含发布时间,更新时间,标题,ip,链接,内容,图片链接,类型,标签,点赞数,收藏数,评论数,分享数等。

ad20fe452e930392ae3e8ad0ac1198dc.png高叶的小红书数据https://www.xiaohongshu.com/user/profile/5badf469dcf6180001b2588d如图,209条笔记其中视频105个,图文104篇。

b27e412652bd3185222e433c38bb044f.png

点赞数排名前10的笔记是2023-01-31发布的 化妆教程丨和陈书婷一起狂飙!(上期) ,第一条笔记发布于2022年3月 https://www.xiaohongshu.com/explore/622d764a000000002103582f

https://www.xiaohongshu.com/explore/63d8f519000000001d0111a1  115274
https://www.xiaohongshu.com/explore/63df7baa0000000008022eee  93237 
https://www.xiaohongshu.com/explore/641ecd140000000013035de4  79929
https://www.xiaohongshu.com/explore/63dba638000000001b00412e  74048
https://www.xiaohongshu.com/explore/63d0f115000000002202928e  60829
https://www.xiaohongshu.com/explore/63fca8d30000000013015836  51884
https://www.xiaohongshu.com/explore/63e75d140000000014026cac  50354
https://www.xiaohongshu.com/explore/63e608dc0000000013005a52  37655
https://www.xiaohongshu.com/explore/63f96de2000000001303eafb  36800
https://www.xiaohongshu.com/explore/64104798000000002701127e  29213

公众号苏生不惑

b70fd601fbfdd53c0eb5b1f27833a5db.jpeg
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值