- 博客(8)
- 收藏
- 关注
原创 数据可视化分析之新闻数据分析
本文对多个平台的多个类型的新闻数据信息进行爬虫,并且进行数据分析提取出相关主题新闻的关键词,并进行可视化分析和机器学习,对新的新闻主题进行判定。
2022-09-03 01:55:16
2379
原创 数据可视化分析之python论坛爬虫可视化分析
随着数据可视化分析的流行,对python的论坛进行可视化分析可以有效帮助论坛进行引流,达到优化论坛资源,分析论坛走势的目的。该程序分为数据爬虫和数据分析两个部分。
2022-09-02 00:34:09
733
原创 记一次知乎数据爬虫
1、需求1、爬取知乎话题为"如何看待xxx"的数据。2、根据话题下的回答者分析他们的用户的信息,找到高质量答主的信息。2、解析数据接口使用chrome抓包。可知话题数据的接口为https://www.zhihu.com/api/v4/search_v3?t=general&q=%E5%A6%82%E4%BD%95%E7%9C%8B%E5%BE%85&correction=1&offset={offset}&limit=20&lc_idx=0&show
2021-04-02 12:13:26
765
4
原创 记一次pymongo+多线程遇到的too many open files问题
使用多线程时 pymongo写入数据 一定要讲client = MongoClient ()放入子进程中.
2020-04-07 14:31:07
443
原创 基于python爬虫的豆瓣自动回复.
最新的豆瓣自动回复废话不多说 直接挂代码.import requestsimport reimport time#from chaojiying import *from random import choice , randintran = [.....自动回复的内容]# 用于维持登录会话,requests高级用法s = requests.Session ()header...
2020-03-08 17:03:05
1016
原创 python爬虫之热搜爬取
首先安装必要的库pip install requestspip install jsonpip install re代码如下import datetimeimport jsonimport requestsfrom requests.exceptions import RequestExceptionimport reimport timedef get_one_page(...
2019-06-11 18:53:56
629
原创 MongoDB:WiredTiger error (13) 问题解决.
今天在调试MongoDB的时候,mongo无法正常打开huangzhengtaodeMacBook-Pro:~ huangzhengtao$ mongoMongoDB shell version v4.0.8connecting to: mongodb://127.0.0.1:27017/?gssapiServiceName=mongodb2019-05-08T20:21:17.923+0...
2019-05-09 14:48:09
20946
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人