![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 58
Lizytzh
一个来自JNU的信计菜鸟,又继续到SYSU当统计菜鸟
展开
-
微博系列文章
文章已迁移:https://www.jianshu.com/p/aed4024aae70https://www.jianshu.com/p/e9ea19a2e72dhttps://www.jianshu.com/p/12e3ba7b6eff原创 2022-02-27 16:09:06 · 164 阅读 · 0 评论 -
微博系列之博文评论提取
博文已迁移至以下博客:https://www.jianshu.com/p/12e3ba7b6eff原创 2022-02-27 16:05:58 · 284 阅读 · 0 评论 -
微博爬虫系列之博文评论爬取
微博爬虫系列之爬取微博指定博文评论原创 2022-02-25 21:02:24 · 197 阅读 · 0 评论 -
基于wiki中文语料库的gensim模型使用方法以及R语言的调用方式
基于wiki中文语料库的gensim模型使用方法以及R语言的调用方式近期想要整理下硬盘里的东西,看到本科毕设做情感倾向分析相关的数据,想起当时使用gensim训练词向量模型训练了超级久,决定将训练好的模型上传到云空间,记录下怎么使用的,以防以后需要用到。具体训练方式貌似应该不怎么需要用到就不细细理顺了,主要记录下使用方式。训练好的词向量模型已上传,有需要用的朋友可以自行下载:链接:https://pan.baidu.com/s/1HWY_DtrKLebry3_LyFQKPA提取码:4u1n其实原创 2022-01-12 16:49:07 · 1295 阅读 · 0 评论 -
微博爬虫系列之微博榜单博文爬取
无聊的前言本职工作不是爬虫,但由于一些原因,近期做了很多关于微博爬虫的事情,差不多把可以爬到的东西摸索了一遍,之后准备写下微博爬虫系列博客,主要包括几方面内容:微博热门内容及榜单的博文爬取定向关键词及指定用户博文爬取博文评论爬取微博用户信息爬取具体爬取的过程,有一些是自己摸索出来的,有一些是借鉴了一个很强的github资源,后续博客写了之后再慢慢放上来~关于爬取的途径,包括微博的三个端:微博pc端:https://weibo.com微博网页版:https://weibo.cn微博移原创 2021-06-04 17:58:35 · 547 阅读 · 0 评论 -
selenium爬取腾讯新闻疫情数据续——按控件tag爬取
前面更新过几篇爬虫的博客,详见以下链接:requests+json爬取腾讯新闻feiyan实时数据并实现持续更新requests+bs4爬取丁香园feiyan实时数据selenium爬取腾讯新闻feiyan页面实时数据这里主要是,之前面试的时候,当时信号不好没听清,可能当时面试官想问我怎么具体爬到表格里的每个数据。像之前那篇博客里写的,我当时是直接将整个表格爬下来,发现爬下来的结构是有规律的,所以就直接对表格进行拆分。但如果想要爬取表格里的每个数据,则要用到.find_elements_by_原创 2020-08-16 11:17:52 · 404 阅读 · 0 评论 -
Python小练习:对列表中的元组元素进行字符串拼接
昨天有小伙伴进行了一次实习面试,其中有一个题目大致是这样的:现在有一个list对象,列表里每个元素都是一个tuple对象,元组中的第二个元素是字符串,要求把所有元组的第二个元素拼接在一起。小伙伴用的是for循环加上简单的+,这应该算是最基本的做法,在想不出怎么做的情况下,用最基本的做法总是对的。后面另一个小伙伴有问我怎么做,大概说了几种方式。字符串的拼接可以用简单的+进行拼接,也可以用'{}{}'.format(str1, str2)这样的方式进行拼接,还有更方便也更实用点的是用.join()进行拼接。原创 2020-08-16 09:53:26 · 3538 阅读 · 1 评论 -
Python手写实现LDA与QDA算法
近期实验室在上一门机器学习的讨论班,第一次作业中有一道题要求实现LDA算法与QDA算法,这里LDA部分参考了以下文章与教材,详细的推导在下面的文章里也有介绍:机器学习算法推导&手写实现03——线性判别分析《The Elements of Statistical Learning》QDA部分则是由LDA部分改装成的。LDA与QDA的区别就在于LDA的判别函数值为:δk(x)=xTΣ−1μk−12μkTΣ−1μk+logπk.\delta_k(x) = x^T\Sigma^{-1}\mu原创 2020-08-14 01:52:10 · 2735 阅读 · 5 评论 -
selenium爬取腾讯新闻feiyan页面实时数据
莫名其妙博客不给通过,原因是“政治”???怒而码博客。前面已经写了两篇推送,都是用requests爬取页面,之前腾讯提供的接口用的json解析内容,丁香园则是直接用BeautifulSoup...原创 2020-04-03 22:45:39 · 793 阅读 · 0 评论 -
bs4实现丁香园实时数据采集
前言之前使用腾讯新闻提供的接口爬取国际疫情数据,详见之前的博文:python爬取腾讯疫情国际数据并实现持续更新然而腾讯新闻提供的接口太烦人了,老是换,而且从那里爬下来的数据老是不更新。当时也很疑惑,明明页面显示的是实时更新的数据,但接口的lastUpdate一直False。一开始一直在找腾讯新闻实时界面的接口,但发现用requests爬下来的压根没有相关的数据。又去看了丁香园的页面,看...原创 2020-08-13 00:30:43 · 372 阅读 · 0 评论 -
requests+json爬取腾讯新闻feiyan实时数据并实现持续更新
前言开启2020,简直有如人间炼狱,各种不好的事情频频发生。自1月份以来,大家估计每天都很关注疫情的发展,微博上各种令人糟心的事情就不说了,这里写下在做东西的时候用python爬取腾讯的疫情数据。本文参考了:利用Python爬取新冠肺炎疫情实时数据,Pyecharts画2019-nCoV疫情地图国际数据爬取由于国内数据爬取在上述参考博客中已详尽介绍,这里就不再介绍国内数据的爬取了。在上述...原创 2020-04-03 20:52:39 · 1557 阅读 · 0 评论