- 博客(8)
- 资源 (8)
- 问答 (4)
- 收藏
- 关注
原创 我的豆瓣短评爬虫的多线程改写
对之前我的那个豆瓣的短评的爬虫,进行了一下架构性的改动。尽可能实现了模块的分离。但是总是感觉不完美。暂时也没心情折腾了。同时也添加了多线程的实现。具体过程见下。
2017-08-25 21:00:13 856 3
原创 关于近期爬虫学习的总结
在之前的三篇文章中,我尝试了使用python爬虫实现的对于特定站点的《剑来》小说的爬取,对于豆瓣的短评的爬取,也有对于爬取的短评数据进行的词云展示,期间运用了不少的知识,现在是时间回顾一下。在此之后,我会再关注一些爬虫框架的使用,以及更多的爬虫的优化方法,争取做到尽量多的吸收新知识,巩固旧知识。在参考文章 《爬虫(1)— Python网络爬虫二三事》 的基础上,我写了这篇文章。
2017-08-20 21:31:51 596
原创 利用豆瓣短评数据生成词云
在之前的文章中,我们获得了豆瓣爬取的短评内容,汇总到了一个文件中,但是,没有被利用起来的数据是没有意义的。前文提到,有一篇微信推文的关于词云制作的一个实践记录,准备照此试验一下。
2017-08-18 17:54:05 1123
原创 我的第一个豆瓣短评爬虫
豆瓣上有着大量的影视剧的评论,所以说,要是想要实现对广大人民群众的观点的分析,对一部片子的理解,综合来看大家的评论是很有必要的。而短评作为短小精干的快速评论入口,是值得一谈的。所以先要实现对其的数据的爬取。目前来看,基本内容是可以爬取的。最大的问题在于速度。后续考虑准备运用多线程的方式处理下。以及可以尝试其他提速的方法。下面是这个程序的构思编写过程。
2017-08-17 16:50:20 904 4
原创 我的第一个完整的小说爬虫
纪念我的第一个爬虫程序,一共写了三个白天,其中有两个上午没有看,中途遇到了各种奇怪的问题,伴随着他们的解决,对于一些基本的操作也弄清楚了。果然,对于这些东西的最号的学习方式,就是在使用中学习,通过解决问题的方式来搞定这些知识。按需索取,才能更有针对性。大体记录下整个过程。准备构思出于对于python的热爱,想要尝试一些练手的项目,但是不论是看书,还是直接尝试别人的项目,到最后都会沦为不停地复制粘贴…
2017-08-13 21:33:38 2299
Arduino与LabVIEW互动设计
2017-09-03
《Arduino与LabVIEW开发实战》配套代码
2017-09-03
我和LabVIEW 一个NI工程师的十年编程经验
2017-09-03
关于manjaro的谷歌拼音的问题
2018-05-18
关于vim插件管理的问题
2018-01-20
TA创建的收藏夹 TA关注的收藏夹
TA关注的人