![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据分析
文章平均质量分 89
happen_chen
这个作者很懒,什么都没留下…
展开
-
Python分布式爬虫前菜(2):关于提取网页源码中特定信息的技巧
前面介绍了不同方法来获取静态和动态各类网页源码,可是我们知道网页源码是夹杂着文字和代码的让人非常眼花缭乱的信息。如何从中提取出有用的信息是一次有意义的爬虫过程中不可避免的问题。这里我们需要快速简洁的工具帮我们完成,其中就有re,BeautifulSoup和XPath等优秀代表。闲话不说,直接进入主题:(一)re(regular expression operations),即我们常说的正则表达原创 2017-03-06 16:07:34 · 15568 阅读 · 3 评论 -
Husky数据分析——招聘信息背后的潜规则揭秘
每天新闻中都可以看到各种各样的排行,和数不尽的好玩的结论。可是有很多时候我们看到某些数据结论时,总会激发我们质疑精神,有时是对于数据取样的片面性的怀疑,有时也有不满足于数据的小众化的遗憾。恰好目前我们实验室正在开发下一代的更高效的husky分布式计算平台,一来出入对数据全面性和真实性的追求以及隐藏在数据背后各种结论关系的好奇,二来也为了验证husky强大的高效快速的数据分能力。工具在手天下我有原创 2016-12-13 16:43:13 · 39281 阅读 · 13 评论 -
Husky数据分析——全球航班信息的研究
在莱特兄弟制造了第一架可控飞机100年后的今天,坐飞机已然成为了大众化的出行方式。可是我们大多数人对航空领域的相关情况了解得还并不多,例如历史上各国航空器制造公司的兴衰、全球各个机场的繁忙程度,和每家航空公司的准点率,还有每家公司的机龄分布和飞机利用率等等问题。为了揭开这一切,几个月前连续跟踪来自https://www.flightradar24.com的全球航空飞行记录。由于飞行记录原创 2017-01-13 12:04:31 · 27221 阅读 · 4 评论 -
机器学习:KNN归类算法实现验证码识别
算法简介KNN(K Nearest Neighbor)是机器学习中非常经典的,同时也容易理解的算法。与K-Means算法用于聚类不同的是,KNN是为事物的归类而生的。简单地说,就是知道一批事物的数据特征及各自所属的分类,来根据一个新事物的数据特征来判断其最大可能归属于其中的哪一类的过程。这个判断依据即是计算欧式距离,得到新数据特征向量与原有数据特征向量距离最小的前K个事物所属的分类,得到的这些分类中原创 2017-04-10 20:38:45 · 28324 阅读 · 8 评论 -
Husky数据分析——关于最近房子在强力限购下的趋势分析
在去库存的大背景下,2016年一二线城市的房价经历了一场逆势疯狂上涨的大戏,使得许多城市从10月份开始不得不相继出台了号称史上最严的限购措施。与此同时,美联储加息消息不断使得美元强势,人民币对美元的汇率加速贬值,直逼7.0关口。加上股市经历两次断崖式暴跌至今元气大伤,在外围市场总体向好的情况下中国股市还未能走出低迷状态,使得大量资金流向海外。严格的限购和资金的大量外流是否会遏制房价过快上涨的趋势,原创 2017-01-12 01:55:49 · 30853 阅读 · 4 评论 -
PyHusky处理属性图数据生成——由XML文件到完整图形为例
目前为止,网络上能找到的关于large attributed graph的数据集还非常少。更多的是单纯的关系图,这样就缺少了必要的属性数据。所以我们需要在获得原始数据后,再经过一系列数据计算处理得到我们所要的图数据。下面我将提供已经处理好了的三组完整属性图数据的下载链接,同时利用前面讲过的PyHuksy来介绍其中的一组数据的生成过程。Tencent_GraphDBLP_Journal_Graph原创 2017-04-03 21:04:56 · 30221 阅读 · 1 评论 -
分布式网络爬虫实例——获取静态数据和动态数据
前言刚刚介绍完基于PyHusky的分布式爬虫原理及实现,让我们具备了设计分布式网络爬虫方便地调动计算资源来实现高效率的数据获取能力。可以说,有了前面的基础,已经能够解决互联网上的绝大部分网站的数据获取问题。下面我将以正常模式爬取某地产网站上相关的新房、二手房和租房信息;然后使用selenium来抓取动态数据来分别介绍两种类型网站的分布式网络爬虫的实现:实例由于前面已经设计好了实现分布式爬虫的框架,它原创 2017-04-11 14:51:10 · 17117 阅读 · 2 评论 -
获取全球各大证券交易所的全部股票交易信息
幻想过这样的两种能力,一是回到过去,二是预见未来。时间逆转回到过去,这更多的是在文艺作品中能够出现的情节。而预见未来,我们正在努力,希望可以更准确地预见更长时间内更多的细节。例如在瞬息万变的股票交易市场中,我们可能会利用NLP来判断股市舆情,或者借助机器学习的方法来预测股市行情大势,又或者可以通过大数据找出不同股票间的隐性关联,从而获取正确的投资策略。而实现这一切,都需要大量数据来支撑我们的试验,在原创 2017-03-28 20:43:42 · 29900 阅读 · 7 评论 -
Python分布式爬虫前菜(1):关于静态动态网页内容获取的N种方法
爬虫是快速获取我们需要的数据的一个有效途径,而第一步便是要请求远方服务器为我们返回对应的网页信息。我们知道,正常情况下在浏览器上我们只要输入正确的统一资源定位器url,即网页地址便可轻松打开我们想要看到页面。同理,在设计python爬虫程序时,我们也可以调用对应的库通过参数设置来连接网络处理http协议。原创 2017-03-02 23:47:57 · 18515 阅读 · 3 评论 -
基于PyHusky的分布式爬虫原理及实现
原理爬虫是我们获取互联网数据的一个非常有效的方法,而分布式爬虫则是利用许多台机器协调工作来加快抓取数据效率的不二途径。分布式爬虫是由访问某些原始网址开始,在获取这些网址的内容后,根据某些规则从中提取出下一轮的爬虫网址。依此类推,直到将全部链接访问完毕或达到我们设置的某些限定方可结束。这里我们需要选定一个运算效率较高的机器作为master, 和一群正常的workers来协助。这个master要负原创 2017-04-06 17:14:01 · 32001 阅读 · 3 评论