PyHusky
文章平均质量分 88
happen_chen
这个作者很懒,什么都没留下…
展开
-
PyHusky接口功能及实例介绍
这里假设已经在集群上成功部署了Husky并且已为PyHusky编译成功所需的后端运用程序Master和Daemon。假如情况不是这样,可以参考PyHusky快速开始。#首先启动Master:./Master conf/myhusky.conf #在另一个窗口,if配置文件myhusky.conf指向单机环境,则如下启动单机Daemon:./Daemon conf/myhusky.conf原创 2017-02-23 11:56:20 · 22928 阅读 · 3 评论 -
Husky数据分析——招聘信息背后的潜规则揭秘
每天新闻中都可以看到各种各样的排行,和数不尽的好玩的结论。可是有很多时候我们看到某些数据结论时,总会激发我们质疑精神,有时是对于数据取样的片面性的怀疑,有时也有不满足于数据的小众化的遗憾。恰好目前我们实验室正在开发下一代的更高效的husky分布式计算平台,一来出入对数据全面性和真实性的追求以及隐藏在数据背后各种结论关系的好奇,二来也为了验证husky强大的高效快速的数据分能力。工具在手天下我有原创 2016-12-13 16:43:13 · 39288 阅读 · 13 评论 -
Husky数据分析——全球航班信息的研究
在莱特兄弟制造了第一架可控飞机100年后的今天,坐飞机已然成为了大众化的出行方式。可是我们大多数人对航空领域的相关情况了解得还并不多,例如历史上各国航空器制造公司的兴衰、全球各个机场的繁忙程度,和每家航空公司的准点率,还有每家公司的机龄分布和飞机利用率等等问题。为了揭开这一切,几个月前连续跟踪来自https://www.flightradar24.com的全球航空飞行记录。由于飞行记录原创 2017-01-13 12:04:31 · 27235 阅读 · 4 评论 -
机器学习:KNN归类算法实现验证码识别
算法简介KNN(K Nearest Neighbor)是机器学习中非常经典的,同时也容易理解的算法。与K-Means算法用于聚类不同的是,KNN是为事物的归类而生的。简单地说,就是知道一批事物的数据特征及各自所属的分类,来根据一个新事物的数据特征来判断其最大可能归属于其中的哪一类的过程。这个判断依据即是计算欧式距离,得到新数据特征向量与原有数据特征向量距离最小的前K个事物所属的分类,得到的这些分类中原创 2017-04-10 20:38:45 · 28337 阅读 · 8 评论 -
PyHusky快速开始
快速开始构建本节假设Husky已经被成功部署。若Husky还未被部署于集群之上,请参照Husky中文文档-部署.编译Daemon后端应用程序.PyHusky需要编译Maser和Daemon。在构建目录,使用 make Master 编译Master 和 make Daemon 编译Daemon。需确保构建目录已经被cmake正确创建。启动翻译 2017-02-22 12:26:27 · 16643 阅读 · 3 评论 -
Husky数据分析——关于最近房子在强力限购下的趋势分析
在去库存的大背景下,2016年一二线城市的房价经历了一场逆势疯狂上涨的大戏,使得许多城市从10月份开始不得不相继出台了号称史上最严的限购措施。与此同时,美联储加息消息不断使得美元强势,人民币对美元的汇率加速贬值,直逼7.0关口。加上股市经历两次断崖式暴跌至今元气大伤,在外围市场总体向好的情况下中国股市还未能走出低迷状态,使得大量资金流向海外。严格的限购和资金的大量外流是否会遏制房价过快上涨的趋势,原创 2017-01-12 01:55:49 · 30861 阅读 · 4 评论 -
PyHusky处理属性图数据生成——由XML文件到完整图形为例
目前为止,网络上能找到的关于large attributed graph的数据集还非常少。更多的是单纯的关系图,这样就缺少了必要的属性数据。所以我们需要在获得原始数据后,再经过一系列数据计算处理得到我们所要的图数据。下面我将提供已经处理好了的三组完整属性图数据的下载链接,同时利用前面讲过的PyHuksy来介绍其中的一组数据的生成过程。Tencent_GraphDBLP_Journal_Graph原创 2017-04-03 21:04:56 · 30225 阅读 · 1 评论 -
分布式网络爬虫实例——获取静态数据和动态数据
前言刚刚介绍完基于PyHusky的分布式爬虫原理及实现,让我们具备了设计分布式网络爬虫方便地调动计算资源来实现高效率的数据获取能力。可以说,有了前面的基础,已经能够解决互联网上的绝大部分网站的数据获取问题。下面我将以正常模式爬取某地产网站上相关的新房、二手房和租房信息;然后使用selenium来抓取动态数据来分别介绍两种类型网站的分布式网络爬虫的实现:实例由于前面已经设计好了实现分布式爬虫的框架,它原创 2017-04-11 14:51:10 · 17128 阅读 · 2 评论 -
Python分布式爬虫前菜(1):关于静态动态网页内容获取的N种方法
爬虫是快速获取我们需要的数据的一个有效途径,而第一步便是要请求远方服务器为我们返回对应的网页信息。我们知道,正常情况下在浏览器上我们只要输入正确的统一资源定位器url,即网页地址便可轻松打开我们想要看到页面。同理,在设计python爬虫程序时,我们也可以调用对应的库通过参数设置来连接网络处理http协议。原创 2017-03-02 23:47:57 · 18551 阅读 · 3 评论 -
Python分布式爬虫前菜(2):关于提取网页源码中特定信息的技巧
前面介绍了不同方法来获取静态和动态各类网页源码,可是我们知道网页源码是夹杂着文字和代码的让人非常眼花缭乱的信息。如何从中提取出有用的信息是一次有意义的爬虫过程中不可避免的问题。这里我们需要快速简洁的工具帮我们完成,其中就有re,BeautifulSoup和XPath等优秀代表。闲话不说,直接进入主题:(一)re(regular expression operations),即我们常说的正则表达原创 2017-03-06 16:07:34 · 15585 阅读 · 3 评论 -
Husky简介及如何利用PyHusky进行数据分析计划
介绍Husky项目旨在建立一个更具有表达能力和更高效的分布式数据分析系统。高效: 同等硬件资源下具有更优秀的性能Husky设计并实现了一个高度优化的执行引擎,以求在有限计算资源之上取得更好的性能。Husky的计算模型支持快速并高效地实现各类算法。通用: 可于统一的平台上开发各类应用Husky支持广泛的应用,其中包括MapReduce的ETL,原创 2017-02-23 09:40:54 · 15432 阅读 · 0 评论 -
基于PyHusky的分布式爬虫原理及实现
原理爬虫是我们获取互联网数据的一个非常有效的方法,而分布式爬虫则是利用许多台机器协调工作来加快抓取数据效率的不二途径。分布式爬虫是由访问某些原始网址开始,在获取这些网址的内容后,根据某些规则从中提取出下一轮的爬虫网址。依此类推,直到将全部链接访问完毕或达到我们设置的某些限定方可结束。这里我们需要选定一个运算效率较高的机器作为master, 和一群正常的workers来协助。这个master要负原创 2017-04-06 17:14:01 · 32036 阅读 · 3 评论