刚是程序员的博客

专注大数据,数据科学,机器学习

使用开源软件快速搭建数据分析平台

最近,国内涌现出了不少数据分析平台产品,例如魔镜和数据观。 这些产品的目标应该都是self service的BI,利用可视化提供数据探索的功能,并且加入机器学习和预测的功能。它们对标的产品应该是Tableau或者SAP Lumira。因为笔者曾经为Lumira开发数据可视化的功能,对这一块很感兴...

2017-06-29 10:34:33

阅读数:533

评论数:0

用Python实现一个大数据搜索引擎

搜索是大数据领域里常见的需求。Splunk和ELK分别是该领域在非开源和开源领域里的领导者。本文利用很少的Python代码实现了一个基本的数据搜索功能,试图让大家理解大数据搜索的基本原理。 布隆过滤器 (Bloom Filter) 第一步我们先要实现一个布隆过滤器。 布隆过滤器是大数据领域的...

2017-11-28 09:10:37

阅读数:210

评论数:0

图解机器学习

警告:多图杀猫! 每当提到机器学习,大家总是被其中的各种各样的算法和方法搞晕,觉得无从下手。确实,机器学习的各种套路确实不少,但是如果掌握了正确的路径和方法,其实还是有迹可循的,这里我推荐SAS的Li Hui的这篇博客,讲述了如何选择机器学习的各种方法。 另外,Scikit-learn 也...

2017-09-28 17:01:57

阅读数:988

评论数:0

用可视化来讲故事

在科学松鼠会的网站上有一篇漫画,来自imgur.com,讲述了 科学理论是如何建立的 我用到d3.js把这个静态的图改成了动态效果,代码可见github See the Pen Occam's Razor cn by gangtao (@gangtao) on CodePen. 注:这...

2017-06-30 09:57:50

阅读数:150

评论数:0

使用Python抓取欧洲足球联赛数据

背景 Web Scraping 在大数据时代,一切都要用数据来说话,大数据处理的过程一般需要经过以下的几个步骤 数据的采集和获取 数据的清洗,抽取,变形和装载 数据的分析,探索和预测 数据的展现 其中首先要做的就是获取数据,并提炼出有效地数据,为下一步的分析做...

2017-06-30 09:44:20

阅读数:1519

评论数:0

用Python做单变量数据集的异常点分析

大数据时代,数据的异常分析被广泛的用于各个场合。 今天我们就来看一看其中的一种场景,对于单变量数据集的异常检测。 所谓单变量,就是指数据集中只有一个变化的值,下面我们来看看今天我们要分析的的数据,点击这里数据文件下载数据文件。 分析数据的第一步是要加载文件, 本文使用了numpy,pandas...

2017-06-30 09:39:11

阅读数:412

评论数:0

在云上的机器学习

随着大数据日新月异的飞速发展,机器学习也变的越来越性感。云和大数据是天生的一对,那么云上的机器学习又是什么样呢?我们今天就来看看几个基于云的机器学习平台:亚马逊,微软和bigml 亚马逊机器学习 我们先来看看云的领军人物亚马逊的机器学习平台 Amazon Machine Learning ...

2017-06-29 17:00:45

阅读数:612

评论数:0

Spark 机器学习实践 :Iris数据集的分类

今天试用了一下Spark的机器学习,体验如下: 第一步,导入数据 我们使用Iris数据集,做一个分类,首先要把csv文件导入。这里用到了spark的csv包,不明白为什么这么常见的功能不是内置的,还需要额外加载。 --packages com.databricks:spark-csv_2.1...

2017-06-29 16:58:34

阅读数:611

评论数:0

用JS实现简单的神经网络算法

笔者尝试用JavaScript实现最简单的神经网络算法。 神经网络简介 神经网络试图模拟大脑的神经元之间的关系来处理信息。它的计算模型通常需要大量彼此连接的节点。每个神经元通过某种特殊的输出函数来处理来自其它相邻神经元的加权输入值。 神经元之间的信息传递的强度,用所谓的加权值来定义,算法会不...

2017-06-29 10:57:24

阅读数:647

评论数:0

开源中国用户分析

加入开源中国也有超过三年的时间了,觉得开源中国已经越办越好了,突然很想知道它究竟有多好,我是不是开源中国最老的用户,我有176个开源中国的积分能够排名第几,带着这些问题,我抓取了部分开源中国的用户信息,做了一个简单的分析。 数据获取 要获得用户数据,可以通过开源中国的网页来进行。这个是我的主页...

2017-06-29 10:51:20

阅读数:141

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭