![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大规模机器学习
sparkexpert
大数据挖掘技术(人工智能)的爱好者
展开
-
大规模机器学习的相关资料集锦
大规模机器学习是大数据分析与挖掘的重要支撑工具,经过查找,网上QURA有个整理比较好的文献,采用下来,以供大家使用。转载地址:https://www.quora.com/What-are-some-software-libraries-for-large-scale-learning(1) 开源工具Netlib/Scalapack: http://netli转载 2015-10-22 15:02:31 · 1949 阅读 · 0 评论 -
Apache Mahout的KMeans算法测试
Mahout是Hadoop中实现数据挖掘的包,虽然现在一般用spark mlib,但是为了做比较,想着将mahout的算法进行验证测试一下。。Mahout的安装还是非常简单的,只需要解压一下再进行如下配置就可以。# Mahoutexport MAHOUT_HOME=/home/ndscbigdata/soft/mahout-0.11.0export PATH=$MAHOUT原创 2015-10-31 20:52:18 · 740 阅读 · 0 评论 -
Apache mahout中HMM(隐马尔可夫)算法的测试
隐马尔可夫模型(Hidden Markov Model,HMM)是概率学上的一种统计模型,它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。HMM正常主要用来解决三类问题,这三类问题对应都有相关的算法。*1 评估问题: 前向算法*2 解码问题: Viterbi算法*3 学习问题: Baum-Welch算法(向前向后算原创 2015-11-03 10:17:12 · 2434 阅读 · 0 评论 -
spark mlib中机器学习算法的测试(SVM,KMeans, PIC, ALS等)
在学习spark mlib机器学习方面,为了进行算法的学习,所以对原有的算法进行了试验。从其官网(http://spark.apache.org/docs/latest/mllib-guide.html)上进行了相关文档的介绍学习,并通过其给定的例子包中相关进行测试。(1)SVM测试(SVMwithSGD,要知道在mahout中都不支持SVM的)(2)Kmean原创 2015-11-03 10:28:49 · 2709 阅读 · 0 评论 -
spark深度学习算法(CNN卷积神经网络)的测试与分析
卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。 关于CNN的一些发展信息,很多文献上都有。下面摘抄一段:(来自于http://www.36dsj.com/archives/24006) “卷积神经网络是近年发展起来,并引起广泛重视的一种高效识别方法。2原创 2015-11-03 10:39:34 · 9562 阅读 · 6 评论 -
windows环境下rapidminer开源代码编译与测试
rapidminer是一个开源数据挖掘软件,其可视化和工作流应该算是其亮点,当然该产品相应的商业化版本介绍中已经融合了R和hadoop等大数据框架。两年前曾经在sourceforge.net上下载过源码,可是后悔当时很多插件都没有下载,现在一个朋友想要点这方面的资料,再上一下sourceforge,居然被清空了。不过主体程序还在,就将以前编译的版本在博客上贴一下。这个源码的原创 2015-12-25 15:30:19 · 1879 阅读 · 0 评论 -
xgboost C++ window编译问题解决与安装
为了比较在不同语言环境下使用xgboost的效果。最近想试一下这个库。实质上spark mlib中的GBT算法一直在使用,在规模超过50万的训练集上进行生成模型,速度就已经相当慢。XGBOOST是一个各个语言的库,有C++版,R,PYTHON版本。于是最近也尝试着去安装一下别的语言版本效果。然而在编译安装的时候也是各种坑。(1) GITH原创 2016-05-14 22:30:45 · 3549 阅读 · 2 评论 -
Deeplearning4j库学习
一、基础知识(了解) 背景知识: 如官网描述,dl4j-examples含有丰富的深度学习神经网络应用案例,这是一个为Java和Scala编写的首个商业级开源分布式深度学习库。DL4J与Hadoop和Spark集成,为商业环境(而非研究工具目的)所设计。Skymind是DL4J的商业支持机构。 Deeplearning4j的使用非常方便,它设计的目标是“即插即用”,通原创 2016-11-28 09:15:47 · 8981 阅读 · 3 评论