自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

大数据挖掘SparkExpert的博客

大数据智能相关理论、技术与工具的学习、理解和精通掌握过程集合

  • 博客(6)
  • 收藏
  • 关注

原创 大数据可视化之空间可视化Arcgis flex 手动版widget

空间可视化是大数据可视化很重要的一块。以前搞过很多GIS可视化的东西,二维三维的。然而这回想搞个网络版的,以前擅长用silverlight的,但是现在为了跟spark后台进行对接,于是选用flex。 虽然对HTML5有一定掌握,但是感觉开发起来还是不方便。arcgis是一个非常成熟的GIS软件,但是其提供的arcgis flex开发widget都是以SWF形式加载,非常不便

2015-11-19 22:00:05 1436

原创 Spark 1.5.2(Scala 2.11)版本的编译与安装

Spark于11月9号又将几个BUG解决之后,release一个较新的版本。作为spark的追随者,于是开始重新进行spark的编译。有了前面的编译经验和之前下载好的java类包,花了大概一分钟就编译妥当,于是重新部署配置一下,马上OK。简直是高效率。对于scala的编译,还是只需要一条语句。build/sbt -Dscala=2.11 -Pyarn -Phadoop-2.

2015-11-16 20:46:08 2424

转载 分类解读Spark下的39个机器学习库

转自小象学院的文章(http://xxwenda.com/article/584),后续准备逐个试验一下。当然有不少已经测试过的。Apache Spark 本身 1.MLlibAMPLabSpark最初诞生于伯克利 AMPLab实验室,如今依然还是AMPLab所致力的项目,尽管这些不处于Apache Spark Foundation中,但是依然在你日常的github项目中享

2015-11-05 09:01:36 4691

原创 spark深度学习算法(CNN卷积神经网络)的测试与分析

卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。  关于CNN的一些发展信息,很多文献上都有。下面摘抄一段:(来自于http://www.36dsj.com/archives/24006)  “卷积神经网络是近年发展起来,并引起广泛重视的一种高效识别方法。2

2015-11-03 10:39:34 9570 6

原创 spark mlib中机器学习算法的测试(SVM,KMeans, PIC, ALS等)

在学习spark mlib机器学习方面,为了进行算法的学习,所以对原有的算法进行了试验。从其官网(http://spark.apache.org/docs/latest/mllib-guide.html)上进行了相关文档的介绍学习,并通过其给定的例子包中相关进行测试。(1)SVM测试(SVMwithSGD,要知道在mahout中都不支持SVM的)(2)Kmean

2015-11-03 10:28:49 2721

原创 Apache mahout中HMM(隐马尔可夫)算法的测试

隐马尔可夫模型(Hidden Markov Model,HMM)是概率学上的一种统计模型,它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。HMM正常主要用来解决三类问题,这三类问题对应都有相关的算法。*1 评估问题: 前向算法*2 解码问题: Viterbi算法*3 学习问题: Baum-Welch算法(向前向后算

2015-11-03 10:17:12 2444

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除