- 博客(4)
- 资源 (2)
- 收藏
- 关注
原创 mahout
mahout简介 Mahout是Apache的顶级开源项目,它由Lucene衍生而来,且基于Hadoop的,对处理大规模数据的机器学习的经典算法提供了高效的实现。 mahout-core:核心程序模块;mahout-math:在核心程序中使用的一些数据通用计算模块;mahout-utils:在核心程序中使用的一些通用的工具性模块; mahout-examples 是Mahout提供的一些实
2013-05-24 16:42:55
457
原创 MapReduce机制
MapReduce作业执行主要包括map、reduce 及shuffle过程,shuffle可以认为是从map数据到reduce端的这段过程。 map阶段实现了map()函数,将输入的键值对进行处理,生成中间结果。默认情况下,不做任何处理,直接将输入的输出。 reduce阶段实现了reduce()函数,经过处理生成最终结果输出。默认情况下,不做任何处理,直接将从map端接收的数据作为输出。
2013-05-23 16:14:49
531
转载 spark和hadoop对比分析
尽管Hadoop在分布式数据分析领域备受瞩目,但还是有其他选择比典型的Hadoop平台更具优势。最近很多人都在讨论Spark这个貌似通用的分布式计算模型,国内很多机器学习相关工作者都在研究和使用它。Spark是一种可伸缩(scalable)的基于内存计算(In-Memory Computing)的数据分析平台,比Hadoop集群存储方法更有性能优势。Spark采用Scala语言实现,提供了单一
2013-05-23 15:35:14
2310
原创 hadoop无法启动常见问题
1、启动hadoop,发现namenode未启动,其他进程可正常启动 解决办法--可以将所有服务停掉,然后重新格式化namenode;bin/hadoop namenode -foramt; 2. 每次机器重启了,namenode都启动不了,造成到原因可能是 在core-site.xml配置中hadoop.tmp.dir的目录在系统启动时被清空 [html] vi
2013-05-23 15:08:18
988
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人