- 博客(4)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 mahout
mahout简介 Mahout是Apache的顶级开源项目，它由Lucene衍生而来，且基于Hadoop的，对处理大规模数据的机器学习的经典算法提供了高效的实现。 mahout-core：核心程序模块；mahout-math：在核心程序中使用的一些数据通用计算模块；mahout-utils：在核心程序中使用的一些通用的工具性模块； mahout-examples 是Mahout提供的一些实
2013-05-24 16:42:55
449
原创 MapReduce机制
MapReduce作业执行主要包括map、reduce 及shuffle过程，shuffle可以认为是从map数据到reduce端的这段过程。 map阶段实现了map()函数，将输入的键值对进行处理，生成中间结果。默认情况下，不做任何处理，直接将输入的输出。 reduce阶段实现了reduce()函数，经过处理生成最终结果输出。默认情况下，不做任何处理，直接将从map端接收的数据作为输出。
2013-05-23 16:14:49
520
转载 spark和hadoop对比分析
尽管Hadoop在分布式数据分析领域备受瞩目，但还是有其他选择比典型的Hadoop平台更具优势。最近很多人都在讨论Spark这个貌似通用的分布式计算模型，国内很多机器学习相关工作者都在研究和使用它。Spark是一种可伸缩（scalable）的基于内存计算（In-Memory Computing）的数据分析平台，比Hadoop集群存储方法更有性能优势。Spark采用Scala语言实现，提供了单一
2013-05-23 15:35:14
2296
原创 hadoop无法启动常见问题
1、启动hadoop，发现namenode未启动，其他进程可正常启动 解决办法--可以将所有服务停掉，然后重新格式化namenode；bin/hadoop namenode -foramt; 2. 每次机器重启了，namenode都启动不了，造成到原因可能是 在core-site.xml配置中hadoop.tmp.dir的目录在系统启动时被清空 [html] vi
2013-05-23 15:08:18
976
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人