hadoop
文章平均质量分 78
Nate_7090
这个作者很懒,什么都没留下…
展开
-
hadoop配置文件详解、安装及相关操作
一、 Hadoop伪分布配置 1. 在conf/hadoop-env.sh文件中增加:export JAVA_HOME=/home/Java/jdk1.6 2. 在conf/core-site.xml文件中增加如下内容: fs.default.name -这是一个描述集群中NameNode结点的UR转载 2015-03-09 09:15:56 · 318 阅读 · 0 评论 -
hadoop下mahout bayes(贝叶斯)算法研究(1)
1.算法简介 朴素贝叶斯分类是一种十分简单的分类算法,叫它朴素贝叶斯分类是因为这种方法的思想真的很朴素,朴素贝叶斯的思想基础是这样的:对于给出的待分类项,求解在此项出现的条件下各个类别出现的概率哪个最大,就认为此待分类项属于哪个类别。这二十个新闻组数据集合是收集大约20,000新闻组文档,均匀的分布在20个不同的集合。这20个新闻组集合采集最近流行的数据集合到文本程序中作为实验,根据机转载 2015-03-10 20:21:39 · 416 阅读 · 0 评论 -
hadoop下mahout bayes(贝叶斯)算法研究(2)
接前面的hadoop下mahout-bayes(贝叶斯)算法研究(1) 9.输出数据含义分析与研究 这个混合矩阵的意思说明: 上述a到u分别是代表了有20类别,这就是我们之前给的20个输入文件转载 2015-03-10 20:25:21 · 457 阅读 · 0 评论 -
Hadoop之MapReduce自定义二次排序流程实例详解
一、概述MapReduce框架对处理结果的输出会根据key值进行默认的排序,这个默认排序可以满足一部分需求,但是也是十分有限的。在我们实际的需求当中,往往有要对reduce输出结果进行二次排序的需求。对于二次排序的实现,网络上已经有很多人分享过了,但是对二次排序的实现的原理以及整个MapReduce框架的处理流程的分析还是有非常大的出入,而且部分分析是没有经过验证的。本文将通过一个实际的Map转载 2015-03-11 20:27:03 · 696 阅读 · 0 评论 -
Mahout安装与配置
Mahout是Hadoop的一种高级应用。运行Mahout需要提前安装好Hadoop。Hadoop的安装网上很多,并不复杂,这里不再讲述,接下来阐述怎么安装Mahout。1:下载二进制解压安装。到http://mahout.apache.org下载,我选择下载二进制包,直接解压及可。hadoop@ubuntu:~$ tar -zxvf mahout-distribution-0.7转载 2015-03-13 11:15:54 · 407 阅读 · 0 评论 -
Hadoop平台搭建使用系列教程(7)- SSH无密码验证
雪影工作室版权所有,转载请注明【http://blog.csdn.net/lina791211】一、安装和启动SSH协议 假设没有安装ssh和rsync,可以通过下面命令进行安装。sudo apt-get install ssh 安装SSH协议sudo apt-get install rsync service sshd restart 启动转载 2015-03-06 14:45:45 · 450 阅读 · 0 评论