hadoop
文章平均质量分 84
rootke
这个作者很懒,什么都没留下…
展开
-
Hadoop学习笔记之WordCount
WordCount是hadoop的一个入门程序,其地位相当与java中的HelloWorld,它使用map/reduce对文本中出现的单词进行计数。 程序分三个部分: Map类 Reduce类 和主函数 Map类:Map类继承Mapreducebase类并实现了Mapper接口,其中 MapReduceBase类:实现了Mapper和Red...原创 2013-07-29 10:41:39 · 155 阅读 · 0 评论 -
Hadoop集群搭建之jdk和ssh无密码配置
一、操作系统CentOS6.2二、jdk安装配置(1)安装jdk1)创建安装目录,在/usr/java(如果没有java目录,先进入usr目录下建立java目录)下建立安装路径#mkdir /usr/java 并将文件拷到该路径下:进入/usr/java目录将jdk*****.bin文件拷贝至该目录中jdk-6u11-linux-i586.bin 这个是...原创 2014-05-25 13:31:33 · 144 阅读 · 0 评论 -
Hadoop集群搭建之Hadoop安装(centos,伪分布)
一、先决条件1.操作系统:CentOS6.2 2.java环境:jdk1.6.0_383.hadoop版本:hadoop0.20.2二、安装步骤1、新建hadoop用户#useradd hadoop2、给hadoop用户root权限,设置hadoop用户的密码1)打开/etc目录下的passwd文件#vi /etc/passwd修改将最后一行的第一个500改...原创 2014-05-26 16:52:19 · 132 阅读 · 0 评论 -
Hadoop集群搭建之hive安装配置
一、环境1.操作系统:CentOS6.2 2.java环境:jdk1.6.0_383.hadoop版本:hadoop0.20.24.hive版本:hive-0.9.0二、先决条件操作系统已经安装配置完成java环境、hadoop和mysql三、安装步骤#之后的都为命令(一)解压hive包1、将hive压缩包放在/home/hadoop目录下2、解压h...原创 2014-05-28 00:25:33 · 178 阅读 · 0 评论 -
Hadoop M/R Workcount的运行
一、添加数据#进入hadoop安装目录cd /usr/local/hadoop#创建示例文件:input#在里面输入以下内容:Hello world, Bye world!vi input 二、将你写的java程序导出jar包在Eclipse上右键Export选择JAVA项 导出在hadoop下新建sbin目录存放jar文件#mkdir /usr/ha...原创 2014-05-29 16:41:34 · 126 阅读 · 0 评论 -
Hadoop学习之Hive
一、HIVE简介Hive是为提供简单的数据操作而设计的下一代分布式数据仓库。HIVE的操作语句称为HiveQL,他提供了简单的类似SQL的语法的HiveQL语言进行数据查询。同时,HiveQL语言能力不足时,它也能允许使用传统map/reduce进行复杂数据分析。 Hive搭建在Hadoop平台之上。它并不是一个真正的数据库,他的元数据存储在其他的数据库中,例如mysql。Hado...原创 2014-05-31 00:54:33 · 86 阅读 · 0 评论