hadoop
文章平均质量分 84
rootke
这个作者很懒,什么都没留下…
展开
-
Hadoop学习笔记之WordCount
WordCount是hadoop的一个入门程序,其地位相当与java中的HelloWorld,它使用map/reduce对文本中出现的单词进行计数。 程序分三个部分: Map类 Reduce类 和主函数 Map类:Map类继承Mapreducebase类并实现了Mapper接口,其中 MapReduceBase类:实现了Mapper和Red...原创 2013-07-29 10:41:39 · 145 阅读 · 0 评论 -
Hadoop集群搭建之jdk和ssh无密码配置
一、操作系统 CentOS6.2 二、jdk安装配置 (1)安装jdk 1)创建安装目录,在/usr/java (如果没有java目录,先进入usr目录下建立java目录)下建立安装路径 #mkdir /usr/java 并将文件拷到该路径下: 进入/usr/java目录 将jdk*****.bin文件拷贝至该目录中 jdk-6u11-linux-i586.bin 这个是...原创 2014-05-25 13:31:33 · 131 阅读 · 0 评论 -
Hadoop集群搭建之Hadoop安装(centos,伪分布)
一、先决条件 1.操作系统:CentOS6.2 2.java环境:jdk1.6.0_38 3.hadoop版本:hadoop0.20.2 二、安装步骤 1、新建hadoop用户 #useradd hadoop2、给hadoop用户root权限,设置hadoop用户的密码 1)打开/etc目录下的passwd文件 #vi /etc/passwd 修改将最后一行的第一个500改...原创 2014-05-26 16:52:19 · 124 阅读 · 0 评论 -
Hadoop集群搭建之hive安装配置
一、环境 1.操作系统:CentOS6.2 2.java环境:jdk1.6.0_38 3.hadoop版本:hadoop0.20.2 4.hive版本:hive-0.9.0 二、先决条件 操作系统已经安装配置完成java环境、hadoop和mysql 三、安装步骤 #之后的都为命令 (一)解压hive包 1、将hive压缩包放在/home/hadoop目录下 2、解压h...原创 2014-05-28 00:25:33 · 167 阅读 · 0 评论 -
Hadoop M/R Workcount的运行
一、添加数据 #进入hadoop安装目录 cd /usr/local/hadoop #创建示例文件:input #在里面输入以下内容: Hello world, Bye world! vi input 二、将你写的java程序导出jar包 在Eclipse上右键Export选择JAVA项 导出 在hadoop下新建sbin目录存放jar文件 #mkdir /usr/ha...原创 2014-05-29 16:41:34 · 121 阅读 · 0 评论 -
Hadoop学习之Hive
一、HIVE简介 Hive是为提供简单的数据操作而设计的下一代分布式数据仓库。HIVE的操作语句称为HiveQL,他提供了简单的类似SQL的语法的HiveQL语言进行数据查询。同时,HiveQL语言能力不足时,它也能允许使用传统map/reduce进行复杂数据分析。 Hive搭建在Hadoop平台之上。它并不是一个真正的数据库,他的元数据存储在其他的数据库中,例如mysql。Hado...原创 2014-05-31 00:54:33 · 79 阅读 · 0 评论