HADOOP
f369504543
这个作者很懒,什么都没留下…
展开
-
64bit Centos6.4搭建hadoop-2.5.1
64bit Centos6.4搭建hadoop-2.5.11、分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群。 其中有一台机器是Master节点,即名称节点,另外三台是Slaver节点,即数据节点。这四台机器彼此间通过路由器相连,从而实验相互通信以及数据传输。2、集群机器详细信息 2.1 hadoop版本: 2.原创 2014-11-12 17:47:34 · 1227 阅读 · 1 评论 -
64bit Centos6.4编译hadoop-2.5.1
64bit Centos编译hadoop-2.5.1 1、说明a) 由于从apache下载下来的tar.gz包是用32 bit编译的,所有如果用Linux 64作为hadoop的平台,将会出现一些问题,所以需要手动的编译成64 bit2、软件准备a) JDK jdk1.7.0_51b) Hadoophardoop-2.5.1-src.tar原创 2014-11-12 10:48:09 · 1634 阅读 · 1 评论 -
Hadoop命令手册
Hadoop 命令手册 1、 用户命令 1.1 archive1.1.1 什么是HadooparchivesHadoop的归档文件,每个文件以块方式存储,块的元数据存储在名称节点的内存里,此时存储一些小的文件,HDFS会较低效。因此,大量的小文件会耗尽名称节点的大部分内存。(注意,相较于存储文件原始内容所需要的磁盘空间,小文件所需要的空间不会更多原创 2014-12-16 14:45:42 · 1376 阅读 · 0 评论 -
Eclipse搭建hadoop开发环境
1、 软件环境a) Eclipseb) 运行中的hadoop集群2、 eclipse上安装hadoop插件a) 首先将eclipse Hadoop的插件放置到eclipse/plugins目录下,重启eclipseb) 如果插件安装成功,打开Windows—Preferences后,在窗口左侧会有Hadoop Map/原创 2014-12-01 23:30:16 · 2216 阅读 · 1 评论 -
Hadoop集群中使用Hive查询报错
今天在使用Hive查询某分析数据最大值的时候,出现了一定的问题,hive中现象如下:Caused by: java.io.FileNotFoundException://http://slave1:50060/tasklog?attemptid=attempt_201501050454_0006_m_00001_1然后查看一下jobtracker的日志:20原创 2015-01-06 14:21:42 · 2249 阅读 · 0 评论