Hadoop
lubinsu
我当前活着的每一天都是我余生最年轻的时候
展开
-
设置HADOOP程序自启
设置自启: cd /etc/init.d touch hadoop.sh chmod +x hadoop.sh vi hadoop.sh #add for chkconfig #chkconfig: 2345 70 30 #description: the description of the shell #关于脚本的简短描述 #processname: servicena原创 2014-08-11 21:49:56 · 1027 阅读 · 0 评论 -
解决Hadoop 2.7.1无法加载本地库问题
我安装的Hadoop版本是2.7.1,这个版本已经解决了64位的本地库问题,但是运行的时候还是提示: WARN util.NativeCodeLoader: Unable to load native-hadooplibrary for your platform… using builtin-java classes where applicable 这是因为我的Centos原创 2015-10-31 22:23:54 · 2775 阅读 · 0 评论 -
【MapReduce】学习一
在Hadoop集群中编译并运行《权威指南》中的例3.2 Java文件代码如下 package com.changtu; import java.io.InputStream; import java.net.URL; import org.apache.hadoop.fs.FsUrlStreamHandlerFactory; import org.apache.hadoop.io.IOU原创 2015-11-16 21:10:28 · 494 阅读 · 0 评论 -
Hadoop 1.x安装
硬件环境 3台虚机的硬件配置:处理器:1P、1C;硬盘:20GB;内存1G 软件配置 Vmware 10.0 CentOS 6.7 Jdk 7.80 Hadoop 1.2.1 1. 设置SSH互信 [hadoop@centos2 .ssh]$ ssh-keygen -t rsa Generating public/private rsa key pair. Ent原创 2015-11-16 20:57:53 · 683 阅读 · 0 评论 -
【Hadoop】小文件合并方案一
HDFS中数据块大小一般在64M或者128M,也就是说每一次分配的数据块就是这么大,我们所谓的小文件就是比文件系统中定义的数据块还小的文件,小文件经常会导致namenode内存消耗和降低hadoop读取速度,影响整体的性能。所以遇到这种情况的时候,我们需要定期对小文件进行清理或者合并。 小文件合并的方案有多种,我这里通过将数据down到本地文件系统中再进行合并上传达到目的。这种方法会占用磁盘空间原创 2015-11-16 21:51:59 · 3955 阅读 · 0 评论