Hadoop
lubinsu
我当前活着的每一天都是我余生最年轻的时候
展开
-
设置HADOOP程序自启
设置自启:cd /etc/init.dtouch hadoop.shchmod +x hadoop.shvi hadoop.sh#add for chkconfig#chkconfig: 2345 70 30#description: the description of the shell #关于脚本的简短描述#processname: servicena原创 2014-08-11 21:49:56 · 1043 阅读 · 0 评论 -
解决Hadoop 2.7.1无法加载本地库问题
我安装的Hadoop版本是2.7.1,这个版本已经解决了64位的本地库问题,但是运行的时候还是提示:WARN util.NativeCodeLoader: Unable to load native-hadooplibrary for your platform… using builtin-java classes where applicable这是因为我的Centos原创 2015-10-31 22:23:54 · 2807 阅读 · 0 评论 -
【MapReduce】学习一
在Hadoop集群中编译并运行《权威指南》中的例3.2Java文件代码如下package com.changtu;import java.io.InputStream;import java.net.URL;import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;import org.apache.hadoop.io.IOU原创 2015-11-16 21:10:28 · 510 阅读 · 0 评论 -
Hadoop 1.x安装
硬件环境3台虚机的硬件配置:处理器:1P、1C;硬盘:20GB;内存1G软件配置Vmware 10.0CentOS 6.7Jdk 7.80Hadoop 1.2.1 1. 设置SSH互信[hadoop@centos2 .ssh]$ ssh-keygen -t rsaGenerating public/private rsa key pair.Ent原创 2015-11-16 20:57:53 · 700 阅读 · 0 评论 -
【Hadoop】小文件合并方案一
HDFS中数据块大小一般在64M或者128M,也就是说每一次分配的数据块就是这么大,我们所谓的小文件就是比文件系统中定义的数据块还小的文件,小文件经常会导致namenode内存消耗和降低hadoop读取速度,影响整体的性能。所以遇到这种情况的时候,我们需要定期对小文件进行清理或者合并。小文件合并的方案有多种,我这里通过将数据down到本地文件系统中再进行合并上传达到目的。这种方法会占用磁盘空间原创 2015-11-16 21:51:59 · 3984 阅读 · 0 评论