hadoop
文章平均质量分 71
chuanzhongdu1
这个作者很懒,什么都没留下…
展开
-
hadoop hdfs追加写
public class PutMerge {/*** @param args* void* @throws IOException*/public static void main(String[] args) throws IOException {// TODO Auto-generated method stub Confi原创 2012-08-13 18:18:47 · 2267 阅读 · 0 评论 -
hadoop0.20.2配置 in linux(ubuntu)
配置ssh创建密钥,这里p后面是空密码,不推荐使用空密码ssh-keygen -t rsa -P ''cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys配置完后,执行一下 ssh localhost, 确认你的机器可以用 SSH 连接,并且连接时不需要手工输入密码下载hadoopwget http://mirror.bjtu.原创 2011-10-05 16:09:54 · 549 阅读 · 0 评论 -
hadoop0.20.2下相关问题处理方法
Problem: NameNode is not formatted 很明显示namenode没有format将namenode的文件夹删除,然后hadoop namenode -format网上好多文档都只会告诉你 hadoop namenode -format 就行namenode文件夹即dfs.name.dir指定的值could only be replicated to原创 2011-10-26 10:52:05 · 1651 阅读 · 0 评论 -
CDH4 impala安装配置
Cloudera发布了hadoop实时查询开源项目Impala,根据多款产品实测表明,它比原来基于MapReduce的Hive SQL查询速度提升3~90倍。Impala是Google Dremel的模仿,但在SQL功能上青出于蓝胜于蓝。Impala的安裝包括三部份:impalad──Impala的守护进程。计划和执行对HDFS和Hbase数据的查询(Plans and原创 2013-07-31 09:49:55 · 3268 阅读 · 1 评论 -
hadoop2.4.1 spark1.0.1编译
hadoop2.4.1使用protobuf2.5而s原创 2014-08-09 11:24:04 · 1118 阅读 · 0 评论 -
hadoop 64 native库问题解决方式
需要的环境UnixJDK 1.6+* Maven 3.0 or later* Findbugs 1.3.9 (if running findbugs)* ProtocolBuffer 2.5.0* CMake 2.6 or newer (if compiling native code)yum install lzo-devel zlib-devel gcc a原创 2014-12-29 20:08:19 · 2569 阅读 · 0 评论