hadoop
文章平均质量分 82
ArthurBryant
积极的面对生活,人因梦想而伟大
展开
-
php thrift for HBase
1. Download thrift wget -O thrift.tgz “http://gitweb.thrift-rpc.org/?p=thrift.git;a=snapshot;h=HEAD;sf=tgz” tar -xzf thrift.tgz cd thri转载 2011-08-08 18:15:05 · 1097 阅读 · 0 评论 -
设置Cloudera CDH3源镜像(Redhat)
1. 获取镜像,保存到/opt/mirror/cdh3/目录 wget -mirror http://archive.cloudera.com/redhat/cdh/3/ 删除掉其中无用的网页信息。 2. 获取gpg-key cloudera-cdh3-gpg原创 2011-08-08 18:35:55 · 2953 阅读 · 0 评论 -
Automaticlly deploy Hadoop on cluster
尽可能做到全自动配置,但是目前还需要一些手工参与。 1. background 10台vm 10.10.97.150 namenode 10.10.97.151 jobtracker 10.10.97.152~原创 2011-08-08 18:51:55 · 619 阅读 · 0 评论 -
Hadoop Tricks
1. 常见写错误,所在的用户没有hdfs的写权限 Solution: 如果你不关心写权限的话,关闭它。在hdfs-site.xml中添加如下 dfs.permissions false 2. hadoop网络接口 50030 jobtracker 50原创 2011-08-08 18:14:08 · 439 阅读 · 0 评论 -
eclipse搭建hadoop 0.20.2开发环境.
1. 两种选择 1)使用eclipse-plugin for hadoop 遇到的问题 error:“run on hadoop”没反应。 eclipse plugin for hadoop is out of date. You have to use e原创 2011-08-08 18:51:05 · 867 阅读 · 0 评论 -
Using sqoop to move data from mysql to hive
Sqoop only works with CDH3, so we have to install CDH3. To install CDH3 on a Red Hat system: Add the yum repository of your choi原创 2011-08-08 18:54:25 · 704 阅读 · 0 评论 -
CDH3 Install Guide
CDH3 Install Guide 1 Install Hadoop 1.1 Add user hadoop [root@gd02 ~]# adduser hadoop 使用vim在/etc/group中将hadoop用户添加到mapred和hdfs组; 将mapred和hdfs用户添加到hadoop组。 hadoop:x:105:mapred,hdfs h原创 2011-08-08 18:13:38 · 920 阅读 · 0 评论