- 博客(22)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 haddoop2.2.0的分布式安装(HA)
规划：namenode：crxy1和crxy2datanode：crxy3、crxy4、crxy5journalnode：crxy1、crxy2、crxy3resourcemanager：crxy1nodemanager：crxy3、crxy4、crxy5zookeeper: crxy1,crxy2,crxy3-------------------------...
2014-09-11 23:00:55
187
原创 hadoop2.2.0的伪分布安装
软件的安装目录： /opt/modules/ 安装: 0）说明 1、系统：CentOS 6.4 64位 2、关闭防火墙和SELinux service iptables status service iptables stop...
2014-09-11 22:58:54
90
原创 mapred代码示例--自定义分组
package group;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configu...
2014-09-02 09:52:55
108
原创 mapred代码示例--二次排序
package sort;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configur...
2014-09-02 09:47:47
88
原创 mapred代码示例--reduce端join
package join;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.f...
2014-09-02 09:40:57
85
原创 mapred代码示例--map端join
package join;import java.io.BufferedReader;import java.io.FileReader;import java.net.URI;import java.util.HashMap;import java.util.Map;import org.apache.hadoop.conf.Configuration;imp...
2014-09-02 09:36:13
93
原创 mapred代码示例--自定义分区
package partitioner;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import java.net.URI;import java.util.ArrayList;import java.util.List;import org.apac...
2014-09-02 09:32:44
78
原创 mapred代码示例--map阶段使用combiner（归约）
package combiner;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongW...
2014-09-01 14:23:42
146
原创 mapred代码示例--自定义计数器
package counter;import java.net.URI;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apach...
2014-09-01 14:21:07
118
原创 mapred代码示例--旧api的写法
package old;import java.io.IOException;import java.util.Iterator;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;imp...
2014-09-01 14:18:58
89
原创 mapred代码示例--带命令行参数运行job
package cmd;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.map...
2014-09-01 10:31:42
300
原创 hadoop1.x环境搭建
1.1 本地模式：运行时不使用HDFS 1.2 伪分布模式：在一个节点上运行hadoop集群1.3 集群模式:在生产中真正使用的，hadoop的各个进程运行在集群的很多节点上2.部署集群开发环境在windows的C:\Windows\System32\drivers\etc\hosts增加ip与主机名绑定2.1 设置静态ip(1)使用vi编辑文件/etc/...
2014-09-01 10:27:56
76
原创 hive的数据操作
1.向表中装载数据load data local inpath '${env:HOME}/california-employees'overwrite into table employeespartition (country='US',state='CA');2.通过查询语句向表中插入数据insert overwrite/into table employees p...
2014-08-25 00:55:22
79
原创 hive的cli命令变量和属性
set -------打印出命名空间hivevar，hiveconf，system，env所有的变量 set -v + hadoop定义的属性，例如HDFS和MapReduce的属性$ hive --define foo=bar; | $hive --hivevar foo=bar;hive>set foo;foo=barhive>set hivevar:foo...
2014-08-25 00:51:26
510
原创 hive的安装部署
1.解压安装包 tar -zxvf hive-0.9.0.tar.gz2.修改$HIVE_HOME/conf里文件，去掉.template， cp hive-defalt.xml hive-site.xml3.修改$HIVE_HOME/bin的hive-config.sh，增加以下三行 export JAVA_HOME=/usr/local/jd...
2014-08-25 00:48:29
73
原创 storm集群搭建
1.安装zookeeper集群2.解压apache-storm-0.9.1-incubating.tar.gz3.修改文件conf/storm.yaml storm.zookeeper.servers: - "hadoop" - "hadoop1" - "hadoop2" ...
2014-08-05 12:22:33
68
原创 HDFS 通过mapreduce 进行 HBase 导入导出
简单演示，主要是TableMapper和TableReducer的使用读取hdfs数据到hbase中，测试数据文件见附件package hbase;import java.sql.Date;import java.text.SimpleDateFormat;import org.apache.hadoop.conf.Configuration;import ...
2014-07-24 18:26:42
296
原创 hbase 的 shell 操作和 java 操作
[size=large]hbase shell 操作[/size][b]ddl 操作[/b]列出所有表list 创建表create 't1','f1'增加列族disable 't1'alter 't1', {NAME => 'f2', VERSIONS => 5}enable 't1'删除列族alter 't1', 'delete' ...
2014-07-24 01:46:36
80
原创 zookeeper 和 hbase 问题集锦
以下内容均摘自互联网zookeeper为什么需要部署奇数个？答：zookeeper有这样一个特性：集群中只要有过半的机器是正常工作的，那么整个集群对外就是可用的。也就是说如果有2个zookeeper，那么只要有1个死了zookeeper就不能用了，因为1没有过半，所以2个zookeeper的死亡容忍度为0；同理，要是有3个zookeeper，一个死了，还剩下2个正常的，过半了，所以...
2014-07-23 17:09:01
157
原创 hbase 和 zookeeper 的伪分布及集群安装
zookeeper集群在部署的时候，节点数量必须是比少于3个的奇数个。1 zookeeper伪分布式(3个节点)1.1 解压zookeeper安装包 tar -zxvf zookeeper-3.4.5.tar.gz1.2 cp conf/zoo_sample.cfg zoo1.cfg vi zoo1.cfgdataDir=/usr/l...
2014-07-22 00:32:40
377
原创 我们都是半杯水
今天开始，决定把自己想要记住的东西以博文方式写下来，既是一个学习总结的方式，又是一个加深记忆的方式。 要想完成一件事情，并且获得成功，你必须把这件事情常驻于你的大脑里，时刻给予它最高优先级，走路吃饭睡觉做梦的时候，心心念念想的就是这件事情，这个时候，你才是进入了状态，专注于它，才有最高的效率，充分利用大脑资源占有率，在最短时间内获得更多的回报。 [b]能迅速进入专注...
2014-07-19 23:47:12
118
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人