hadoop
文章平均质量分 54
bcsix
不记小流,无以至千里。
展开
-
hbase非正常删除表之后,以原来表名删除和创建时报错问题
hbase非正常删除表之后,以原来表名删除和创建时报错问题今天在重新格式化了hadoop集群之后出现了一系列问题,记录下。先说下重启的原因 (1)首先是必备条件,我们的hadoop集群式测试环境,里面的数据不太多,大多数都是我们人工加上去的, (2)hadoop的HA有问题。一个namenode总是启动不了(原因是namenode数据文件没有同步,将hadoop.tmp.dir指定的目录在其他n原创 2016-11-07 14:13:07 · 1648 阅读 · 1 评论 -
hbase:rowkey设计
hbase:rowkey设计原则和案例转载 2016-11-08 11:38:03 · 670 阅读 · 0 评论 -
mapreduce操作hbase ClassNotFoundException
mapreduce操作hbase时 java.lang.ClassNotFoundException 问题原创 2016-11-09 15:04:34 · 761 阅读 · 0 评论 -
4.hive整合hbase
目标:能通过hive访问hbase,实现操作简化查看了网上一些博文,主要通过博文:wulantian的博文进行整理的1,在创建表时与hbase进行对应create table hbase_tb_user( id int, name String, remark String ) stored by 'org.apache.h原创 2016-10-31 13:46:23 · 322 阅读 · 0 评论 -
1.hadoop集群搭建
本文适合对hadoop和linux稍有了解的人群,新手请观看其他更为详细的博文 主机名 IP 安装的软件 运行的进程 说明 hadoop001 192.168.100.101 jdk、hadoop NameNode、DFSZKFailoverController had原创 2016-10-20 14:45:07 · 546 阅读 · 0 评论 -
2.hbase集群搭建
1.上传解压 2.把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 3.修改配置文件 3.1 vim hbase-env.sh export JAVA_HOME=/usr/java/jdk1.7.0_55 //告诉hbase使用外部的zk export HBASE_MANAGES_ZK=false原创 2016-10-20 16:44:03 · 320 阅读 · 0 评论 -
5 mapreduce的组合,排序,分组
mapreduce的组合,排序,分组在使用mapreduce处理数据时,总有种“简单,粗暴”的感觉,就像一个傻大个一样。为了能更加灵活的处理分析数据,以及将这个傻大个使用的更加得心应手,今天总结下这位傻大个在处理数据时使用的自身的一些组件。1.combiner(组合)当然可能大家已经非常熟知了,我在这里就不卖弄了,简单的解释一下使用它的优势,为大家灌个耳音,combiner的作用是组合map阶段生成原创 2016-11-15 16:30:54 · 645 阅读 · 0 评论 -
3.HBase的基本操作
HBaseHelper的设计 后面在整理,直接上代码了原创 2016-10-24 18:04:29 · 536 阅读 · 0 评论