2018年08月_woloqun

12月 11月 10月 09月 08月 07月 06月 01月

转载 Hive HBase Integration

Version informationAvro Data Stored in HBase ColumnsAs of Hive 0.9.0 the HBase integration requires at least HBase 0.92, earlier versions of Hive were working with HBase 0.89/0.90Version informa...

2018-08-31 09:33:54 555

公司现有的hadoop集群空间快用完了，预计不久文件数将超过一个namenode支持上限（namenode支持的文件数和namenode内存大小有关，1G内存大约支持100w个文件），所以公司搭建了一套新的集群，采用Frederation架构来支持hadoop集群的水平扩展，原理上就是将hdfs元数据信息存储在多个namenode上，可以理解为分片，每个namenode分片又做了HA，集群拓扑图如...

2018-08-21 10:12:30 1489

原创 gradle 安装以及国内仓库设置

安装环境ubuntu首先安装sdkcurl -s "https://get.sdkman.io" | bashsource "$HOME/.sdkman/bin/sdkman-init.sh"sdk version安装gradlesdk install gradle 4.9配置国内仓库地址 vi /home/xiaobin/.gradle/init.gradlea...

2018-08-20 16:01:02 2587

原创 hive元数据

一、元数据表描述mysql元数据库hive中的表：表名作用 BUCKETING_COLS 存储bucket字段信息，通过SD_ID与其他表关联 CDS 一个字段CD_ID，与SDS表关联 COLUMNS_V2 存储字段信息，通过CD_ID与其他表关联 DATABASE_PARAMS 数据库的属性信息 DBS 存储hive的datab...

2018-08-20 13:56:44 1208

原创 windows环境下调试MR任务

1.首先在windows环境配置HADOOP_HOME 2.下载hadoop.dll和winutils.exe文件，并放到$HADOOP_HOME/bin目录下下载地址：https://github.com/rucyang/hadoop.dll-and-winutils.exe-for-hadoop2.7.3-on-windows_X64 3.修改org.apache.hadoop.io....

2018-08-09 00:20:08 850

原创 hadoop集群的高可用（Namenode&&ResourceManager）

主机名 ip soft 运行的进程 master 192.168.1.115 jdk,hadoop NameNode,DFSZKFailoverController(zkfc) slave1 192.168.1.116 jdk,hadoop NameNode,DFSZKFailoverController(zkfc) slav...

2018-08-06 22:22:30 2716

原创 Hadoop 切换Namenode报错

之前给集群做了HA，master 默认为active，slave3为standby，为了测试高可用，认为kill掉master节点的Namenode进程，发现slave3上的NameNode进程并没有像预想中的称为active状态，查看zkfc日志tail -100f hadoop-qun-zkfc-slave3.log 发现报如下错误com.jcraft.jsch.JSchExc...

2018-08-04 23:08:46 1298

原创启动hbase报java.lang.ClassNotFoundException: org.apache.htrace.SamplerBuilder

有段时间没有用Hbase，今天就尝试安装了下Hbase；环境是这样的 Hadoop-2.8.3 Hbase-2.1.0 之前查了官网，这两个版本是目前可以互相匹配的最高的版本，but启动hbase报下面这个错误java.lang.NoClassDefFoundError: org/apache/htrace/SamplerBuilder at org.apache.hadoop...

2018-08-01 23:48:26 21211 18