2018年01月_TracyGao01

原创 phoenix/hbase事务支持配置与使用

1、下载对应集群版本的phoenix,地址http://mirrors.shu.edu.cn/apache/phoenix/phoenix支持的最新版本的CDH是5.11.2，很幸运，1月19号官方推出了这个版本，刚好解决了燃眉之急备注：如果不是CDH版本，直接下载上边对应的hbase版本应该就可以，这里的版本对应很重要，如果版本不匹配，会有各种jar包不匹配问题，...

2018-01-26 20:45:51 1789 2

原创 Presto、Impala性能比较

下面是Presto、Impala这两种典型的内存数据库的简单测试比较，当然这种内存数据库类似的还有spark sql,这种数据库在大数据量，多表关联查询时，会展现出自己的优势，下面是一组impala和presto的性能对比图：环境准备：1台32G内存、2台16G内存，没有完全把内存配置饱和测试数据：hive中3张2000W数据量的表集群：impala和presro部署在3台机器上

2018-01-22 01:32:09 29296 5

原创 StreamSets连接oracle jdbc报错:"java.util.PropertyPermission""oracle.jdbc.RetainV9LongBindBehavior""read"

如果遇到StreamSets连接JDBC报如抛出如下异常：Exception during pool initialization: access denied ("java.util.PropertyPermission" "oracle.jdbc.RetainV9LongBindBehavior" "read") 解决：修改配置文件sdc-env.sh，添加如下变量:expor...

2018-01-16 15:33:11 1300

原创 hbase做snapshot快照失败，导致原表数据重复，解决方法

问题描述：由于要对环境hbase表数据做备份，就选择hbase快照snapshot的形式，刚开始很稳定，每天spark任务都正常跑，数据也没什么问题，最近spark跑任务时发现hbase表数据有重复，对，你没听错，hbase有重复数据，奇怪吧，看日志时发现hbase表在做快照时报错，如下图：通过报错可以看出来是hbase表在做快照时底层的region有移动，移动就几种形式：split,co...

2018-01-15 17:10:00 1195 3

原创 beeline取出hive表数据到CSV文件，做数据取样

beeline取出hive表数据到CSV文件，做数据取样：beeline -u jdbc:hive2:// --verbose=true --outputformat=csv2 -e "select * from test.INFO_FLUME_DATA_DT0 limit 10">>tt.csv

2018-01-13 23:55:40 6592 2

原创 presto报错：outputFormat should not be accessed from a null StorageFormat

报错如图：这个问题是因为presto不支持任何形式hHive StorageHandlers.像hbase,es这种在hive见外部表对于presto都是不可行的，也就是hive表InputFormat、OutputFormat不能为空，如下图就不行:...

2018-01-09 15:45:55 2314 2

原创 presto环境搭建

1、环境准备支持操作系统：Linux or Mac OS XJava 8, 64-bitPython 2.4+支持hadoop集群环境版本：Apache Hadoop 1.xApache Hadoop 2.xCloudera CDH 4Cloudera CDH 5备注：这里我们准备三台Ubuntu 14.04并且搭建CDH5.10集群2、下载安装包presto-se...

2018-01-09 15:22:45 6216 1

原创 impala查询hbase数据效率问题

之前都是用impala查hive共享的数据，今天测试查了一下hbase的数据，方法很简单，就是hive里建hbase的外部表，用impala查询hive外部表的数据，发现一个问题，相同数据的情况下，查询hbase表数据和hive差别太大，如下图：同样的数据量：1、hive内部表数据2、hive外部表hbase数据速度根本不是一个数量级的！这一块儿如果真要应用impala查hbase

2018-01-08 19:31:35 4890 4

原创 impala刷新元数据

hive新增表，impala查不到时，需要刷新元数据：INVALIDATE METADATA；

2018-01-08 18:54:25 2800

原创 hadoop集群节点暴力删除后，hdfs异常处理

测试集群暴力删除5个节点之后，会出现hdfs异常问题，导致hive，hbase异常：1、hdfs推出安全模式hadoop dfsadmin -safemode leave2、hdfs数据块丢失hdfs fsck / -delete 删掉丢失块儿

2018-01-08 11:19:53 597

原创 maven项目配置报错，scala、junit版本报错解决

报错如下：Error:scalac: error while loading JUnit4, Scala signature JUnit4 has wrong version expected: 5.0 found: 4.1 in JUnit4.class 解决：创建archetype,注意修改版本为1.6 ...

2018-01-04 09:56:13 2728

高矮