奔跑小韭菜-CSDN博客

原创使用datax将Hbase导入数据到ES

{ "job": { "setting": { "speed": { "channel": 3 } }, "content": [ { "reader": { "name": "hbase20xsqlreader", "parameter": { "queryServer

2020-12-16 08:54:39 807 1

我这里是三台服务器，centos版本是7.8，分别是：192.168.130.46192.168.130.48192.168.130.49需要提前安装好zookeeper并启动，此处省略步骤。1.检查操作系统是否支持执行：grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"显示：SSE 4.2 supported，为支持2.开始安装三台服务器都依次执

2020-11-20 16:20:17 1262 1

原创解决SQuirrel SQL Client 连接phoenix查询超时

问题：使用squirrel连接phoenix查询hbase时总是查不出来，过会儿就会出现timeout的提示解决方法：右键添加这三行：关闭软件重新打开，就不会超时了。

2020-11-19 10:23:57 582

原创解决kylin报错：spark not found, set SPARK_HOME, or run bin/download-spark.sh

解决办法：在/etc/profile中加入spark 的环境变量vi /etc/profile添加这两行：export SPARK_HOME=/usr/local/spark-2.4.5-bin-hadoop2.7PATH=$PATH:${SPARK_HOME}/bin然后source /etc/profile 使其生效

2020-08-19 15:36:47 1269 2

原创解决kylin报错hbase-common lib not found

解决办法：cd /usr/local/hbase-2.1.10/binvi hbase找到这一行：CLASSPATH=${CLASSPATH}:$JAVA_HOME/lib/tools.jar修改为：（根据自己的实际路径修改）CLASSPATH=${CLASSPATH}:$JAVA_HOME/lib/tools.jar:/usr/local/hbase-2.1.10/lib/*...

2020-08-19 15:20:57 691

原创解决kylin报错：imps.CuratorFrameworkImpl:673 : Background exception was not retry-able or retry gave up

启动kylin报错，错误如下：2020-08-19 14:48:40,618 ERROR [main] imps.CuratorFrameworkImpl:673 : Background exception was not retry-able or retry gave upjava.net.UnknownHostException: myhbase:2181: 未知的名称或服务 at java.net.Inet6AddressImpl.lookupAllHostAddr(Native Metho

2020-08-19 15:12:31 3935

原创 ganglia安装部署并实现监控Hadoop和Hbase

环境：centos6.10hadoop-3.1.3hbase-2.1.10ganglia-6.8节点：主机名：IP地址进程myhbase：192.168.130.28（从）secondrynamenode datanode hregionserverxmhl ：192.168.130.29（主）namenode datanode hmasterxmhl30：192.168.130.30 （从）datanode hregionserverGanglia组

2020-08-18 09:13:13 236

原创解决Exception in thread “SinkRunner-PollingRunner-DefaultSinkProcessor“ java.lang.NoSuchMethodError: c

执行flume任务时报错：Exception in thread “SinkRunner-PollingRunner-DefaultSinkProcessor” java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V解决办法：将flume的lib下的低版本guava-11.0.2.jar换成Hadoop下的高版本gua

2020-08-14 15:16:00 3444 2

原创解决Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

hive在运行hql语句时报如下错误：Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2)原因：Hadoop内存不足导致解决方法：在Hadoop的配置文件Hadoop-env.sh中添加如下配置： export HADOOP_CLIENT_OPTS="-

2020-08-12 15:11:12 4198 1

原创使用datax将mysql数据导入到hive

附上官方文档：https://github.com/alibaba/DataX/blob/master/hdfswriter/doc/hdfswriter.md "job":{ "setting":{ "speed":{ "channel":1 } }, "content":[ { "reader":{

2020-08-07 14:14:17 2460

原创解决hive映射到hbase中文无法显示的问题

把hive的数据映射到hbse以后发现string类型的字段所对应的值无法正常显示，如下：解决办法：查询时使用 scan ‘表名’,{FORMATTER =>‘tostring’}

2020-08-07 14:00:49 577 3

原创 hadoop3.1.3分布式集群搭建

环境准备：jdk1.8centos6.10zookeeper3.4.5三台服务器免密登录配置完成(此处省略步骤)1、上传Hadoop3.1.3安装包并解压这里我是安装在/usr/local 这个路径下解压：tar -zxvf /usr/local/hadoop-3.1.3.tar.gz2、首先提前创建好需要的文件夹mkdir -p /usr/local/hadoop/datamkdir -p /usr/local/hadoop/dfsmkdir -p /usr/local/hadoo

2020-07-31 15:35:08 355

原创 phoenix-5.0.0映射hbase已有的表

phoenix安装好以后，我们发现在phoenix中创建的表，在hbase中也能看到，但是hbase已存在的表却没有出现在phoenix中，因此我们需要手动将hbase的表映射到phoenix中。phoenix映射hbase表的方式分为两种，一种是表映射，一种是视图映射。表映射：在映射表中可以进行增删改查操作，如果在phoenix中将映射表删除，hbase中对应的表也会被删除。视图映射：在映射表中只能进行查询操作，而不可以进行增删改操作。如果将phoenix中的映射表删除，hbase中对应的表不会被

2020-07-03 11:24:41 463

原创 phoenix-5.0.0安装和基本使用

phoenix介绍Phoenix是HBase的开源SQL中间层，它允许你使用标准JDBC的方式来操作HBase上的数据。在Phoenix 之前，如果你要访问HBase，只能调用它的Java API,但相比于使用一行SQL就能实现数据查询，HBase的API还是过于复杂。Phoenix的理念是we put sql SQL back in NOSQL，即你可以使用标准的SQL就能完成对HBase上数据的操作。其次，Phoenix 的性能表现也非常优异，Phoenix查询引擎会将SQL查询转换为一个或多个HB

2020-07-03 10:19:41 2690 2

weixin_47303949的博客

原创使用datax将Hbase导入数据到ES

原创 centos7安装部署clickhouse集群