周源的专栏

大数据Hadoop生态圈最新前沿技术研究 包括架构设计、解决方案、应用开发、安全领域、集群规划部署等...

Kylin重新设置密码登录不上:Overwriting conflict /user/ADMIN, expect old TS 1547448907000, but it is 15475148590

修改文件(先备份):/opt/apache-kylin-2.5.2-bin-hbase1x/tomcat/webapps/kylin/WEB-INF/classes/kylinSecurity.xml 这串及是加密内容。 问题现象: 登录提示:System error, please c...

2019-02-15 10:34:11

阅读数 4

评论数 0

FusionInsight HD 初始化新实体失败 RoleInstance cleanup failure

此次是因为配置的DNS的原因,个人将配置ip(命令:# ip addr)的/etc/sysconfig/network-scripts对于网口名称文件内容里的DNS1(多个一样注释)注释掉,重启下网口即可# systemctl restart network 查看下:# cat /etc/res...

2019-01-28 11:01:32

阅读数 19

评论数 0

Hive增量更新方案

Hive增量更新方案 方案一(总结出来业界可行方案): 1、Hive原始表提前规划好以时间分区,初始化装载源库记录为base_table(最新数据) 2、每个相关表都会有一个timestamp列,对每一行操作做了修改,都会重置这列timestamp为当前时间戳; 3、新增数据通过sqoop(支持当...

2019-01-25 10:40:35

阅读数 28

评论数 1

Ambari自定义接入Redis 5.0.2

1、下载Ambari Redis自定义接入框架:https://github.com/Symantec/ambari-redis-service /var/lib/ambari-server/resource/statck/HDP/2.6目录下创建REDIS目录,注意大写,将框架代码下载到此RE...

2018-11-30 16:01:49

阅读数 179

评论数 0

Hadoop常用操作HDFS命令

(1)查询:hadoop dfs -ls / (2)创建目录:hadoop dfs -mkdir -p /tmp/zy (3)本地文件拷贝至hdfs:hadoop dfs -put test.txt /tmp (4)查看文本内容:hadoop dfs -cat /tmp/test.txt (5)h...

2018-11-16 09:23:38

阅读数 48

评论数 1

Hive常用shell命令

(1)创建数据库:create database zy_test; (2)显示所有数据库:show databases; (3)使用某数据库:use sgs_test; (4)显示所有表:show tables; (5)创建表:create table zy_test(name string); ...

2018-11-16 09:22:10

阅读数 91

评论数 0

HBase常用命令行操作

HBase(hbase shell进入): (1)创建命名空间:create_namespace 'zy_test' (2)创建表:create 'zy_test', {NAME => 'f1', VERSION => 2} (3)查询命名空间:list...

2018-11-15 14:05:04

阅读数 63

评论数 0

Ambari Hue接入安全认证Kerberos连接HDFS,报错 Cannot access: /.

Hue开始在python源码中添加打印出异常信息: [15/Nov/2018 08:56:56] "GET /hbase/api/getTableList/Cluster1?_=1542242641611 HTTP/1.1" 200 9292 --------...

2018-11-15 12:02:07

阅读数 80

评论数 0

Hive查询count(*)和count(1)显示为0,但表中存在数据

进入hive shell,输入set hive.compute.query.using.stats=false,然后运行下查询语句,发现正常。 对应Ambari中Hive组件的配置参数: 修改后可能对查询性能稍微有点影响...

2018-11-06 13:11:13

阅读数 418

评论数 0

ambari集成Impala,通过hive查询hbase表报错null

通过浏览器IP+25000或者25020端口访问,查看logs日志,发现zookerper连接配置的参数存在问题,显示连接/hbase,而我们ambari连接的应该是hbase-unsecure,怀疑是配置文件未加载导致。 解决方案:缺少hbase的配置文件hbase-site.xml,将其拷贝...

2018-11-01 17:02:33

阅读数 92

评论数 0

Ambari集成接入Hue 4.2

目录 1 安装前准备  1.1 下载Hue安装包  1.2 在Hue安装节点安装依赖  2 安装Hue  2.1 Hue纳入Ambari的管理  2.2 版本修改  2.3 重启Ambari Server  3 常见问题    安装前准备 下载Hue安装包 环境: ...

2018-10-25 09:33:52

阅读数 557

评论数 4

Ambari某台主机失去心跳,重启ambar-server和ambari-agent都不生效

"IOError: Request to https://localhost:8441/agent/v1/register/namenode.exterrocloud.info failed due to EOF occurred in violation of protocol...

2018-09-19 16:17:04

阅读数 681

评论数 0

Kylin启动报错: Insufficient permissions (user=root, scope=default, params=[namespace=default,table=...

具体日志信息如下: Caused by: org.apache.hadoop.hbase.security.AccessDeniedException: org.apache.hadoop.hbase.security.AccessDeniedException: Insufficient p...

2018-09-18 10:25:12

阅读数 181

评论数 0

sqoop执行hive导入报错

错误日志: 2018-09-17 14:50:57,932 INFO [OutputFormatLoader-consumer] com.chinacreator.sqoop.connector.hive.HiveLoader: load sql:LOAD DATA INPATH '/f95a...

2018-09-17 16:29:11

阅读数 120

评论数 0

sqoop接入kerberos安全认证后,本地运行正常,但提交到yarn上连接hive报错: Unable to obtain password from user

日志信息: 2018-09-17 11:31:30,774 INFO [OutputFormatLoader-consumer] com.chinacreator.sqoop.connector.hive.HiveExecutor: 连接hive失败java.io.IOException: Lo...

2018-09-17 15:41:50

阅读数 986

评论数 0

java判断mysql中数据库是否存在

public static boolean isExistDatabase(String database) { Connection conn = null; Statement stmt = null; ResultSet rs = null;...

2018-09-05 11:19:49

阅读数 701

评论数 0

Postman发送post请求报错:Missing Required Header for CSRF Vulnerability Protection

<html>     <head>         <title>Apache Tomcat/7.0.77 - Error report</ti...

2018-08-27 15:35:42

阅读数 487

评论数 0

Yarn升级报:retries get failed due to exceeded maximum allowed retries number: 0

日志: 18/08/17 09:11:22 WARN ipc.Client: Failed to connect to server: 133.bd/**.**.**.**:8032: retries get failed due to exceeded maximum allowed retr...

2018-08-17 09:21:19

阅读数 474

评论数 1

HBase集群迁移数据报错:java.lang.ClassNotFoundException: org.apache.phoenix.hbase.index.Indexer

RegionServers报错日志: 2018-08-14 17:19:58,072 ERROR [RS_OPEN_REGION-140:16020-0] handler.OpenRegionHandler: Failed open of region=xtable,381d5ed8-a610-...

2018-08-14 17:38:52

阅读数 188

评论数 0

Ambari中Hbase元数据恢复

meta表一直in transition,master起不来,日志中报错: zookeeper.MetaTableLocator: Failed verification of hbase:meta 解决方法如下:   1.删除zookeeper信息 rmr /hbase-unsecure...

2018-08-10 11:29:26

阅读数 166

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭