九师兄-梁川川

我是一个追梦者

hive(hive cli)中显示列名,不带表名

hive cli中显示列名 进入hive cli后 set hive.cli.print.header=true; 之后出现列名,但是带了表名前缀,由于网上没找到资料,于是到官网肉眼扫描所有参数,总算找到,给大家分享下。 hive cli中, set hive.resultset.use.uniq...

2019-05-21 09:59:42

阅读数 11

评论数 0

git : 上传大文件或者PDF或者二进制文件导致无法上传

git push 时,存在大文件会报错,即使删除大文件后,还会报错。主要是因为大文件存在没有被提交的commit记录里面。 解决方案:删除有大文件的commit记录即可 1、git status 查看未被传送到远程代码库的提交状态 2、git cherry -v 查看未被传送到远程代码库的提交描述...

2019-05-18 22:40:59

阅读数 1

评论数 0

Git Rebase后,本地代码丢失解决方法

问题描述: 提交代码时,因为文件太大,多次push失败,然后打算回退,rebase了两次,本地代码丢失了,吓得我差点跳起来。 lcc@lcc MyDoc$ git reset --hard 9c15d6f85a9bcb68899278dbaab5ac3a449390ea lcc@lcc MyDo...

2019-05-18 22:13:43

阅读数 0

评论数 0

it : Tmaster (hook declined) error: failed to push some refs to 'https://xxx/biluo/xxx.git'

To https:///biluo/xxx.git ! [remote rejected] master -> master (hook declined) error: failed to push some refs to 'https://xxx/biluo/xxx.git'...

2019-05-18 22:08:29

阅读数 0

评论数 0

kylin: build cube Hbase: Region Server 意外退出

背景 跑kylin 的 build cube 任务,总是在跑任务(数据量200M)的时候挂掉,各种调节yarn的参数都不行。 关键跑的时候还没涉及到hbase,因为我跑的是kylin on druid,但是总是跑着跑着,直接ERROR,查看hbase发现。 不良 : 该角色在之前的 3 分钟 中...

2019-05-16 20:53:49

阅读数 13

评论数 0

Hbase: Region Server 各种意外退出

背景 Hbase: Region Server 各种意外退出

2019-05-16 17:53:00

阅读数 2

评论数 0

Hadoop常用参数整理(HDFS/Yarn/MapReduce/GC)

背景最近整理了一些常用的Hadoop集群相关配置参数,并对相关参数进行调优,其中有一些参数能影响到集群的性能等问题,需谨慎使用。本来想在这里把Hbase参数也带上的,由于Hbase参数调优细节太多,所以单独抽了出来,在未来的几天内我会补上。 HDFSHadoop HDFS组件的相关参数说明,本文没...

2019-05-15 21:44:26

阅读数 3

评论数 0

is running beyond physical memory limits. Current usage: 2.0 GB of 2 GB physical memory used; 2.6 GB

背景 执行一个kylin任务 然后报错 TaskAttempt killed because it ran on unusable nodekylin1.dtwave.dev.local:8041 Container released on a *lost* node Container [...

2019-05-15 21:23:56

阅读数 29

评论数 0

TaskAttempt killed because it ran on unusable node IP:8041 Container released on a *lost* node

背景 执行一个kylin任务 然后报错 TaskAttempt killed because it ran on unusable nodekylin1.dtwave.dev.local:8041 Container released on a *lost* node 但是看着集群 主机...

2019-05-15 21:14:06

阅读数 38

评论数 2

AttemptID:attempt_1557891872692_0001_r_000000_0 Timed out after 3600 secs

背景 做kylin 的时候,执行了 hive的命令,是hive数据的重新分布 结果在reduce的时候阻塞了。 查看原因为 AttemptID:attempt_1557891872692_0001_r_000000_0 Timed out after 3600 secs 这个问题出现的背景...

2019-05-15 17:03:35

阅读数 34

评论数 0

设计模式:高性能IO之Reactor模式

高性能IO之Reactor模式

2019-05-15 15:06:27

阅读数 12

评论数 0

RegionMovedException: Region moved to: hostname=kylin3.dtwave.dev.local port=60020

java.lang.RuntimeException: org.apache.kylin.job.exception.PersistentException: org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed afte...

2019-05-14 21:27:41

阅读数 8

评论数 0

hadoop: Operation category READ is not supported in state standby

1. 背景 做kylin报错如下 日志内容如下 java.io.IOException: OS command error exit with return code: 1, error message: Java HotSpot(TM) 64-Bit Server VM warning: ig...

2019-05-14 20:33:54

阅读数 48

评论数 0

yarn:hadoop YarnChild OutOfMemoryError Java heap space || GCOverhead limit

org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: Java heap space

2019-05-14 18:54:55

阅读数 31

评论数 0

linux下怎么查看cpu核数

[hdfs@kylin1 deploy]$ lscpu Architecture: x86_64 CPU op-mode(s): 32-bit, 64-bit Byte Order: Little Endian CPU(s): ...

2019-05-14 11:02:47

阅读数 20

评论数 0

如何修改Git仓库的URL(地址)

1. 背景 因为git下一个大项目后,过了几天换了新的服务器,但是老项目已经git了,我不想重新删除再次下载,因为这样子很慢,所以想能不能修改git的地址指向新的服务器呢?结果发现真的可以 修改配置 打开git的本地仓库,并显示隐藏的文件,找到.git的文件夹; vi /Users/lcc/Ide...

2019-05-13 15:19:30

阅读数 39

评论数 0

netty : io.netty.handler.codec.TooLongFrameException

背景 做netty权威指南的私有协议开发,案例报错如 io.netty.handler.codec.TooLongFrameException: Adjusted frame length exceeds 1048576: 795898487 - discarded at io.netty.ha...

2019-05-11 16:50:04

阅读数 15

评论数 0

Kylin 2.6.0JDBC方式访问

Kylin提供了标准的ODBC和JDBC接口,能够和传统BI工具进行很好的集成。分析师们可以用他们最熟悉的工具来享受Kylin带来的快速。 本章节介绍通过Java程序调用Kylin的JDBC接口访问Kylin的Cube数据。 1.url 首先我们来看一下连接Kylin的URL格式为: jdbc:k...

2019-05-10 16:03:04

阅读数 12

评论数 0

LoadDruidSegmentStep failed SQLException: Cannot load JDBC driver class 'com.mysql.jdbc.Driver'

背景 做kylin on druid 使用官网kylin的demo进行测试 报错 cube: druid_cube, segment: b0624d03-5a4c-2fbb-9430-ad3660d66ab6 LoadDruidSegmentStep failed java.sql.SQLEx...

2019-05-09 20:59:01

阅读数 39

评论数 0

LoadDruidSegmentStep failed File does not exist: /druid/segments

1. 背景 做kylin on druid 执行到 报错,错误如下 cube: druid_cube, segment: c96d5afd-dc13-8eb1-a6b6-ecd52b7b9a6d LoadDruidSegmentStep failed File does not exist: /...

2019-05-09 19:17:01

阅读数 84

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭