kingdom♚蓝调-CSDN博客

原创 Mac sublime更新后pretty json格式化快捷键不能用解决办法

1.2.附文字方便粘贴： [{ "keys": [ "command+control+j" ], "command": "pretty_json" } ]

2021-07-02 17:18:40 2020 2

原创 presto报Request Header Fields Too Large

错误信息如下：### Cause: java.sql.SQLException: Error executing query; uncategorized SQLException; SQL state [null]; error code [0]; Error executing query; nested exception is java.sql.SQLException: Erro...

2018-09-21 17:56:39 2751

原创 centos7.3/4安装ambari2.6以上版本报EOF occurred in violation of protocol (_ssl.c:579)

错误：ERROR 2018-05-30 00:12:25,280 NetUtil.py:96 - EOF occurred in violation of protocol (_ssl.c:579)ERROR 2018-05-30 00:12:25,280 NetUtil.py:97 - SSLError: Failed to connect. Please check openssl libra...

2018-06-01 12:07:56 12213 4

原创 org.apache.thrift.protocol.TProtocolException: Required field 'sessionHandle' is unset! Struct:TExec

原因可能是hive的beeline环境变量换成了spark或者其他东西，检查一下环境变量

2017-10-17 10:05:37 2730

原创 azkaban上传时卡在那不动

这是因为你的你的job依赖层数太多引起的，一般到8层的时候上传就很慢了，因为azkaban会把你上传的文件解析成图边的数据存起来。解决办法：使用flowflow_1.job:type=flowflow.name=hive_label_1your.jobtype=commandcommand=sh /path/shell.shdependenc

2017-06-30 11:35:31 555

原创部署azkaban报错：Unrecognized SSL message, plaintext connection?

javax.net.ssl.SSLException: Unrecognized SSL message, plaintext connection?at sun.security.ssl.InputRecord.handleUnknownRecord(InputRecord.java:671)at sun.security.ssl.InputRecord.read(InputRecord

2017-06-13 15:45:42 8250

原创 python解决文件乱码问题

#!/usr/local/bin/python#-*- coding: utf8 -*-import stringimport sysreload(sys)sys.setdefaultencoding('utf-8')if __name__ == '__main__':file_path = sys.argv[1]file = open(file_path)

2017-03-31 17:03:54 879

原创 bat脚本读取配置文件

bat 读取配置文件@echo off:: echo please input(is not null):user passsword expath date:: 读取配置文件where bcp::正式有bcp放开下面这句话::if "%errorlevel%"=="1" (exit) else (echo Program exists)for

2017-03-31 16:58:25 7158

原创 hive提取等号后面的值

hive提取等号后面的值parse_url(concat('http://www.XXXXX.com?',refkv), 'QUERY','keyword')keyword为要提取的字段，，前面url随便拼，但必须有http://

2017-03-31 16:54:50 1550

原创启动mapreduce任务失败会报一下错误：

2016-12-30 14:38:04,575 WARN org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor: Exception from container-launch with container ID: container_1483067971419_0004_02_000001 and exit code

2016-12-30 14:55:55 971

原创 elasticsearch由于数据特别长而找不到数据

这是由于mapping中string类型中ignore_above长度的限制ignore_above对超过 ignore_above 的字符串，analyzer 不会进行处理；所以就不会索引起来。导致的结果就是最终搜索引擎搜索不到了。这个选项主要对not_analyzed 字段有用，这些字段通常用来进行过滤、聚合和排序。而且这些字段都是结构化的，所以一般不会允许在这些字段中索引

2016-06-07 11:52:19 7498 1

原创用mapreduce程序将hive写数据到hbase慢的解决办法

项目中可能会有将hive的数据同步到hbase的需求，但是有时mapreduce程序写数据会非常慢，也有可能会出现数据倾斜问题。这时就要对mapreduce程序进行优化了。首先确定调大reduce个数，比如从5个调大到10个，如果还不能有效的加快速度。就需要在mapreduce程序中将hive中大量的空过滤掉，这部分特别耗资源，也会引起数据倾斜。这部分空到hbase中也没用，过滤

2016-03-31 17:51:49 1438

原创主机和虚拟机之间不能互通解决办法

可能SELINUX的值不是disabledvim /etc/selinux/config设置SELINUXSELINUX=disabled然后重启点脑reboot重启后然后关闭防火墙iptablesservice iptables stop关闭防火墙开机启动chkconfig iptables off

2015-11-01 20:46:15 2769

原创 kafka及zookeeper安装部署

因为kafka启动依靠zookeeper所以博主先配置zookeeperzookeeper部署Step1：以root账号登陆，创建shaka用户[root@localhost home]# useradd shaka[root@localhost home]# passwd shaka Step2：切换为shaka账号[shaka@localhost ~]$ su -

2015-10-24 19:58:59 537

原创 flume的部署及简单测试

Flume 的一些核心概念：组件功能Agent使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。Client生产数据，运行在一个独立的线程。Source从Client收集数据，传递给Channel。Sink

2015-10-24 18:28:47 519

kingdom☞蓝调的博客