- 博客(15)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
原创 Mac sublime更新后pretty json格式化快捷键不能用解决办法
1.2.附文字方便粘贴: [{ "keys": [ "command+control+j" ], "command": "pretty_json" } ]
2021-07-02 17:18:40
2133
2
原创 presto报Request Header Fields Too Large
错误信息如下:### Cause: java.sql.SQLException: Error executing query; uncategorized SQLException; SQL state [null]; error code [0]; Error executing query; nested exception is java.sql.SQLException: Erro...
2018-09-21 17:56:39
2813
原创 centos7.3/4安装ambari2.6以上版本报EOF occurred in violation of protocol (_ssl.c:579)
错误:ERROR 2018-05-30 00:12:25,280 NetUtil.py:96 - EOF occurred in violation of protocol (_ssl.c:579)ERROR 2018-05-30 00:12:25,280 NetUtil.py:97 - SSLError: Failed to connect. Please check openssl libra...
2018-06-01 12:07:56
12353
4
原创 org.apache.thrift.protocol.TProtocolException: Required field 'sessionHandle' is unset! Struct:TExec
原因可能是hive的beeline环境变量换成了spark或者其他东西,检查一下环境变量
2017-10-17 10:05:37
2775
原创 azkaban上传时卡在那不动
这是因为你的你的job依赖层数太多引起的,一般到8层的时候上传就很慢了,因为azkaban会把你上传的文件解析成图边的数据存起来。 解决办法:使用flowflow_1.job:type=flowflow.name=hive_label_1your.jobtype=commandcommand=sh /path/shell.shdependenc
2017-06-30 11:35:31
604
原创 部署azkaban报错:Unrecognized SSL message, plaintext connection?
javax.net.ssl.SSLException: Unrecognized SSL message, plaintext connection?at sun.security.ssl.InputRecord.handleUnknownRecord(InputRecord.java:671)at sun.security.ssl.InputRecord.read(InputRecord
2017-06-13 15:45:42
8314
原创 python解决文件乱码问题
#!/usr/local/bin/python#-*- coding: utf8 -*-import stringimport sysreload(sys)sys.setdefaultencoding('utf-8')if __name__ == '__main__':file_path = sys.argv[1]file = open(file_path)
2017-03-31 17:03:54
896
原创 bat脚本读取配置文件
bat 读取配置文件@echo off:: echo please input(is not null):user passsword expath date:: 读取配置文件where bcp::正式有bcp放开下面这句话::if "%errorlevel%"=="1" (exit) else (echo Program exists)for
2017-03-31 16:58:25
7241
原创 hive提取等号后面的值
hive提取等号后面的值parse_url(concat('http://www.XXXXX.com?',refkv), 'QUERY','keyword')keyword为要提取的字段,,前面url随便拼,但必须有http://
2017-03-31 16:54:50
1584
原创 启动mapreduce任务失败会报一下错误:
2016-12-30 14:38:04,575 WARN org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor: Exception from container-launch with container ID: container_1483067971419_0004_02_000001 and exit code
2016-12-30 14:55:55
1025
原创 elasticsearch由于数据特别长而找不到数据
这是由于mapping中string类型中ignore_above长度的限制ignore_above对超过 ignore_above 的字符串,analyzer 不会进行处理;所以就不会索引起来。导致的结果就是最终搜索引擎搜索不到了。这个选项主要对not_analyzed 字段有用,这些字段通常用来进行过滤、聚合和排序。而且这些字段都是结构化的,所以一般不会允许在这些字段中索引
2016-06-07 11:52:19
7592
1
原创 用mapreduce程序将hive写数据到hbase慢的解决办法
项目中可能会有将hive的数据同步到hbase的需求,但是有时mapreduce程序写数据会非常慢,也有可能会出现数据倾斜问题。这时就要对mapreduce程序进行优化了。 首先确定调大reduce个数,比如从5个调大到10个,如果还不能有效的加快速度。就需要在mapreduce程序中将hive中大量的空过滤掉,这部分特别耗资源,也会引起数据倾斜。这部分空到hbase中也没用,过滤
2016-03-31 17:51:49
1480
原创 主机和虚拟机之间不能互通解决办法
可能SELINUX的值不是disabledvim /etc/selinux/config设置SELINUXSELINUX=disabled然后重启点脑reboot重启后然后关闭防火墙iptablesservice iptables stop关闭防火墙开机启动chkconfig iptables off
2015-11-01 20:46:15
2804
原创 kafka及zookeeper安装部署
因为kafka启动依靠zookeeper所以博主先配置zookeeperzookeeper部署Step1:以root账号登陆,创建shaka用户[root@localhost home]# useradd shaka[root@localhost home]# passwd shaka Step2:切换为shaka账号[shaka@localhost ~]$ su -
2015-10-24 19:58:59
557
原创 flume的部署及简单测试
Flume 的一些核心概念:组件功能Agent使用JVM 运行Flume。每台机器运行一个agent,但是可以在一个agent中包含多个sources和sinks。Client生产数据,运行在一个独立的线程。Source从Client收集数据,传递给Channel。Sink
2015-10-24 18:28:47
549
写个脚本随机读取指定文件的若干行内容并写到指定文件内
2015-10-08
TA创建的收藏夹 TA关注的收藏夹
TA关注的人