![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
CDH
袁一白
这个作者很懒,什么都没留下…
展开
-
python一堆僵尸进程!杀!一个开发杀423个进程的感觉真爽
首先CDH显示swap持续的居高不下,长期1.7G其次查使用swap最多的进程最后#!/bin/bash function killswap {for pid in `ps -ef | grep "wechat_multi_multifile.py"|grep -v grep| awk '{ print $2 }' ` ; doecho "pid=$pid" >>...原创 2019-04-30 19:40:06 · 528 阅读 · 0 评论 -
spark Thrift JDBC/ODBC Server配置
必要性spark Thrift JDBC/ODBC Server服务能降低Spark的使用难度(对外仅SQL)配置过程首先,正常配置spark编写脚本 start-thriftserver.sh 启动服务(包含动态资源申请)[root@prd-pg-cdh-node-190 spark-2.3.1-bin-hadoop2.6]# cat start-thriftserver.sh #!...原创 2019-01-04 18:31:55 · 2734 阅读 · 0 评论 -
记一次Hive的失败事件
现象root用户报错:Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTaskhue等账号:正常所以排除是:表,hive等问题。排查过程首先,报错看日志核心报错如下:org.xml.sax.SA...原创 2019-01-04 18:05:19 · 961 阅读 · 0 评论 -
记一次hive drop table 卡死的事故
事故总述这次事故是可以避免的,责任在于Hive的管理团队未把hive的使用规范告知使用者。现象A同事在测试程序时,首先发现Hive-metastore的连接非常缓慢。B同事在测试程序时,在HUE发现有一个表drop不掉(卡死,直到timeout)。查询资料发现:https://blog.csdn.net/u010689354/article/details/79844513 论述要改字符...原创 2018-11-20 17:31:40 · 3563 阅读 · 2 评论 -
CDH5.15搭建四之四(微播易公司搭建手册-踩坑部分)
1. 安装踩坑记1.1. 安装kudu踩坑:NTP对时问题Kudu在启动时,要求ntp对时,但不是被动的对时,而是kudu主动对时。之前系统搭建时候采用的对时策略是:一个主服务81链接ntp服务器,并且自己作为二级ntp服务器;82-84作为客户端,在定时操作中使用ntp指令向81对时。 问题在于82-84是定时对时,没办法在kudu软件中由它主动完成,而是被动接受系统时间,这样的...原创 2018-07-30 14:07:02 · 1493 阅读 · 0 评论 -
CDH5.15搭建四之三(微播易公司搭建手册-组件部分)
4. 安装CDH4.1. 登录4.2. 选择CM版本本文档选择Cloudera Express免费版。4.3. 指定主机在搜索主机名和IP地址框输入node[169-172],这里输入的内容支持正则表达式。输入后点【搜索】按钮,出现机器列表: 选择“当前管理的主机“选择项卡,点【继续】。4.4. 选择CDH版本这里需要选择制作本地源时的版本。 ...原创 2018-07-30 13:52:24 · 2069 阅读 · 2 评论 -
CDH5.15搭建四之二(微播易公司搭建手册-基础部分)
1. 安装总概1.1. 软件环境本文将介绍Centos7.5(首先用cat /proc/version和getconf LONG_BIT) 离线安装CDH和Cloudera Manager过程,软件版本如下表1-1所示: 表1-1 软件版本选取 NO. 软件名称 版本 1 操作系统 Centos7.5 64 位 2 JDK jd...原创 2018-07-30 10:45:59 · 3674 阅读 · 2 评论 -
CDH5.15搭建四之一(微播易公司搭建手册-概要部分)
1 集群管理工具选型1.1 什么是CDH,ambari?Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。 Apache Ambari 支持HDFS、MapReduce、Hi...原创 2018-06-29 15:26:38 · 1155 阅读 · 3 评论