cdh
丧心病狂の程序员
不可回收的程序员
展开
-
elasticsearch出现OutOfMemoryError故障分析及处理
最近我们的elasticsearch6.6.1集群出现了停止服务的故障,客户端提示多个节点连接无响应。检查服务器上的日志,发现如下错误日志:从错误日志可以看到,jvm首先进行了Full GC。一般老年代空间只有在新生代对象转入及创建为大对象、大数组时才会出现不足的现象。所谓大对象,是指需要大量连续内存空间的java对象,例如很长的数组,此种对象会直接进入老年代,而老年代虽然有很大的剩余空间,但...原创 2020-02-22 19:31:21 · 5805 阅读 · 2 评论 -
基于Docker搭建cdh QuickStartVM过程全记录
系统环境首先我们要准备系统环境,这里建议选择centos7及以上的版本。安装docker建议使用yum安装,可以减少很多麻烦。yum install docker-io镜像文件解压及导入需要注意,cloudera发布的 quickstart docker镜像仅用于single模式,不支持CDH集群化。Note: Cloudera does not support CDH...原创 2019-04-21 13:41:30 · 1847 阅读 · 0 评论 -
Cloudera Manager的Docker镜像制作
基础镜像先运行一个启动ssh服务的基础镜像docker run -d -i -t --privileged=true --name=test01 cdh/centos7:ssh1.0 /usr/sbin/sshd -D上传安装包将cm和jdk安装包上传到容器内docker cp /mnt/usb1/JDK/jdk-8u74-linux-x64.rpm test01:/usr/tmp/...原创 2019-04-29 21:56:17 · 811 阅读 · 0 评论 -
如何使用spark-submit提交sparkSQL任务
前言本文介绍了使用java开发spark sql应用程序提交到yarn上运行的全过程,并介绍解决了一些开发和提交中常见的问题。准备首先我们要搭建好spark on yarn的集群环境,我是用cdh安装和cloudera manager进行维护的。这里用到的组件主要有yarn、hdfs和hive。对于开发人员来说唯一要准备的就是代码开发环境,使用idea创建一个maven项目,在pom....原创 2019-08-27 21:50:46 · 11321 阅读 · 0 评论 -
Hbase Shell 常用命令
之前整理过的一份Hbase Shell 常用的几条指令,具体已经记不清了,现将其分享如下。1). create 命令创建一个具有两个列族“grad”和“course”的表“scores”。其中表名、行和列都要用单引号括起来,并以逗号隔开。hbase(main):012:0> create 'scores', 'name', 'grad', 'course'2). list 命令...原创 2019-09-12 15:53:00 · 657 阅读 · 0 评论 -
HBase中修改存储版本数及版本号查询
Hbase中通过row和columns确定的为一个存贮单元称为cell,每个 cell都保存着同一份数据的多个版本。在默认的情况下,HBase会存储三个版本的历史数据。但是在实际应用中,出于性能或业务需要,我们可能只有一个或其他数量的版本需要存储。那么如何修改这一默认配置呢?建表时配置如果你还没有建表,那你可以在建表时指定VERSIONS来设定版本号,就是存储几个版本的数据。create '...原创 2019-09-12 16:04:59 · 8717 阅读 · 0 评论