- 博客(40)
- 收藏
- 关注
RSS订阅原创 重启yarn导致rm都为standby分析
1、问题现象调整yarn参数配置后，重启两个rm服务，重启后rm状态都为standby2、问题分析查两个rm日志都显示如下两点错误信息，一个是都为standby状态，一个是很多的application任务失败还有zk日志中会一直刷连接zk问题3、问题解决进入zookeeper控制台，找到保存yarn任务的地方，删除yarn任务信息ls /rmstore/ZKRMStateRoot/RMAppRoot不为空则使用该命令rmr /rmstore/ZKRMSta..
2021-09-15 17:02:11
1380
原创 shell执行命令，同时操作多台主机
shell执行命令同时查看多台主机的hostname前提是这些主机之间ssh免密1、主机列表hostlist：10.10.0.1110.10.0.1210.10.0.1310.10.0.1410.10.0.152、shell脚本：#!/bin/bashparams=$@for ip in `cat hostlist`doecho "========$ip $params ========"ssh $ip "$params"done3、执行.
2021-09-09 18:15:30
1469
原创 变更CDH集群元数据库地址
CDH集群中会遇到元数据库的迁移，迁移后数据库的IP地址发生变化或是元数据库做主备，在主节点挂掉后，需要将数据库CDH集群中的元数据库地址指向新的IP或备用元数据库。1、停止cm页面cdh和cms服务2、在cm节点主机上停止cloudera-scm-server服务systemctl stop cloudera-scm-server3、停止CM和CDH集群后，如果是迁移数据库则可以对数据库进行迁移操作（如果只是主备切换则跳过此步）将原MariaDB数据库数据导出mysql
2021-09-09 16:55:24
748
原创 cm元数据库mysql升级
在mysql所在主机上升级mysql现版本5.5.44-MariaDB 升级到 5.5.511、下载mariadb 5.5.51版本包https://downloads.mariadb.org/interstitial/mariadb-5.5.51/bintar-linux-x86_64/mariadb-5.5.51-linux-x86_64.tar.gz/from/http%3A//ftp.hosteurope.de/mirror/archive.mariadb.org/?serve2
2021-09-09 16:37:54
199
原创 CDH6集群外配置Gateway节点
①hosts加入所有集群节点中，同步到Gateway节点②集群节点/usr/java/的java目录拷贝到Gateway节点，放相同目录下③集群节点将/opt/cloudera/parcels目录压缩 并拷贝至Gateway节点tar -czvf cdh.tar.gz CDH-6.2.0-1.cdh5.14.2.p0.3/ CDH/④Gateway节点上，创建/opt/cloudera/parcels目录，并将cdh.tar.gz解压至该目录mkdir -p /opt/clouder..
2021-09-09 15:20:09
815
原创 cdh6.2的存储和计算分离
cdh6.2中提供了一种新类型的集群，称计算集群。计算集群运行Impala，Spark，Yarn等计算服务，但可以配置这些服务以访问托管在另一个CDH集群中的数据。使用此架构，可以通过各种方式分离计算和存储资源。以下是两种存储分离方式两套cdh测试环境cm和cdh版本6.2.0redhat7.4第一种方式集群A的存储更换到集群B上1、hdfs配置core-site.xml的集群范围高级配置代码段（安全阀）中新增fs.defaultFS，参数为hdfs://B集群ip:8020/
2021-09-09 10:46:41
624
原创 CDH6集成ElasticSearch7
1、部署java、maven及环境变量maven下载：https://mirrors.bfsu.edu.cn/apache/maven/maven-3/export JAVA_HOME=/home/bigdata/soft/jdkexport PATH=$PATH:$JAVA_HOME/binexport MVN_HOME=/home/bigdata/soft/mavenexport PATH=$PATH:$MVN_HOME/bin2、下载cm_extCloudera提供的c.
2021-08-02 15:46:38
594
原创 kafka运维操作
1、topic数据量增长大，增加partition数kafka-topics.sh --alter --zookeeper bigdata02:2181,bigdata03:2181,bigdata04:2181 --topic test02 --partitions 3查看增加partition数后的topic信息，已经增加成功2、topic增加副本因子编辑add_rep_test02.json 内容，如下：[bigdata@bigdata03 kafka]$ cat
2021-07-05 11:39:07
82
转载 华为HD 6.5.1.7版本 hbase region分裂问题
【操作步骤&问题现象】hbase 版本 1.3.1有关region分裂参数采用默认未调整。【问题现象】现有A业务 每天创建一个hbase表预分5region，最近查看时发现表变成10region，通过HDFS查看region大小为1.4G左右。问什么情况会出现region自动分裂情况？hbase 默认分裂策略 是org.apache.hadoop.hbase.regionserver.IncreasingToUpperBoundRegionSplitPolicy如果表
2021-07-01 10:22:36
134
原创 hbase批量merge region
如果hbase页面显示 Region merge are disabled.This may be the result of HBCK aborting while running repair mode.此时需要设置merge为true，否则执行merge_region合并无效设置：splitormerge_switch 'MERGE',truehttps://blog.csdn.net/u012551524/article/details/108225466https://bl
2021-07-01 09:41:39
722
原创 统计hbase表行数
小表可以scan 'default:student'统计hbase表行数两种方式方式一：对于大表速度慢些count 'default:student'方式二：对于大表速度快些hbase org.apache.hadoop.hbase.mapreduce.RowCounter 'default:people'
2021-07-01 09:31:46
244
原创 hbase rest获取region的startkey和endkey后再解密
启动hbase rest 服务hbase rest start -p 1122获取region信息
2021-07-01 09:26:29
334
原创 python缺requests及其他依赖包
>>> import requestsTraceback (most recent call last): File "<stdin>", line 1, in <module>ImportError: No module named requests需要安装requests插件pip install requests报 -bash: pip: command not found需要安装pip第一种方.
2021-06-30 16:46:23
2003
转载 GaussDB版本介绍
GaussDB介绍查看一下链接https://blog.csdn.net/weixin_45783164/article/details/104754742第一次接触GaussDB。。。
2021-04-07 18:32:31
1130
原创 hdfs Java API操作
1、获取FileSystempackage com.lyl.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import java.io.IOException;public class HdfsApi { //main函数入口 main或快捷键psvm public static void main(String[] args) throws
2021-01-16 16:27:01
69
原创 window安装IDEA\maven
1、软件下载地址maven下载地址http://archive.apache.org/dist/maven/maven-3/3.5.3/binaries/idea中scala插件官网下载地址https://plugins.jetbrains.com/ ----官网2、maven安装解压安装后，更改settings.xml文件中localRepository参数，是实际Windows中路径另外再添加一个mirror地址<?xml version="1.0" enco..
2021-01-14 17:44:46
86
原创 cdh-hdfs变更nameservice后一系列hive问题
1、hdfs集群nameservice参数为obehrpm为了迎合业务批量脚本，改为obeh，如下2、重启整个hadoop集群重启后，发现zkfc启动不了，两个nn节点都为备节点，如下：集群页面全都报错，如下：查看zfkc日志报错如下：解决：去查看zk节点，进入zk，ls /hadoop-ha发现集群名还是老的值，需要...
2019-04-02 18:00:22
1689
2
原创 cloudera manager 动态资源池计划模式
关于CM动态资源池计划模式，如何正确使用，可以参考下文 https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cm_mc_resource_pools.html#concept_jfr_d1f_xm 大致步骤 Cloudera Manager > 【群集】> 【动态资源池配置】> 【YARN】> 【计...
2019-02-27 19:54:19
111
原创 CDH5.1.3是否支持hive on tez
您好 Yang先生，感谢您联系Cloudera技术支持团队，我是Benny，将协助您解决这个问题。我理解您这边询问CDH是否支持hive on tez？我的回答如下： 目前我们是不支持Tez作为hive engine的，请使用MapReduce或者Spark作为engine来代替。...
2019-02-27 17:07:17
57
转载 spark Caused by: java.lang.OutOfMemoryError: Java heap space 问题
转载：https://blog.csdn.net/qq_28743951/article/details/79103362问题描述：在使用spark过程中，有时会因为数据增大，而出现下面两种错误:1、java.lang.OutOfMemoryError: Java heap space2、java.lang.OutOfMemoryError：GC overhead limi...
2019-02-25 16:09:11
11017
转载 在MySQL 5.7日志时间与本地时间不一致的问题
转载：https://www.cnblogs.com/if-then/p/7236686.html在MySQL 5.7.2 新增了 log_timestamps 这个参数，该参数主要是控制 error log、genera log，等等记录日志的显示时间参数。在 5.7.2 之后改参数为默认 UTC 这样会导致日志中记录的时间比中国这边的慢，导致查看日志不方便。修改为 SYSTEM 就...
2019-01-14 14:51:04
1376
原创 关于hive报错java.lang.IndexOutOfBoundsException
我理解您这边在执行一个简单query的时候遇到了数组越界的问题。hive (zba_dwa)> select * from mid_dwa_v_d_cus_al_rns_encap_test where part_id=0 and day_id=28 and prov_id=011 limit 15;OKFailed with exception java.io.IOExcept...
2019-01-10 17:25:07
884
原创 集群namenode均为standby
现象描述：一体化集群，nn1和nn2都能正常启动，但是节点状态均为standby，手动切换状态nn就会挂掉，启动zkfc也会挂掉原因查找：主机防火墙关闭状态，没有异常；journalnode也能正常连接发现journalnode nsid和namenode nsid不一致nn2挂掉前的日志，大量刷日志：查VERSION中的clusterid，namenode和datan...
2018-12-14 09:50:11
438
原创 bash引起的cm报错问题
感谢您加入Webex.以下是简单的总结:在诊断过程中, 我们发现主机上运行的 bash 版本不是RHEL7.2操作系统自带的. 默认的 bash 版本应该是version 4.2.46(1)-release (x86_64-redhat-linux-gnu)而主机上的 bash版本为 4.4.0(1)-rc1 (x86_64-unknown-linux-gnu), 我们已确认此问题是因...
2018-12-04 14:52:09
52
转载 Linux使用noatime提升文件系统性能
转载https://blog.csdn.net/dutsoft/article/details/51074376默认的方式下linux会把文件访问的时间atime做记录，文件系统在文件被访问、创建、修改等的时候记录下了文件的一些时间戳，比如：文件创建时间、最近一次修改时间和最近一次访问时间；这在绝大部分的场合都是没有必要的。因为系统运行的时候要访问大量文件，如果能减少一些动作（比如减少...
2018-11-19 17:48:59
3931
1
原创 CM中对yarn节点解除授权和停止的区别
我理解您询问在某个NodeManager的Action选项中，“stop this nodermanager”和“Decommission”的区别。1） 角色实例的【停止/Stop】是指停止角色实例的进程。但不会解除该角色在集群中的授权，也就是说集群中还是注册了这个角色实例的服务信息。角色实例可以再次启动，加入服务。2） 角色实例的【解除授权/Decommission】是指角色实例退出集群...
2018-11-14 15:24:20
264
原创 组件安装文档
下面是您需要的安装文档：pig安装文档：https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cdh_ig_pig_installation.html#topic_16ooize安装文档：https://www.cloudera.com/documentation/enterprise/5-13-x/topi...
2018-11-14 15:21:27
54
原创 hdfs目录上/tmp/hive空间资源过大问题
我理解您想知道HDFS上tmp/hive空间资源占用过大的原因，有没有什么清理机制？Hive的临时目录是用来存放不同阶段的map/reduce任务的执行计划和中间结果的，如果Hive任务成功完成的话，临时文件会被自动清理，如果Hive任务被取消或者中断，那么这个任务的临时文件就会被遗留下来。您可以手动删除这些旧文件，但不要删除任务还未完成的临时文件。您也可以通过 cron job来定期删除...
2018-11-14 15:17:13
1135
转载 HBase最佳实践－列族设计优化
转载https://blog.csdn.net/javastart/article/details/51820212?tdsourcetag=s_pctim_aiomsg问题导读：1.BLOCKSIZE属性在不同场景下应该如何设置？2.COMPRESSION属性和DATA_BLOCK_ENCODING属性的区别是什么？3.Hbase需要注意哪些设计原则？随着大数...
2018-11-14 15:09:30
197
原创 yarn例子包小程序
1.1) 有问题程序的YARN服务 container 日志yarn logs -applicationId <application_xxxxxxxxxxxxx_yyyy> -appOwner <user_name> > application_xxxxxxxxxxxxx_yyyy.log1.2）有问题程序的MR JOB的 jhist 和 conf.xml文...
2018-11-14 14:57:59
60
原创 hbase修改日志级别
如果没有CM，怎么把所有Debug的配置改成INFO呢？在您上传的客户端配置的log4j.properties文件中，我发现以下的参数配置成了DEBUG，所以您的日志全是DEBUG级别的。 log4j.logger.org.apache.hadoop.hbase=DEBUG我们建议您将它修改成INFO，然后重启服务。您好！修改完参数后，您说的重启服务，是指重启整个hbase...
2018-11-14 11:38:22
326
原创 cdh系统及硬件方面要求
CDH所有的软件以及硬件要求都在下面的链接中， 我没有找到对凝思操作系统支持的相关说法。https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html硬件方面的需求主要是内存， 存储方面的。 您可以从下面链接找到相关的数据。 https://www.clouder...
2018-11-14 10:40:47
251
原创 hbase debug
2) 用下面的命令运行$ export HBASE_ROOT_LOGGER=DEBUG,console;export HBASE_OPTS=" -Xloggc:/var/tmp/hbase-compact-gc.log -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintGCTimeStamps -XX:+Use...
2018-11-07 17:18:06
57
原创 2副本HDFS重启主机方案
1、您的问题是hadoop集群承载多个Hbase，且大部分数据为2副本，目前更换硬盘需要重启主机，故需要重启datanode进程，如果一次重启多台主机，担心会有丢数据风险，请帮忙提供一下优化的实施方案。实际上不管您是有几份副本，我们都建议您一台台的主机重启。因为如果一次重启多台主机的话，确实可能会造成某些block读不到，影响您的应用。2、但是从Hbase的角度上来说，我们一般都是...
2018-11-07 16:29:03
96
原创 hadoop组件timeout时间
以下是一些timeout的例子name value descriptiondfs.heartbeat.interval 3 Determines datanode heartbeat interval in seconds.dfs.namenode.stale.datanode.interval 30000 Default time interval for mar...
2018-11-07 14:40:23
921
原创 ResourceManager切换后又自动切换回来
第二次又切换回来的时候，该节点尝试恢复application的状态，在恢复时发生了以下错误：2017-08-15 23:54:34,049 FATAL org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Error in handling event type APP_ATTEMPT_ADDED to the sched...
2018-11-07 12:01:02
434
原创 关于hive sql报错问题
生产跑sqlselect sum(col) from (select 1 col from zbg_serv.tf_f_user_svc_item where month_id='201811' and day_id='05' limit 1 union all select 1 col from zbg_serv.tf_f_user_svc where month_id='201811' ...
2018-11-06 18:15:10
761
原创 linux磁盘读写性能监控
1.硬盘读写性能，#查看TPS和吞吐量信息iostat -d -k 1 10 Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtnsda 14.54 417.21 368.06 15719357562 13867444535dm-0 ...
2018-11-02 10:21:50
567
转载 spark executor-cores参数并未对vcores生效的原因分析
转载来自：http://blog.csdn.net/rongyongfeikai2/article/details/53187421https://blog.csdn.net/qq_35440040/article/details/78963722虽然目前大多数平台内置Application在提交时，只配置了–num-executors和–executor-memory参数，但是...
2018-09-07 17:05:57
2780
原创 系统自带Python2.7安装算法包setuptools-40.1.1.zip
租户业务需求安装setuptools-40.1.1.zip1、上传setuptools-40.1.1.zip包2、解压# unzip setuptools-40.1.1.zip3、安装# cd setuptools-40.1.1/# python setup.py install4、测试root用户测试正常但是普通用户测试，无法使用查找原因，系统自...
2018-09-06 14:56:57
1277
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人