大数据运维之hadoop日常
人蠢多读书
这个作者很懒,什么都没留下…
展开
-
hadoop resourcemanager webui端口修改后客户端配置是否需要修改?
1.cm上修改yarn web ui端口为8089:2.提示重启yarn和hive3.重新yarn和hive后,直接在客户端提交job,此时客户端配置如下:尝试提交job:发现直接提交成功,同时我们发现,客户端是线连接ResourceManager的8032端口,然后再去有RM转发job到对应的web ui地址,不走客户端配置。4.hive也正常5.结论...原创 2019-11-29 16:56:38 · 2735 阅读 · 0 评论 -
大数据组件开启审计日志
hdfs审计 log4j.properties 中配置(缺省就包含)hdfs.audit.logger=INFO,NullAppenderhdfs.audit.log.maxfilesize=256MBhdfs.audit.log.maxbackupindex=20log4j.logger.org.apache.hadoop.hdfs.server.namenode.FSNamesys...转载 2019-11-27 11:28:02 · 1420 阅读 · 0 评论 -
大内存也是否需要关闭
搭建hadoop集群时是否需要关闭大内存页,仅以实时响应来说,是需要的。具体如下问:hbase集群搭建是否需要关闭透明最大页hbase版本号:1.2.0+cdh5.13.0+411操作系统版本centos 7.5.1804HBASE 需要关闭透明最大页吗?答1:要关掉,否则GC时的Object copy耗时明显增加,对吞吐有显著影响。或者在hbase-env.sh添加-XX:+A...转载 2019-11-26 09:46:22 · 324 阅读 · 0 评论 -
Slow ReadProcessor&Error Slow BlockReceiver错误日志分析
1.总结"Slow ReadProcessor" 和"Slow BlockReceiver"往往是因为集群负载比较高或者某些节点不健康导致的,本文主要是帮助你确认是因为集群负载高导致的还是因为某些节点的硬件问题。2.症状1.作业比以前运行的时间变长2.Job的日志中有以下WARN的信息2018-04-18 00:16:11,632 WARN [ResponseProcesso...转载 2019-11-14 09:28:08 · 611 阅读 · 0 评论 -
hadoop core-site.xml参数fs.trash.interval
1.官网释义 fs.trash.interval Number of minutes after which the checkpoint gets deleted. If zero, the trash feature is disabled. This option may be configured both on the server and the client. If ...转载 2019-11-13 09:51:57 · 498 阅读 · 0 评论 -
hadoop benchmark测试
主要用的TeraSortxx2集群1.5cpuhadoop jar /opt/beh/core/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-*.jar teragen -D mapred.map.tasks=1975 -D dfs.block.size=1073741824 19750000...转载 2019-10-16 14:39:10 · 246 阅读 · 0 评论 -
hdfs fsck
转载来自:https://blog.csdn.net/zlfing/article/details/780709511.常用指令:打印文件块的位置信息hdfs fsck /user/hadoop/wkz -files -blocks -locations生产实例:hdfs fsck *文件路径*-list-corruptfileblocks线上环境降副本后,出...转载 2019-05-15 17:55:24 · 1357 阅读 · 0 评论 -
yarn无法删除zk node: /rmstore
以下情况均基于cm的集群,未测试手工搭建的集群,但是感觉一样,因为如下参数:并未在cm中找到,所以cm也应该是默认来的。====================================测试=================================1.链接zk客户端,并删除/rmstore,发现有权限限制:/opt/cloudera/parcels/CDH/b...原创 2019-06-14 11:57:51 · 2127 阅读 · 0 评论 -
hadoop 查看文件副本数和block大小
转载来自:https://blog.csdn.net/knowledgeaaa/article/details/24394287当向HDFS上写文件时,可以通过设置dfs.block.size配置项来设置文件的block size,这导致HDFS上不同文件的block size是不同的。有时候我们需要知道HDFS上某个文件的block size,比如想知道该文件作为job的输入会创建几个map...转载 2019-03-08 12:01:48 · 9990 阅读 · 0 评论 -
HDFS文件块(block)大小设定依据
转载来自:https://blog.csdn.net/wx1528159409/article/details/84260023最近看到这个面试问题,CSDN搜了半天也没有确切答案,查询资料思考后总结如下:我们在HDFS中存储数据是以块(block)的形式存放在DataNode中的,块(block)的大小可以通过设置dfs.blocksize来实现;在Hadoop2.x的版本中,文件块...转载 2019-04-03 12:03:56 · 4930 阅读 · 0 评论 -
hdfs文件租约lease未释放引发的job失败
1.报错现象如下2.参考链接:https://www.cnblogs.com/cssdongl/p/6700512.html(给出问题分析,再去解决问题)https://blog.csdn.net/qq_29992111/article/details/80533563(直接解决问题)3.操作如下:(1)找出租约未释放的文件 hdfs fsck /logs/product...转载 2019-07-01 15:55:31 · 2228 阅读 · 0 评论 -
hive mr过程创建文件数太多导致job被kill
1.报错如下:[Fatal Error] total number of created files now is 100088, which exceeds 100000. Killing the job.MapReduce Total cumulative CPU time: 5 days 23 hours 48 minutes 22 seconds 380 msecEnded Jo...转载 2019-07-01 16:23:18 · 980 阅读 · 0 评论 -
jvm 大小配置
Mon Jul 08 08:55:16 GMT 2019 Created by: Zach Zhang 您好 GC 10秒的话可能会暂时引起访问问题。 从您到而heap来说,有两个建议: 1) 建议将heap 调整到31 G,避免使用32G。您如果稍微搜一下就能看到有很多文章都提示过Java 指针和压缩空间问题。 使用32G是不推荐的。要么31G,要么38G以上。 ...转载 2019-07-08 17:05:28 · 542 阅读 · 0 评论 -
nn gc日志GC(Allocation Failure)详解及cms jvm 知识梳理
1.线上使用的是jdk1.8的cms 垃圾回收算法2.nn gc 日志如下,不了解啥意思3.在最作者的博文介绍了,懂了不少,这里感谢下作者大大==================================================================================日前查看某个程序的日志,发现一直在报GC相关的信息,不确定这样的信息是代表...转载 2019-09-10 17:59:57 · 1853 阅读 · 0 评论 -
Hadoop NameNode和SecondaryNameNode通常能在一台机器上启动吗?
转载来自:http://blog.csdn.net/lulongzhou_llz/article/details/39153961(hadoop面试题)下列哪个程序通常与 NameNode 在一个节点启动?a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker答案D分析:hadoop的集群是基于master转载 2017-10-10 16:19:21 · 8524 阅读 · 0 评论 -
Yarn FairSheduler使用FairSharePolicy计算Fair Share的规则、原理和代码实现
转载来自:https://blog.csdn.net/zhanyuanlin/article/details/72667293概述想要对Yarn的FairScheduler队列资源管理、以及抢占规则有正确的理解,必须知道Yarn的Fair Share的含义。我们在yarn的管理页面里面,经常可以看到队列的Instantaneous Fair Share以及Steady Fair Share...转载 2018-09-11 09:40:33 · 3758 阅读 · 0 评论 -
HDFS基于ACL权限控制
转载来自:https://blog.csdn.net/hekf2010/article/details/78842937一、开起ACL权限开关(1)如果是Apache Hadoop:修改hdfs-site.xml的配置,并重启 <property> <name>dfs.namenode.acls.enabled</nam...转载 2018-10-17 15:07:33 · 1197 阅读 · 0 评论 -
Hadoop Non DFS Used
转载来自:https://blog.csdn.net/u014297175/article/details/48679321Non DFS Used大小的核心解释:配置的dfs的空间中有多少被不是hdfs的文件占用了转载 2018-10-30 10:54:47 · 392 阅读 · 0 评论 -
Hadoop Yarn Web UI界面对列各种框
注:一般资源使用不超过配置的最大资源的话 Staday Fair Shar 的mem = Min Resources 的mem即使发生,仍然Staday Fair Shar 的mem = Min Resources 的mem暂时未遇到单个对列使用超过max资源配比的情况下Staday Fair Shar 的mem 跟 Min Resources 的mem对比情况...原创 2018-11-02 17:00:28 · 7152 阅读 · 0 评论 -
Yarn 历史任务日志解释和配置
转载来自:https://www.jianshu.com/p/83fcf7478dd7前言Yarn中的id种类繁多,比较乱,下面整理下yarn中常出现的几种id,分别介绍一下。1)jobId描述:出自MapReduce,对作业的唯一标识。格式:job_${clusterStartTime}_${jobid}例子:job_1498552288473_27422)applica...转载 2018-11-19 11:00:48 · 5581 阅读 · 3 评论 -
Apache Hadoop2.7.7的一个bug
1.bug反馈如下,datanode起不来ERROR org.apache.hadoop.hdfs.server.datanode.DirectoryScanner: dfs.datanode.directoryscan.throttle.limit.ms .per.sec set to value below 1 ms/sec. Assuming default value of 1...转载 2018-11-20 09:47:54 · 753 阅读 · 0 评论 -
hadoop本地库版本问题
问题如下:配置完hadoop-env.sh,装好native库后,hadoop checknative仍然无法找到任何库错误如下:推荐一个实用技巧,手动设置hadoop shell debug模式:export HADOOP_ROOT_LOGGER=DEBUG,console(直接输入到命令行就行) 18/08/22 17:12:28 DEBUG util.NativeC...原创 2018-08-23 16:15:04 · 3659 阅读 · 1 评论 -
hadoop非HA安装,解决defalutFS(eg:beh)问题
报错如下:(1)修改core-site.xml :<property> <name>fs.defaultFS</name> <value>hdfs://beh/</value> </property>为如下:(因为不修改,hdfs dfs -ls / 会无法查看,报错Unknow...原创 2018-07-19 13:47:31 · 867 阅读 · 2 评论 -
spark无法查看stdout:hadoop about "Container does not exist."
转载来自:https://blog.csdn.net/stark_summer/article/details/47616773场景描述:hadoop集群中正在运行的任务,点击“application_1438756578740_5947”链接,然后能看到ApplicationMaters信息,有N个Node节点在运行,然后点击任一个Node的logs链接,会报错如下:“Container...转载 2018-07-24 09:52:22 · 711 阅读 · 0 评论 -
cm的CDH和Apache的Hadoop的区别
转载来自:http://blog.csdn.net/hryyx/article/details/52325391目前而言,不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称CDH)、Horton...转载 2017-10-27 15:19:12 · 502 阅读 · 0 评论 -
Hadoop HA搭建
转载来自:http://blog.csdn.net/dr_guo/article/details/509758511.集群规划: 主机名 IP 安装的软件 运行的进程drguo1 192.168.80.149 jdk、hadoop转载 2017-10-11 16:31:57 · 199 阅读 · 0 评论 -
Hadoop KMS 透明加密配置以及测试
转载来自: http://blog.csdn.net/linlinv3/article/details/44963429http://blog.csdn.net/yunduanyou/article/details/76461223背景介绍 越来越多的用户关注安全问题,都在寻找一种有效的,方便的加密方式。hadoop提供了几种不同形式的加密,最底层的加密,加密所有转载 2017-12-12 12:01:19 · 6609 阅读 · 2 评论 -
capacity调度器和fair调度器队列配置
1、fair调度器配置:队列default:wkz:wc=1:3:6(资源占比)<allocations><queue name="root"><aclSubmitApps> </aclSubmitApps><aclAdministerApps> </aclAdministerApps><queue name原创 2018-03-13 15:39:14 · 672 阅读 · 0 评论 -
hadoop问题总结
1.hadoop checknative 出现如下报错openssl: false Cannot load libcrypto.so (libcrypto.so: cannot open shared object file: No such file or directory)!对于redhat7.2来说,执行如下:sudo ln -s /usr/lib64/libcrypto.so.1...原创 2018-04-08 16:34:17 · 259 阅读 · 0 评论 -
Hadoop中maptask数量的决定因素
转载来自:https://blog.csdn.net/shenxiaoming77/article/details/18358507刚开始接触hadoop平台的时候 部分初学者对于mapreduce中的maptask的数量是怎么确定的 可能有点迷惑,如果看了jobclient里面的maptask初始化的那段源码,那么就比较清楚了,MapTask的数量是由InputFormat来指定的,InputF...转载 2018-05-11 10:36:44 · 3254 阅读 · 0 评论 -
HBase MR容错率设置
故事背景:hadoop任务分为map task和reduce task,当map task执行失败后会重试,超过重试次数(mapred.map.max.attempts指定,默认为4),整个job会失败,这是我们不想看到的。解决办法:hadoop提供配置参数“mapred.max.map.failures.percent”解决这个问题。如果一个Job有200个map task,该参数设置为5的话,...转载 2018-05-11 15:40:51 · 364 阅读 · 0 评论 -
hadoop查看配置参数的值
hdfs getconf -confkey dfs.namenode.acls.enabled转载 2018-11-29 20:07:15 · 3982 阅读 · 0 评论 -
hadoop balancer
转载来自 :http://www.cnblogs.com/linehrr-freehacker/p/3311878.html论hadoop的balancer其实很多人都知道hadoop自带一个hadoop balancer的功能,作用于让各个datanode之间的数据平衡.比如说node-A有100GB数据,占用磁盘99%空间;而node-B只有10GB数据占用磁盘10%空间~...转载 2018-12-19 16:11:26 · 201 阅读 · 0 评论 -
编写shell脚本批量查看hdfs目录的文件夹个数,文件个数,文件总大小
转载来自bug:(1)脚本如下:cat count.shfiles=`cat files`for file in ${files}; do hdfs dfs -count -q ${file} | awk '{for(i=5;i<=NF;i++) printf $i",";printf "\n"}' >> conut.logdone(2)当前目录下创建fi...转载 2019-01-14 17:40:06 · 4940 阅读 · 0 评论 -
hadoop distcp集群之间的拷贝权限测试
1 测试点hadoop 集群间拷贝有没有权限要求eg:a集群的wkz用户向b集群的cdd用户拷贝文件,会不会有权限限制 2 开始测试(1)搭建两套cm A,B,并分配yarn和hdfs(2)在A集群hdfs创建建wkz目录并赋权,在A集群hdfs getway节点创建wkz用户,并用wkz用户上传文件wkz[hdfs@nlkfpt-cxds-03 ~]$ hdfs d...原创 2019-01-16 16:11:06 · 1991 阅读 · 0 评论 -
hadoop配置zookeeper ACL认证
转载来自lyl1.首先在hdfs的 core-site.xml添加如下Eg:<property> <name>ha.zookeeper.quorum</name> <value>hadoop001:2181,hadoop012:2181,hadoop011:2181</value></property...转载 2019-02-25 09:37:42 · 2639 阅读 · 0 评论 -
cm集群配置禁止namenode格式化
转载来自lk1. 在HDFS的配置界面,搜索“hdfs-site.xml”,找到Namenode高级配置代码段(安全阀),增加红色框中的内容,把"dfs.namenode.support.allow.format"这个参数的值(默认为true)设为false,表示禁止namenode格式化2.搜索官网发现这是一个hdfs-site.xml的参数,默认为true,表示允许格式化。dfs....转载 2019-02-20 15:51:52 · 450 阅读 · 0 评论 -
hive 指定job name及其效果
1.指定job name的方式1 set mapred.job.name=jobname2 hive --hiveconf mapred.job.name=jobname2.效果如果脚本中有多个sql语句,那么你设定jobname后,所有的sql生成的job都会有同一个名字,亲测...原创 2019-03-06 17:03:18 · 7234 阅读 · 0 评论 -
hadoop端口配置
转载来自:https://note.youdao.com/ynoteshare1/index.html?id=7c9d7988fc5dd52fc7d980453de8c214&type=note#/组件常用端口 组件 Daemon 端口 配置 说明 HDFS ...转载 2019-01-08 20:28:21 · 1048 阅读 · 0 评论 -
hdfs nm页面一些参数解释
Median:69.26%所有机器的平均使用率min:所有机器中最低的那台机器的使用率max:所有机器中最高的那台机器的使用率sedDev:标准方差,越低越好转载来自:kz...转载 2019-01-18 11:01:52 · 257 阅读 · 0 评论