Hadoop
文章平均质量分 95
猿说新宇
这个作者很懒,什么都没留下…
展开
-
Hadoop完全分布式集群搭建(三个节点)
Hadoop环境搭建:版本介绍:Jdk:1.8.144 VMware 12.x Centos6.5 Hadoop 2.7.1准备工作:1.jdk的安装:下载安装包:jdk-8u144-linux-x64.rpm,移动到/tmp文件夹下进行解压,rpm -ivh jdk-8u144-linux-x64.rpm;解压后查看/usr/目录下是否有java文件夹生成,查看当原创 2018-02-01 15:44:51 · 2058 阅读 · 0 评论 -
MapReduce调优----Reduce延迟启动参数调整
参数说明mapreduce.job,reduce.slowstart.completemaps默认为0.05,在5%的map执行成功之后,就会启动reduce作业,会导致Reduce占用大量资源,却无法有效利用(需要等待对应的Map执行完成),降低资源的使用效率,影响集群的整体性能,可调至0.9。测试跟踪更改了e3base07, e3base104,e3base105下的$HADOOP...原创 2018-11-14 23:25:41 · 753 阅读 · 0 评论 -
YARN调优----磁盘容错和container容器的目录重新规划
YARN参数调整针对YARN参数的调整主要分为两个部分:磁盘容错和container容器的目录重新规划。磁盘容错:yarn-site.xml下的三个参数:<property><name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage&l...原创 2018-11-14 23:34:45 · 2391 阅读 · 0 评论 -
Hadoop垃圾回收站与YARN日志聚合
垃圾回收站在HDFS里,回收站功能开启后,删除文件时,不会真正的删除,暂时是放入回收站.trash中,回收站里的文件可以快速恢复。可以设置一个时间阈值,当回收站里文件的存放时间超过这个阈值或是回收站被清空时,文件才会被彻底删除,并且释放占用的数据块。Hadoop回收站trash,默认是关闭的。将core-site.xml内fs.trash.interval参数修改为需要回收站保留的时...原创 2018-12-15 22:39:14 · 827 阅读 · 0 评论 -
Hadoop测试——HDFS基准测试
Hadoop基准测试 数据节点3台:8C/32GB /chunkdata01:1.2T HDFS:3.46TBYARN:Memory:24GB=8G*3 Vcores:18C=6C*3 写入数据:TestDFSIO第一次测试:失败写入30*100GB(单个副本)的文件,执行时间:11:06-11:56(失败)hadoop jar hadoop-mapre...原创 2019-01-14 21:12:02 · 3053 阅读 · 4 评论 -
Hadoop HA——hdfs haadmin 详解
NameNode切换 Hadoop版本:hadoop-2.6.0-CDH5.5.4 namenode切换需要用到hdfs haadmin 命令,该命令有如下方法: hdfs haadmin -transitionToActive <serviceId> 将<serviceId>namenode过渡到active状态当前状态: nn1:s...原创 2019-01-14 21:37:07 · 7788 阅读 · 2 评论