- 博客(11)
- 收藏
- 关注
RSS订阅原创 Hive数据在Hadoop集群间的迁移
环境说明：136.64.69.10(e3base02) 原集群Hive服务端136.64.69.49(e3base49) 目标集群Hive服务端136.64.69.75(e3base55) 目标集群Hive客户端weixh_test Hive测试库1、创建目录原集群导出数据临时目录hdfs dfs -mkd...
2019-07-18 20:29:49
741
原创 Hadoop HA——hdfs haadmin 详解
NameNode切换 Hadoop版本：hadoop-2.6.0-CDH5.5.4 namenode切换需要用到hdfs haadmin 命令，该命令有如下方法： hdfs haadmin -transitionToActive <serviceId> 将<serviceId>namenode过渡到active状态当前状态： nn1:s...
2019-01-14 21:37:07
7650
2
原创 Hadoop测试——HDFS基准测试
Hadoop基准测试 数据节点3台：8C/32GB /chunkdata01:1.2T HDFS：3.46TBYARN：Memory：24GB=8G*3 Vcores:18C=6C*3 写入数据：TestDFSIO第一次测试：失败写入30*100GB（单个副本）的文件，执行时间：11:06-11:56(失败)hadoop jar hadoop-mapre...
2019-01-14 21:12:02
3030
4
原创 Hadoop垃圾回收站与YARN日志聚合
垃圾回收站在HDFS里，回收站功能开启后，删除文件时，不会真正的删除，暂时是放入回收站.trash中，回收站里的文件可以快速恢复。可以设置一个时间阈值，当回收站里文件的存放时间超过这个阈值或是回收站被清空时，文件才会被彻底删除，并且释放占用的数据块。Hadoop回收站trash，默认是关闭的。将core-site.xml内fs.trash.interval参数修改为需要回收站保留的时...
2018-12-15 22:39:14
795
原创 YARN调优----磁盘容错和container容器的目录重新规划
YARN参数调整针对YARN参数的调整主要分为两个部分：磁盘容错和container容器的目录重新规划。磁盘容错：yarn-site.xml下的三个参数：<property><name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage&l...
2018-11-14 23:34:45
2347
原创 MapReduce调优----Reduce延迟启动参数调整
参数说明mapreduce.job,reduce.slowstart.completemaps默认为0.05，在5%的map执行成功之后，就会启动reduce作业，会导致Reduce占用大量资源，却无法有效利用（需要等待对应的Map执行完成），降低资源的使用效率，影响集群的整体性能，可调至0.9。测试跟踪更改了e3base07, e3base104，e3base105下的$HADOOP...
2018-11-14 23:25:41
730
原创 Kerberos高可用安装
目录 1、Kerberos安装与配置1.1安装1.1.1注意事项1.1.2Yum安装1.2配置1.2.1/etc/krb5.conf1.2.2/var/kerberos/krb5kdc/kdc.conf1.2.3/var/kerberos/krb5kdc/kadm5.acl1.2.4创建kpropd.acl1.2.5创建数据库1.2.6同步配置1...
2018-10-28 14:16:01
2528
原创 如何控制Hive执行中的Map和Reduce数量
目录Mapmap任务的个数切片与块的关系是不是map数越多越好合理的map数设置如何合并小文件，减少map数？如何适当的增加map数？Reducehive自己如何确定reduce数调整reduce个数方法调整hive.exec.reducers.bytes.per.reducer参数的值调整mapred.reduce.tasks参数的值是不...
2018-10-28 13:46:31
720
原创 Centos下伪分布式安装Hive以及安装可能出现的问题
安装要求：Hive 1.2.1 MySQL 5.7 JDK 1.81.下载解压cd /mk/soft tar -xvzf apache-hive-1.2.1-bin.tar.gz -C /appl/ cd /appl mv apache-hive-1.2.1-bin hive-1.2.1 2. 配置环境变量vi /etc/profile export HIVE_HOME=/ap...
2018-06-13 17:29:42
667
原创 ZooKeeper的搭建（三个节点）
ZooKeeper的搭建版本介绍：Hadoop 2.7.1 zookeeper 3.4.6 jdk 1.8.144192.168.66.128 hong192.168.66.129 n2192.168.66.130 n3 我们这里只配置主节点hong，配置完成后再scp到n2和n3：1. 解压缩包：a) tar -zxvf zookeeper-
2018-02-01 18:43:41
1891
原创 Hadoop完全分布式集群搭建（三个节点）
Hadoop环境搭建：版本介绍：Jdk：1.8.144 VMware 12.x Centos6.5 Hadoop 2.7.1准备工作：1.jdk的安装：下载安装包：jdk-8u144-linux-x64.rpm，移动到/tmp文件夹下进行解压，rpm -ivh jdk-8u144-linux-x64.rpm；解压后查看/usr/目录下是否有java文件夹生成，查看当
2018-02-01 15:44:51
2035
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人