![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
集群搭建
文章平均质量分 65
大数据面壁者
大数据相关知识分享,框架底层原理机制,生产学习中遇到的相关问题分享,共同学习,共同进步。
展开
-
log4j升级之路
log4j升级之路10.10 阿里公开log4j漏洞详细细节,apache下大部分项目收到影响,java程序员开启梦幻般的升级log4j的加班之旅。初始升级方案修改jvm参数:Dlog4j2.formatMsgNoLookups=true修改配置:log4j2.formatMsgNoLookups=True将系统环境变量FORMAT_MESSAGES_PATTERN_DISABLE_LOOKUPS设置为 true升级版方案10.11 日apache上线log4j 1.15稳定版,开启升原创 2021-12-13 20:39:48 · 1333 阅读 · 1 评论 -
Hadoop之Lzo压缩配置
Hadoop之Lzo压缩配置一、hadoop-lzo编译hadoop本身并不支持lzo压缩,故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译,编译步骤如下。环境准备maven(下载安装,配置环境变量,修改sitting.xml加阿里云镜像)gcc-c++zlib-develautoconfautomakelibtool通过yum安装即可,yum -y install gcc-c++ lzo-devel zlib-d原创 2020-12-10 14:04:21 · 465 阅读 · 0 评论 -
集群管理相关脚本汇总
脚本汇总01 分发脚本xsync#1、判断是否传入需要同步的目录/文件if [ $# -lt 1 ]then echo "必须传入一个同步的文件或者目录!!" exitfi#2、遍历需要同步的多个目录/文件#$*: 将输入的所有当做一个整体# xsync java hadoop#$@: 将输入参数当做单独的个体for f in $@do #3、判断输入的目录/文件是否存在 #-f: 判断是否为文件 #-e: 判断文件/目录是否存在 #-d: 判断是否为目录 if [ -e原创 2020-12-10 11:22:54 · 185 阅读 · 0 评论 -
Hadoop集群之吞吐能力测试
Hadoop集群之吞吐能力测试一、测试HDFS写性能测试内容:向HDFS集群写10个128M的文件[hadoop@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB2020-04-16 13:41原创 2020-12-08 19:10:09 · 642 阅读 · 0 评论 -
基于Centos7和Hadoop3.1.3搭建完全分布式集群(2)
基于Centos7和Hadoop3.1.3搭建完全分布式集群(2)目录基于Centos7和Hadoop3.1.3搭建完全分布式集群(2)一、搭建完全分布式集群运行模式二、相关环境配置2.1 编写集群分发脚本xsync2.2 配置SSH无密登录三、集群配置四、群起集群五、集群启动/停止方式总结六、配置历史服务器七、 配置日志的聚集八、集群时间同步一、搭建完全分布式集群运行模式分析:1)准备3台客户机(关闭防火墙、静态ip、主机名称)2)安装JDK3)配置环境变量4)安装Hadoop5)配置环境原创 2020-12-03 23:42:31 · 743 阅读 · 0 评论 -
Hadoop HA高可用原理及集群搭建
Hadoop HA高可用原理及集群搭建文章目录Hadoop HA高可用原理及集群搭建一、HA概述二、HDFS-HA工作机制2.1 HDFS-HA工作要点2.2 HDFS-HA自动故障转移工作机制三、 HDFS-HA集群配置3.1 环境准备3.2 规划集群3.3 配置Zookeeper集群3.3.1 集群规划3.3.2 解压安装3.3.3 配置zoo.cfg文件3.3.4 集群操作3.4 配置HDFS-HA集群3.4.1 官方地址3.4.2 在opt目录下创建一个ha文件夹3.4.3 将/opt/modul原创 2020-11-24 20:01:55 · 558 阅读 · 0 评论 -
基于Centos7和Hadoop3.1.3搭建完全分布式集群(1)
基于Centos7和Hadoop3.1.3搭建完全分布式集群一、虚拟机准备原创 2020-11-15 21:56:56 · 574 阅读 · 0 评论