Hadoop
文章平均质量分 94
Hadoop系列文章
超周到的程序员
【履历】目前就职于快手,大三时在腾讯实习,22年秋招收到多家大厂的录用offer:腾讯云、快手、云账户、福耀、比亚迪等,有二十余场面试经验
【技术咨询】本人可提供指导的方向:软件开发领域的多种语言的后端开发(Java、Python、Node.js、Go)、前端开发、3D游戏开发、App开发、网络爬虫、Web自动化、数据可视化
展开
-
【Hadoop 3】HDFS:高可用/靠测试、集群崩溃的处理
文章目录一、环境与运行情况说明二、模拟崩溃操作三、故障恢复一、环境与运行情况说明当前环境为 Hadoop 完全分布式环境,共三台客户机,主机名分别为 hadoop102,hadoop103,hadoop104具体配置过程与细则见:【Hadoop】完全分布式运行模式搭建流程hadoop102 的运行情况:hadoop103 的运行情况:hadoop104 的运行情况:可参照下表来更形象地表示三个客户机的运行情况:hadoop102hadoop103had原创 2021-10-10 10:29:53 · 477 阅读 · 0 评论 -
【Hadoop 3】图文详解:搭建Hadoop完全分布式运行模式
文章目录一、流程分析二、虚拟机准备三、拷贝 JDK、Hadoop 目录:scp 命令四、分发环境变量配置:编写集群分发脚本 xsync五、SSH 免密登录一、流程分析(1)配置一台客户机,如主机名为 hadoop102(关闭防火墙,配置IP),创建目录 /opt/software、/opt/module,并修改这两个目录的属主和属组都为当前用户,如用户 zlc;(2)再拷贝出两台客户机,如主机名为 hadoop103,hadoop104;(3)只在 hadoop102 客户机上:安装 JDK、Had原创 2021-10-04 15:42:45 · 1971 阅读 · 1 评论 -
【Hadoop 3】HDFS 高可用环境搭建(详细图文教程)
文章目录1 预先说明1.1 软件版本说明1.2 集群配置说明2 集群规划3 搭建环境3.1 修改配置文件3.2 zookeeper 的安装与配置1 预先说明1.1 软件版本说明操作系统:CentOS-7-x86_64-DVD-1804.isoJDK:jdk-8u202-linux-x64.tar.gzHadoop:hadoop-3.1.3.tar.gzzookeeper:apache-zookeeper-3.7.0-bin.tar.gz1.2 集群配置说明之前已经配置过 Hadoop 完原创 2021-10-30 09:49:01 · 3999 阅读 · 3 评论 -
【Hadoop 3】集群管理:集群中结点的添加、删除(图文总结)
文章目录一、环境说明二、集群节点的添加三、集群结点的删除一、环境说明Hadoop-3.1.3 完全分布式:详细图文配置(可参考之前文章 【Hadoop 3】图文详解:搭建Hadoop完全分布式运行模式)集群各结点的进程安排情况如下,现在欲添加的新结点主机名为 hadoop105。hadoop102hadoop103hadoop104HDFSNameNodeDataNodeDataNodeSecondaryNameNodeDataNodeYARNNodeManag原创 2021-10-18 10:31:36 · 1112 阅读 · 2 评论 -
【Hadoop项目:万字图文开发总结】全国各省市酒店数据的分析与处理
文章目录1 需求分析1.1 数据一览1.2 数据清洗1.3 分类下的统计与排序1.4 分类下的求均值与排序1.5 多维度下的综合统计2 技术实现2.1 环境搭建2.2 实现:数据清洗1 需求分析1.1 数据一览如下图所示,共一万多条数据,除去首行,共 13036 条酒店数据。…1.2 数据清洗不符合要求的数据为:每条记录如果为NULL的字段数量大于等3;“星级、评论数、评分”这三个字段有一个为NULL;重复的记录,将重复的去掉;MapReduce 程序1:删除满足以上三个条件的原创 2021-12-12 12:57:45 · 3838 阅读 · 5 评论