A112235B的博客

原创 Ambari一键搭建HDP大数据集群

bigdata1 | Master主节点 | CentOS7 Minimal | 16G | 500G | NameNode、RM、HMaster、ZK、Spark History || bigdata3 | Worker节点 | CentOS7 Minimal | 16G | 500G | DataNode、NM、HRegionServer、ZK || bigdata2 | 备份Master | CentOS7 Minimal | 16G | 500G | SecondaryNameNode |

原创 一篇看懂Linux自动部署：PXE+Kickstart无人值守装机，机房批量装系统超简单

今天用最通俗的话，带你吃透Linux PXE自动部署+Kickstart无人值守，看完就能自己搭一套。如果你是初学者，建议先在VMware搭一套小实验，把流程跑通，再慢慢加图形菜单、自定义软件、YUM仓库这些增强功能。平时装系统：光盘/U盘 → 一台一台操作 → 重复点下一步、分区、设密码，机房50台电脑能累死人。让电脑在没系统、没硬盘的情况下，通过网卡直接从网络启动，相当于一个隐形启动U盘。一句话：PXE负责网络启动，Kickstart负责自动安装，一套搞定批量装机。

原创 【大数据实战】Flume 原理详解 + 交互式模拟器

Apache Flume 是一个分布式、高可靠、高可用的日志采集与传输框架，专门用来把海量服务器日志、用户行为、业务数据，实时采集并传输到 HDFS、HBase、Kafka、Elasticsearch 等大数据存储系统。摘要：本文用通俗图解+可动手操作的Flume模拟器，带你从零掌握Flume核心架构、组件、工作流程，并提供可直接运行的仿真实验环境，适合学习、教学、面试快速复习。常见类型：HDFS Sink、HBase Sink、Logger Sink、Avro Sink。

原创 大数据入门：Apache Hive 到底是什么？

Hive 擅长处理 PB 级超大规模数据，延迟偏高，适合离线分析、报表统计，以批量写入、多次查询为主，不适合高频实时修改，依靠分布式集群，扩展能力极强。MySQL 这类传统数据库，响应速度快，毫秒级别，适合网站、APP 后台，支持频繁增删改查，但数据到 TB 级别就很吃力。如果没有 Hive，你必须手写 MapReduce 代码，几百行逻辑，调试复杂，效率极低，只有专业开发才能搞定。这篇文章用最通俗的语言、真实场景和简单案例，带你一次性搞懂 Hive，全程无表格、无晦涩术语，新手也能轻松学会。

原创 ZOOKEEPER分布式协调

Apache ZooKeeper是开源分布式协调服务，为Hadoop、HBase、微服务框架提供统一的配置管理、命名服务、集群管理、分布式锁与同步能力，保证分布式环境高可用+强一致。​- 广播模式：正常运行时，Leader原子广播事务，过半节点确认即提交，保证全局一致。- Leader：唯一处理写请求，发起投票、事务广播与提交，维护全局zxid。​- Observer：只同步数据、处理读请求，不参与投票，用于扩容读性能。​- Follower：处理读请求，转发写请求，参与选举与事务投票。

原创 大数据分布式集群基础配置｜核心内容总结

CentOS 7网卡配置路径： /etc/sysconfig/network-scripts/ifcfg-ens33 ，修改为静态IP、网关、DNS后重启网络。虚拟机支持桥接、NAT、仅主机三种模式。掌握集群基础配置内容、虚拟机上网模式、网络配置文件路径、关闭防火墙原因与方法、SSH协议及免密流程。在虚拟网络编辑器设置NAT子网、网关、DHCP地址段，集群节点统一规划静态IP，方便通信管理。使用完整克隆快速搭建多节点，克隆后必须修改IP、主机名、UUID、MAC，保证节点唯一。四、静态IP与网段规划。

原创 大数据分布式集群搭建基础

SecureCRT是支持SSH2、SSH1、Telnet、Telnet/SSH、Relogin、Serial、TAPI、RAW等协议的终端仿真程序，本质是Windows下登录UNIX、Linux服务器主机的专用软件，支持标签化SSH对话，方便管理多个SSH连接。4. 数据目录规划：对Linux系统中的核心目录进行规划管理，核心涉及bin、boot、dev、etc、home、sbin、tmp、root、run、usr、var等系统目录，明确各目录在集群中的数据存储、程序运行等用途。

原创 【系统环境与基本命令】

Linux提供了很多种虚拟终端，使用ttyN表示，使用Ctrl+Alt+F[1-6]可以进行虚拟终端的切换，这些终端设备记录在/dev/目录下。man命令是Linux下的帮助指令，通过man指令可以查看Linux中的指令帮助、配置文件帮助和编程帮助等信息。9.1date命令的输出结果可以对当前时间的以传递的参数进行格式化。-n或-nodename 　显示在网络上的主机名称。-r或--release 　显示操作系统的发行编号。-s或--sysname 　显示操作系统名称。-a或--all 　显示全部的信息。

原创 系统环境与基本命令