2201_76001326的博客

原创 HBase 分布式存储系统

定义：基于 Hadoop 的分布式、面向列的开源数据库，支持大数据随机定位和实时读写。原型：源自 Google Bigtable，对应关系：HDFS→GFS、MapReduce→MapReduce、Zookeeper→Chubby。特点：实时性强、存储空间大、可伸缩、高可靠、面向列、数据类型单一（字符串）。

原创 Hive数据仓

面向主题、集成、随时间变化、信息稳定的数据集合，用于支持管理决策。解决 MapReduce 学习成本高、复杂查询开发难的问题。源于 Facebook，用于海量社交数据管理和机器学习。类型：UDF（普通函数）、UDAF（聚合函数）、UDTF（表生成函数）。实现步骤（UDF 为例）：继承 org.apache.hadoop.hive.ql.exec.UDF 类。实现 evaluate () 方法（自定义参数和返回值）。打包 Jar 包，上传到 Hive 的 lib 目录。

原创 Hadoop2.0 新特性

定义：Yet Another Resource Negotiator，基于 MapReduce 的资源协调框架。核心组件：ResourceManager、NodeManager、ApplicationMaster、Container。优势：支持多版本 MapReduce、计算框架升级便捷。定义：基于 Zookeeper 实现的高可用集群模式，包含 HDFS HA 和 Yarn HA。核心目标：解决单点故障问题，保证集群持续服务。

原创 Zookeeper 分布式协调服务

定义：开源分布式应用程序协调服务，提供同步、命名、组服务、配置管理等功能。解决问题：分布式系统中的死锁、竞态条件等问题。适用场景：与 HA 模式下的 HDFS、Yarn、HBase 等 Hadoop 组件搭配使用。

原创 MapReduce 分布式计算框架

指用户提交的 MapReduce 应用程序，是计算请求的载体。核心功能：提交作业、跟踪进度、访问任务报告、获取集群状态。提交流程：检查输入输出格式→计算 InputSplit→复制 jar 包和配置→提交到 ResourceManager。提交方法：Job.submit ()（立即返回）、Job.waitForCompletion (boolean)（等待完成）。大量数据集中分配到单个分区，导致部分节点忙碌、其他节点空闲，降低处理效率。

原创 Zookeeper

Zookeeper是一款基于观察者设计模式管理分布式系统中需要被关注的数据（如节点状态、配置信息）；接受观察者（客户端/服务节点）的注册；当数据状态发生变化时，自动通知所有已注册的观察者，触发其响应逻辑。定位：Zookeeper是分布式系统的“协调者”，而非“存储系统”（适合轻量数据，默认1MB/节点）；核心能力：配置同步、节点监控、分布式锁、分布式队列，依赖“观察者模式+主从架构+Paxos/Zab协议”保证一致性；关键细节集群节点数选奇数，保证容错效率；

原创 HDFS分布式文件系统

本章聚焦Hadoop核心组件——HDFS（Hadoop分布式文件系统），从基础概念、架构原理入手，逐步展开Shell命令操作、Java API编程实践，同时深入讲解Hadoop序列化机制、小文件处理方案及底层RPC通信原理，形成“理论-操作-优化-底层”的完整知识体系，助力掌握HDFS的设计逻辑与实际应用。定义与起源HDFS（Hadoop Distributed File System）源于Google的GFS论文，是一种通过网络将数据分布式存储在多台主机上的文件系统，核心优势是分布式存储提升效率。

原创 搭建Hadoop集群

进到主节点qf01解压包下的etc/hadoop/目录，用“vi hadoop-env.sh”指令打开其中的hadoop-env.sh文件，找到JAVA_HOME参数位置，进行如下修改（注意JDK路径）。将安装包hadoop-2.7.3.tar.gz（见附录A）放到主节点qf01的/root/Downloads目录下，并解压到/usr/local/目录下。在上述文件中，配置了HDFS 的主进程NameNode 运行主机（即此次Hadoop集群的主节点位置），同时配置了Hadoop运行时生成数据的临时目录。

原创 kubernets集群部署

在安装容器运行时方面，选择 Docker，并结合 CRI-Dockerd 来支持它，同时为 Docker 配置了合适的 cgroup 驱动和镜像加速。搭建集群时，先在 Master 节点通过 kubeadm 初始化，并拉取所需镜像，接着让 Node 节点加入集群，还预先拉取了 flannel 网络插件的镜像，最后在 Master 节点部署了 flannel 插件，实现容器网络互通。(5) 安装并配置 CRI-Dockerd，运行 rpm 前先将文件拖入/root/下。(2)所有节点配置Hosts。

原创 centos部署nginx

`--error-log-path` 和 `--http-log-path` 分别定义了错误日志和访问日志的位置。- `--with-http_gzip_static_module` 开启 gzip 压缩，用于提高传输效率。- `--with-http_ssl_module` 添加 SSL 模块以支持 HTTPS。- `--sbin-path` 定义了 Nginx 可执行文件的路径。- `--conf-path` 指定了 Nginx 配置文件的路径。保存后将步骤4再运行一遍即可。出现上述页面即为成功。

原创 centos部署zabbix-agent

一.下载zabbix-agent。

原创 CentOS部署Zabbix

注:如果用户需要重置模板，只需删掉原有的zabbix数据库，再重新下载zabbix数据库，导入zabbix数据库数据即可。

原创 Redis 笔记

Redis（Remote Dictionary Server）是使用 C 语言编写的 NoSQL 数据库，具有高性能、支持丰富数据结构、持久化特性、复制、集群以及发布/订阅等特性。

原创 Docker 构建自己的 centos 系统

2) 使用 docker commit 构建自己的 centos 镜像；1) 使用 docker commit 构建自己的 centos 镜像。3) 使用 dockerfile 构建自己的 centos 镜像；2) 使用 dockerfile 构建自己的 centos 镜像。使用 dockerfile 方式制作 centos 镜像完成。使用 dockerfile 方式制作 centos 镜像。使用 dockerfile 方式制作的镜像上传至阿里云仓库。3) 将两个制作好的镜像上传至阿里云镜像仓库。

原创 Docker 构建自己的 apache 应用

2) 使用 docker commit 构建自己的 tomcat 镜像。3) 使用 dockerfile 构建自己的 tomcat 镜像；3) 使用 dockerfile 构建自己的 tomcat 镜像。docker commit 构建自己的 tomcat 镜像成功。在阿里云镜像仓库查看两个版本的 tomcat 镜像是否上传成功。4) 将两个制作好的 tomcat 镜像上传至阿里云镜像仓库。使用 dockerfile 方式制作的镜像上传至阿里云仓库。使用 commit 方式制作的镜像上传至阿里云仓库。

原创 Docker 部署

原创 自动化安装 linux 操作系统

（/var/lib/tftpboot/pxelinux.cfg/default）景和环境确定，常见的有 HTTP/HTTPS、FTP、TFTP、NFS、SCP/SFTP 以及云。其中，HTTP/HTTPS 基于 TCP/IP，支持断点续传且安全性。编辑 kickstart 配置文件（/var/www/html/ks7.cfg）。（/etc/dhcp/dhcpd.conf）编辑 tftp 配置文件。（/etc/xinetd.d/tftp）镜像挂载，将镜像挂载到/var/www/html/centos7。

原创 DHCP 服务配置

在同一局域网内创建虚拟机（未安装系统），网卡桥接模式、内存 2G+，在网络架构中，通过使用路由器、三层交换机等网络设备的路由和转发功能，1. 掌握 Centos 系统中 DHCP 服务的搭建。启动测试，看是否可以获取到 IP 池中的 IP。重启 dhcp 服务设置开机自启动，并关闭防火墙。服务器配置网络环境，确保其可以访问外网；服务器是否可以和客户端在不同的局域网中？服务器可以和客户端在不同的局域网中。资源池的范围设置非常灵活，可以根据具。创建新的虚拟机设置稍后安装操作系统。可以实现跨越不同局域网的。

原创 KVM 虚拟机的创建

(1) 安装 KVM 核心套件：[root@localhost yum.repos.d]# yum install。个虚拟机监视器（VMM），允许在 Linux 系统上创建和管理多个虚拟机。(3) 启动 KVM，加载 KVM 模块，开启 libvirtd 进程。(6) 安装并使用 virt-install 工具创建 KVM 虚拟机。(1) 虚拟机通过桥接网络实现 KVM 虚拟机联网。(5) 创建 kvm 虚拟机所用的存储。1、掌握 KVM 虚拟机的创建方法。(2) 安装 KVM 虚拟机。

原创 虚拟机网络配置

ip 地址要与你选择的以太网还是 无线网的 ip 段对应（即：ip 地址的前三。(2) 进入虚拟机的 centos7 系统中，修改 centos7 的 ip。点击“虚拟机”--“设置” 在"网络适配器"中选择"桥接模。桥接与 NAT 的本质区别一个是与宿主机同级别处于统一网络，NAT 是基。(1) 首先设置虚拟机连接方式为桥接，打开虚拟机，点击“编辑”---菜单栏点击‘编辑’ -> ‘虚拟网络设置’。(3) 最后设置本机配置：打开网络和共享中心->更改适配器设置。3、掌握虚拟机的网络配置方法。

原创 裸金属架构：VSphere 虚拟化

1、准备好 ESXI7 镜像，在 vm workstation17 上创建虚拟机，通过 ESXI。打开 workstation 17，依次选择“文件”-“新建虚拟机”，自动弹出。裸金属架构是将虚拟机管理程序直接安装在计算机的硬件之上，不需要。内容：ESXI7 的安装及在 ESXI 主机上创建虚拟机。设置安装镜像，CD/DVD 驱动器 1，之后点击下一步；2、创建 ESXI 主机时，内存至少选择多少 G?选择创建类型，选择 创建新虚拟机，选择下一步；设置虚拟机名称，版本等信息，点击下一步；

原创 CentOS7 搭建LAMP

4.1. 输入命令vim /var/www/html/index.php在默认网站目录下新建一个网页。4.3. 在浏览器中输入192.168.2.11/index.php，出现如下页面，搭建成功。2.3. 使用exit命令退出，再重新登录：mysql -uroot -prootimage。2.1. 初次进入 MySQL 不需要密码，直接输入mysql进入。2. 将PHP和MySQL关联起来，安装php-mysql。MySQL版本：MySQL 5.6.51。PHP版本：PHP 7.2.34。

原创 linux 用户组、账号、权限管理

useradd –c “Name Surname” –g admin –d /home/user1 –s /bin/bash user1 创建一个属于“admin” 用户组的用户。usermod –c “User FTP” –g system –d /ftp/user1 –s /bin/nologin user1 修改用户属性。再输入：usermod -G userg testuser1将用户testuser1加入组userg。输入命令：userdel testuser1删除用户testuser1。

原创 Linux目录和文件管理

rm –rf dir1 删除一个叫做‘dir1’的目录并同时删除其内容。在打开终端后，练习浏览目录类命令，浏览文件类目录和目录操作类目录命令。ln –s file1 lnk1 创建一个指向文件或目录的软链接。cp –a /tmp/dir1 . 复制一个目录到当前工作目录。rm –f file1 删除一个叫做‘file1’ 的文件。cp dir/* . 复制一个目录下的所有文件到当前工作目录。gzip file1 压缩一个叫做‘file1’的文件。mkdir dir1 创建一个叫做‘dir1’的目录。

原创 Linux 系统的安装

(11）选择"硬件配置"窗口左侧列表中的"处理器"项，然后在右侧配置中设置"每个处理器的核心数量"为4（双核 CPU 这里选择2)，勾选"虚拟化 Intel VT - x / EPT 或 AMD - V / RVI ( V )"和"虚拟化 CPU 性能计数器"复选框；在界面左侧列表中选择"中文"（也可以选择你熟悉的语言），然后点击"继续"按钮进入下一步；(6）在弹出的"指定磁盘容量"窗口中，设置"最大磁盘大小"为60.0GB,选中"将虚拟磁盘存储为单个文件"选项，然后点击"下一步"按钮进入下一步；

原创 嵌入式系统入门指南：从基础到实践

选择合适的开发板（如STM32、Arduino、Raspberry Pi）常见嵌入式处理器架构（ARM、AVR、RISC-V等）安装开发工具链（编译器、调试器、IDE）常用编程语言（C、C++、Python）GPIO、PWM、ADC等基本外设使用。UART、SPI、I2C通信协议。LED闪烁、按键输入等基础实验。嵌入式系统与通用计算机的区别。常见的嵌入式系统应用领域。微控制器与微处理器的区别。传感器、执行器和外设接口。定义嵌入式系统及其特点。小型嵌入式系统项目案例。书籍、在线课程与社区。