- 博客(30)
- 收藏
- 关注
RSS订阅原创 Docker进阶与容器编排实践-第三章
本文摘要： Docker容器进阶操作指南介绍了Docker Compose的日志查看、容器重启、配置更新等进阶操作，并验证了多容器通信、数据持久化等特性。通过实战演示了MySQL与Nginx的数据卷持久化效果，以及容器资源限制和启动顺序优化方法。在综合实操部分，指导用户构建自定义Nginx镜像并实现容器间数据同步，最后通过编排nginx+mysql+tomcat三容器系统，展示了服务编排、健康检查、反向代理配置等高级功能。所有操作均附有详细命令和验证步骤，涵盖容器生命周期管理的核心技能。
2026-06-11 15:26:27
228
原创 Docker进阶与容器编排实践-第二章
Docker网络配置与容器通信：本文详细介绍了Docker的多种网络模式（桥接、host、none和container网络）及其特点，重点讲解了自定义桥接网络的创建和使用方法。通过实验验证了容器在不同网络模式下的通信方式，包括默认网络下的IP通信、自定义网络下的容器名通信，以及多网络环境下的通信效果。此外，还介绍了host网络模式的特点和容器加入多个网络的配置方法。 Docker Compose安装与基础编排：本文指导了Docker Compose的安装过程，并详细解析了docker-compose.yml
2026-06-11 11:37:16
348
原创 Docker进阶与容器编排实践-第一章
本文详细介绍了Docker实验的两个核心章节：1) 使用Dockerfile构建自定义镜像，重点讲解了FROM、RUN等关键指令的使用，并通过构建nginx镜像演示了镜像优化方法；2) Docker数据卷配置，包括数据卷创建、容器间共享数据、宿主机目录绑定等操作，通过nginx容器验证了数据持久化和同步机制。实验强调通过合并RUN指令减小镜像体积，以及数据卷与目录绑定的区别，最终提供了完整的资源清理方案。整个实验采用root用户在专用目录下完成，确保操作连贯性。
2026-06-11 11:34:27
350
原创 从开始搭建CDH-终章
摘要：本文演示了基于Kafka和Spark Streaming的实时数据处理流程。首先在CDH集群创建Kafka主题sensor_data作为缓冲队列，然后启动模拟数据生产者每秒发送随机传感器数据。接着编写Spark Streaming应用，从Kafka读取数据流，解析CSV格式后通过滑动窗口计算每10秒的平均值，并将结果以Parquet格式写入HDFS。最后通过Hue界面和HDFS命令验证数据成功落地。整个流程实现了传感器数据的实时采集、计算和存储。
2026-05-26 09:15:48
666
原创 从零开始搭建CDH-第十四章
本文介绍了Kafka服务的安装配置及Spark流处理应用的实现过程。首先通过CM页面安装Kafka服务并配置参数，然后在主机上创建名为"wc-topic"的Kafka主题。接着启动Spark-shell，配置内存参数并加载相关依赖包，编写Spark Streaming程序从Kafka消费数据，实现单词计数功能。最后通过Kafka生产者发送测试数据"hello spark kafka hello"，在Spark端成功获取并统计出单词出现次数。
2026-05-25 15:15:24
141
原创 KVM虚拟化与Docker基础实践-第三章
本文介绍了Docker镜像与容器的基础操作。首先配置了稳定的Docker镜像加速器，演示了镜像拉取、导出为tar文件、删除及恢复的全过程。在容器操作部分，详细讲解了Nginx容器的创建（含端口映射）、查看、进入、启停、日志查看和资源监控等操作，并进行了服务验证。同时展示了Tomcat容器的类似操作流程。最后提供了完整的清理命令集，包括停止所有容器、删除无用容器/镜像/卷等操作，帮助用户维护Docker环境。
2026-05-23 23:00:11
653
原创 KVM虚拟化与Docker基础实践-第二章
KVM操作部分介绍了存储池管理、虚拟机磁盘扩展、快照克隆及资源优化等操作，包括命令行与图形化界面两种操作方式。Docker部分详细阐述了其核心组件（镜像、容器、仓库）的技术原理与优势，对比了容器与虚拟机的关键差异，并演示了Docker的安装配置过程，包括镜像加速器设置。文章通过实践操作与理论解析相结合，展示了虚拟化技术的实际应用场景与性能特点。
2026-05-22 22:53:57
1408
原创 KVM虚拟化与Docker基础实践-第一章
本文介绍了KVM虚拟化技术的实验部署过程。首先在CentOS Stream 10系统上安装KVM核心组件（qemu-kvm、libvirt等）和Cockpit管理工具，通过命令行验证安装结果。其次详细配置了桥接网络，创建br0桥接接口并绑定物理网卡，设置静态IP。然后通过Cockpit界面和命令行两种方式创建虚拟机：使用阿里云Debian镜像创建第一台虚拟机，通过Alpine Linux镜像创建第二台轻量级虚拟机。实验验证了网络连通性，NAT模式虚拟机可访问桥接网络，反之则不通，体现了网络隔离特性。
2026-05-21 22:48:01
735
原创 从零开始搭建CDH-第十三章
本文介绍了使用HBase和Phoenix创建表并进行数据操作的过程。首先通过HBase Shell创建了名为h_table的表，包含r_column列族，设置SNAPPY压缩和10个预分区Region。随后插入测试数据并验证。接着使用Phoenix创建视图映射HBase表，执行SQL查询验证数据。整个过程展示了HBase与Phoenix的集成使用，包括表创建、数据操作和查询验证等关键步骤，为大数据存储和查询提供了实践示例。
2026-05-19 09:49:56
489
原创 从零开始搭建CDH-第十二章
本文介绍了Spark服务的安装配置及数据处理流程。首先关闭HBase和Phoenix服务以释放内存，配置Hive使用Spark on YARN引擎并重启相关服务。随后演示了通过Spark-shell处理Hive数据，包括查询结构化表、数组表和映射表。第二部分使用PySpark分析MovieLens数据集，包含数据读取、Schema定义及多种聚合分析：计算用户/电影平均分、高分电影统计、活跃用户分析等。最后提到可将代码打包为.py文件通过spark-submit提交执行。
2026-05-18 21:44:19
728
原创 从零开始搭建CDH-第十一章
本文详细介绍了HBase和Phoenix的安装配置过程：1）通过CM服务安装HBase并完成重启配置；2）创建employee表并插入测试数据；3）准备Phoenix安装环境，完成Parcel分配和激活；4）配置HBase支持Phoenix，创建视图并执行SQL查询；5）设置Hue支持HBase，完成服务重启和最终验证。整个过程包含详细的命令行操作和CM界面配置步骤，最终实现了HBase与Phoenix的集成部署，并通过Hue界面验证了数据访问功能。
2026-05-18 17:27:33
736
原创 云计算基础与VMware虚拟化实践-第三章
本文摘要介绍了虚拟机克隆机配置与快照管理的完整流程。首先通过hostnamectl命令修改两台克隆机的主机名，并进行网络连通性测试。重点讲解了虚拟机快照技术，包括其核心原理（增量记录状态）、三大主要用途（故障恢复、开发测试、系统迁移）以及使用建议（合理规划、定期清理）。通过实际操作演示了快照的创建、恢复和删除过程，展示了如何利用快照实现系统状态回滚。最后通过SCP文件传输实验，验证了多节点间的文件同步能力，并再次通过快照恢复被删除的文件，直观展现了快照在系统维护中的实用价值。
2026-05-14 08:50:15
574
原创 云计算基础与VMware虚拟化实践-第二章
本文介绍了虚拟机克隆及网络配置方法。首先关闭原虚拟机进行克隆，分别创建完整克隆(Cc2)和链接克隆(Cc3)。针对链接克隆常见的网络连接问题，通过生成新MAC地址、删除旧连接并重建DHCP连接解决。随后为两台克隆机配置静态IP（Cc2:192.168.11.102，Cc3:192.168.11.103），并重启网络服务。最后通过互ping测试局域网连通性，并使用ping命令验证NAT网络访问外网功能。整个过程涵盖了克隆操作、网络故障排除及IP配置等关键步骤。
2026-05-13 21:35:41
450
原创 云计算基础与VMware虚拟化实践-第一章
本文详细介绍了在VMware Workstation上安装配置CentOS 10虚拟机的全过程。首先下载CentOS 10镜像并创建虚拟机（20G磁盘/4G内存/2核CPU），完成图形化安装并设置root密码。然后通过终端永久关闭防火墙，配置静态IP、网关和DNS，测试网络连通性。最后安装必要工具（net-tools/vim），修改主机名并更新hosts文件。所有操作均配有详细命令说明，适合初学者按步骤操作。
2026-05-13 19:08:29
1071
原创 边缘-云协同计算-第四章
云边协同并非取代关系，而是构建“云—边—端”三层架构：端负责采集与执行，边侧重实时处理与本地决策，云承担全局分析与模型训练。其优势包括低延迟、带宽优化、隐私安全、断网容错及资源高效利用，广泛应用于智慧城市、自动驾驶、工业互联网等领域。协同模式涵盖数据、智能、业务编排、应用管理、服务与资源等多维度。然而，实际落地仍面临任务调度复杂、异构标准不统一、网络不稳定、安全隐私风险、协同训练效率低及运维成本高等挑战。云边协同已成为兼顾效率与智能的核心技术生态。
2026-05-04 09:41:01
868
原创 边缘-云协同计算-第三章
本文介绍了边缘计算的基本概念及其与云计算的区别。边缘计算是一种分布式计算范式，将数据处理放在靠近数据源的本地设备或局域网中，而非集中到云端，能够实现低延迟响应。与云计算相比，边缘计算更适用于实时性要求高、隐私性强的本地场景。文章分析了边缘计算解决的关键问题，包括带宽不足、功耗过高、延迟大和数据隐私风险等，并阐述了其技术优势，如分布式计算、效率高、智能化等。最后列举了智慧工地、自动驾驶、人脸识别门禁等典型应用场景，说明边缘计算作为云计算的延伸与补充，在5G、AI和物联网时代的重要性。
2026-05-04 08:26:34
706
原创 边缘-云协同计算-第二章
《云计算瓶颈与边缘计算的兴起》摘要： 云计算虽解决了算力弹性、成本优化等七大问题，但在万物智联时代面临三大瓶颈：1)物理延迟导致实时响应不足；2)海量数据传输带宽成本过高；3)网络依赖造成稳定性风险。同时面临AI算力短缺、成本失控、安全挑战等新问题。边缘计算应运而生，通过将算力下沉至数据源头，实现毫秒级响应、本地数据处理和断网自治能力。云边协同形成新格局：云计算处理全局性业务，边缘计算负责实时响应，共同构建未来智能世界的算力基础。这种互补关系正是边缘计算存在的核心价值。
2026-05-03 21:14:18
645
原创 边缘-云协同计算-第一章
本文探讨了云计算的概念、分类及其核心优势。文章首先通过一个计算机专业学生开发毕业设计的案例，展示了云计算如何解决传统服务器部署中的成本、扩展性和延迟问题。接着详细介绍了云计算的四种分类维度：按服务方式（IaaS/PaaS/SaaS）、部署模式（公有/私有/混合云）、服务范围（内部/外部云）和资源提供者（专业服务商/自建平台），并辅以"盖房子"等通俗比喻帮助理解。最后阐述了云计算的核心概念和优势，包括按需自助、弹性扩展、成本节约和全球化部署等特点，以及促进科技创新、技术普惠等社会价值。
2026-05-02 23:29:42
825
原创 从零开始搭建CDH-第十章
摘要：本文介绍了在Hue的Hive编辑器中使用Hive复杂数据类型（ARRAY、MAP、STRUCT）的实验过程。主要内容包括：1）通过Hue界面创建包含三种复杂数据类型的表；2）准备数据文件并上传至HDFS；3）使用LOAD DATA命令加载数据；4）执行基础查询验证数据。实验帮助用户掌握Hive复杂数据类型的表创建、数据加载和查询操作，为后续数据处理工作奠定基础。（149字）
2026-04-29 08:40:55
306
原创 从零开始搭建CDH-第九章
摘要：本文介绍CDH6中Hue服务的安装配置与核心功能。安装步骤包括关闭HDFS权限、安装MySQL客户端、添加Hue服务等。Hue提供一站式WebUI管理，支持HDFS文件管理、Hive/Impala查询、Spark开发、HBase操作、Oozie工作流调度等功能，并能集成Sqoop2、Solr等组件，大幅降低Hadoop集群使用门槛，适用于数据分析、运维管理等工作场景。首次登录使用hue/123验证，通过浏览器即可完成各类大数据操作。
2026-04-29 08:40:23
515
原创 从零开始搭建CDH-第八章
本文摘要介绍了Hive复杂数据类型（Array、Map、Struct）的创建与查询操作。首先在HDFS创建目录并上传测试数据，然后分别演示：1）Array类型通过逗号分隔数组元素，实现包含查询和数组索引访问；2）Map类型使用键值对存储家庭成员关系，支持特定键值查询；3）Struct类型将IP与用户信息嵌套存储，支持字段级访问。每种类型都包含建表语句、数据加载方法和典型查询示例，如ARRAY_CONTAINS判断、Map键值提取和Struct字段访问，完整展示了Hive处理复杂数据结构的全过程。
2026-04-28 08:51:03
587
原创 从零开始搭建CDH-第七章
本文介绍了CDH安装过程中的关键步骤：首先在cdh01节点启动cloudera-scm-server和agent服务，在其他节点启动agent服务，通过日志监控启动过程，确保能访问7180端口的管理界面。配置完成后，需要以root用户修改透明大页设置，将defrag和enabled参数设为never，并在CM界面验证配置是否正确。整个安装过程可能出现延迟，需耐心等待服务启动。
2026-04-28 08:50:11
218
原创 从零开始搭建CDH-第六章
本文介绍了Cloudera Manager(CM)主从节点的安装配置过程。主要内容包括：1)在主节点cdh01安装CM Server和Agent，在从节点cdh02、cdh03安装Agent并配置连接主节点；2)配置MySQL数据库，创建scm用户并授权；3)启动CM Server服务并验证启动状态；4)通过浏览器访问CM管理界面(http://cdh01:7180)，使用默认账户admin登录；5)验证scm数据库连接并检查数据库表结构。整个安装过程涉及服务启停、日志监控和数据库配置等关键步骤。
2026-04-27 08:17:30
349
原创 从零开始搭建CDH-第五章
本文详细记录了在CDH集群环境中安装JDK和MySQL的完整步骤。首先在所有节点安装JDK并配置环境变量，然后分发MySQL连接驱动。重点介绍了在CDH01主节点上安装Cloudera Manager及其Agent的过程，包括解决与MariaDB的冲突问题。随后详细说明了MySQL的安装、配置及初始化操作，包括修改配置文件、创建必要数据库和用户授权等。最后通过验证命令确认各组件安装成功。整个流程系统性地解决了CDH集群基础环境的搭建问题。
2026-04-27 08:16:54
641
原创 从零开始搭建CDH-第四章
本文介绍了CDH集群离线安装的准备工作。首先在cdh01节点上安装配置httpd服务，将安装文件复制到/var/www/html目录，并通过浏览器验证访问。随后配置本地yum源，添加Cloudera Manager仓库信息，执行yum缓存清理和重建操作。最后将repo文件同步到cdh02和cdh03节点，并在各节点验证yum源配置是否成功。整个过程包括服务安装、文件传输、yum源配置和集群节点间的配置同步等步骤。
2026-04-26 10:36:33
620
原创 从零开始搭建CDH-第三章
本文详细介绍了CDH集群的配置过程：1）通过克隆创建cdh02和cdh03节点，调整内存配置；2）修改各节点网络配置（IP、主机名）并配置内外网hosts文件；3）建立三节点间网络连通；4）配置cdh用户和root用户的SSH免密登录；5）设置NTP时间同步，将cdh01配置为NTP服务端，其他节点定时同步。整个过程包括虚拟机配置、网络设置、权限管理和时间同步等关键步骤，为后续集群部署奠定了基础。
2026-04-26 00:23:24
761
原创 从零开始搭建CDH-第二章
本文介绍了CentOS 7系统的配置优化流程。首先使用FinalShell工具通过SSH连接虚拟机，配置阿里云yum源并安装常用工具。然后通过执行优化脚本完成系统设置：关闭防火墙和SELinux、设置时区、禁用透明大页、调整swappiness值至10、配置文件句柄和进程限制。最后验证各项配置是否生效，包括检查防火墙状态、SELinux状态、时区设置等。所有操作完成后需重启系统使配置生效。
2026-04-25 15:44:28
719
原创 从零开始搭建CDH-第一章
本文详细介绍了CentOS7虚拟机的安装及双网卡配置过程。首先通过VMWare创建虚拟机并安装CentOS7系统，设置root密码和创建管理员用户。接着配置双网卡：ens33用于外网访问（NAT模式），ens36用于内网访问（仅主机模式）。具体步骤包括添加虚拟网卡、修改网卡配置文件、设置不同IP地址和网关，最后通过重启网络服务和ping测试验证配置成功。整个过程涵盖了从系统安装到网络设置的关键环节，为后续服务器部署奠定了基础。
2026-04-25 14:05:21
378
1
原创 使用Git向GitHub上传大批量文件
本文介绍了使用Git上传文件到GitHub的完整流程：1）在本地文件夹初始化Git仓库；2）配置用户信息和生成SSH密钥；3）将密钥添加到GitHub账户；4）连接远程仓库并上传文件。关键步骤包括：git init初始化、SSH密钥生成与验证、git remote添加远程仓库、git add/commit提交更改，以及git push推送文件。操作中需注意代理设置和README文件冲突处理，成功后会显示验证信息和推送成功提示。
2026-04-24 17:09:21
590
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人