- 博客(59)
- 收藏
- 关注
RSS订阅原创 虚拟机的IP地址消失了怎么办？
✅ 核心故障定位network.service启动失败 + RTNETLINK answers: File exists 是 CentOS 静态 IP 下的经典冲突问题，根源是：系统中已有其他进程（如 NetworkManager、dhclient）占用了网卡的 IP / 路由配置，network服务启动时无法重复绑定静态 IP，导致报错。哪怕你配置了ONBOOT=yes，只要有冲突，网卡就会卡在DOWN状态，IP 也无法加载。🚀 一键修复（直接复制执行，1 分钟解决冲突）
2025-12-25 20:31:40
325
原创 任务一- 2.子任务二：Hadoop完全分布式安装配置
本文介绍了Hadoop 3.2.1完全分布式环境的安装配置过程。主要内容包括：1）在主节点解压Hadoop安装包；2）配置6个核心配置文件(hadoop-env.sh、core-site.xml等)；3）创建必要的Hadoop数据目录；4）将配置好的Hadoop分发到从节点；5）配置环境变量；6）格式化集群并启动HDFS、YARN和历史服务。文中提供了详细的配置参数说明和操作命令，并展示了通过jps命令验证各节点服务启动情况的结果。该配置实现了2个数据副本，关闭了权限检查，并设置了必要的Web UI访问端口
2025-12-18 08:47:14
1247
1
原创 任务一-1.子任务一：基础环境准备
从本地上传文件到虚拟机使用到软件有Xshell，XFTP，Filezilla，需要主机先去官网下载文件（具体配置及使用参考。下载 JDK（以jdk-8u361-linux-x64.tar.gz为例，需提前从 Oracle 官网或镜像站下载）；Hadoop 等分布式框架依赖 Java，需安装 JDK（推荐 JDK 8）；2. 将master的配置文件。每个节点都需要安装JDK。（1）上传 JDK 到。
2025-12-18 08:46:28
493
原创 jdk配置完之后java -version还是默认的jdk版本如何更改
jdk安装已经成功，JAVA_HOME、PATH的环境变量也已经在/etc/profile文件下面配置成功，并且配置文件已经生效。
2025-12-15 20:46:03
953
原创 FileZilla连接到虚拟机
摘要： 本文介绍使用FileZilla连接虚拟机的详细步骤。首先确保虚拟机与主机能互相ping通，并关闭双方防火墙。安装FileZilla后，切换虚拟机至root用户，打开软件输入主机IP、用户名及密码完成连接。通过图文展示了安装界面和连接配置过程，帮助用户实现文件传输功能。
2025-12-12 10:47:47
296
原创 04-模块一平台搭建与运维
本文档详细介绍了大数据平台搭建与运维的完整流程。主要内容包括：1）基础环境准备，重点讲解了JDK 8的安装配置、环境变量设置及验证方法；2）Hadoop完全分布式集群的安装配置；3）MySQL、Hive、Flume等组件的安装部署。文档采用分步骤命令行操作方式，配合截图说明，涵盖了软件目录创建、文件解压、环境变量配置等关键环节。后续模块还涉及数据库配置维护、数据获取清洗、统计分析以及可视化等大数据处理全流程任务。每个步骤都提供了详细的操作指南和注意事项，为大数据平台搭建提供了完整的技术参考。
2025-12-01 08:42:48
850
原创 SSH 免密登录的配置是用户隔离的
摘要：SSH免密登录配置具有用户隔离性，root用户的配置不会自动应用于普通用户（如hadoop01）。要在普通用户下实现免密登录，需在该用户下生成密钥对（ssh-keygen），将公钥分发到各节点（ssh-copy-id），并确保.ssh目录权限正确（700）。验证时需以普通用户身份测试登录（ssh hadoop01@hadoop2）。核心原则是SSH配置按用户独立生效，root与普通用户互不影响。
2025-11-28 09:16:45
992
原创 02-集群节点准备：克隆虚拟机
本文介绍了搭建三节点集群环境的详细步骤：1）通过克隆或独立创建三台虚拟机（hadoop01-03）；2）永久关闭防火墙（systemctl stop/disable firewalld）；3）检查并配置SSH服务；4）为每台虚拟机生成新MAC地址并修改IP（需确保同网段互通）；5）分别设置主机名；6）重启网络服务验证配置。最终要求三节点能互相ping通、SSH可远程登录且防火墙处于关闭状态。文中包含具体命令和操作截图，适用于单机克隆或多主机协作的集群搭建场景。
2025-11-27 11:38:19
377
原创 4．子任务四：Hive 安装配置
（1） 将Hive 3.1.2的安装包解压到/root/software目录下；（2） 在“/etc/profile”文件中配置Hive环境变量HIVE_HOME和PATH的值，并让配置文件立即生效；（3） 查看Hive版本，检测Hive环境变量是否设置成功；（4） 切换到目录下，将hive-env.sh.template文件复制一份并重命名为hive-env.sh；
2025-11-12 23:21:19
909
原创 搭建hadoop集群
完成虚拟机环境（网络配置、免密登录、JDK 安装）后，下一步确实可以开始搭建 Hadoop 集群了。Hadoop 集群的搭建、部署与管理需要按步骤推进，以下是详细流程和关键操作，帮助你顺利完成.
2025-11-04 16:15:40
930
原创 03-虚拟机之间配置免密登录（CentOS）
本文详细介绍了在多节点Hadoop集群中配置SSH免密登录的步骤。首先确保三台虚拟机（node1、node2、node3）IP固定且能互相通信，并在/etc/hosts中正确映射主机名。然后分别在每个节点生成RSA密钥对，推荐采用"合并后分发"方式：先在node1合并所有公钥到authorized_keys文件，再分发到其他节点。若非root用户操作需额外修复文件权限（chmod 700 ~/.ssh和600 authorized_keys）。最后通过节点间SSH互连测试验证配置，成功则
2025-10-27 20:23:08
678
原创 搭建虚拟机完全分布式（Centos）
在搭建完全分布式集群前，通常需要先在一台基础节点（可作为主节点或模板节点） 上完成基础环境配置，后续再通过克隆或批量操作同步到其他节点。
2025-10-24 16:58:42
974
原创 01-安装VMware & 虚拟机 超详细一篇就够
本文详细介绍了VMware虚拟机的安装及CentOS 7系统的配置过程。安装时需加载ISO镜像，选择中文语言和时区设置。整个过程包含大量图文指引，帮助用户顺利完成虚拟化环境的搭建和Linux系统的安装。
2025-10-11 16:56:19
1497
原创 学习率调整
这个函数根据训练周期动态调整学习率，先进行线性预热，然后使用余弦退火策略。这样可以在初期稳定模型的训练，避免较大学习率带来的不稳定性，并在后期逐渐减小学习率，提高模型的收敛效果。，则使用余弦退火函数来调整学习率。线性增加，从 0 增加到初始学习率。
2024-06-01 16:47:01
1134
1
原创 json转yolo格式，json转boxes（x1, y1, x2, y2）格式
json格式转yolo数据格式用于训练yolojson格式转（x1,y1, x2,y2）格式
2023-12-07 21:31:20
2079
原创 Linux常用命令
grep(global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来) 是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。这个命令，可以优先指定这个GPU，使用第0个GPU（代码中的其他地方不能指定其他的cuda设备）会报错。查看CPU信息：grep CPU /proc/cpuinfo。在运行python代码的时候，在编译器之前加入。Linux中 / 表示根目录。
2023-10-19 17:48:02
193
原创 快速搞定学术论文中的三线表
（1）能够掌握相关的关键信息，获取表格的条件，包括实验条件，理论条件，参数选取等。（2）能够完全复现图片，或表格中显示的每一个结果。（3）可以再次提及，获得每一个结果或每一组结果所需要的条件和变量。因此在进行学术论文撰写时，有效的实验表格当然是必不可少的，它可以使得文章篇幅更加紧凑、论述更加清晰。本次分享了如何快速搞定学术论文中的三线表，喜欢的话可以关注我的CSDN，后续将推出更多的写作技巧。在制作图表时需要仔细考虑并合理选择最适合的方式：思考研究结果中最重要的方面，设计表现方式。（记录论文写作的作业）
2023-04-26 22:16:57
2015
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人