保证四个小时充足睡眠-CSDN博客

原创【并行分布计算】Hadoop伪分布搭建

yarn 是一种资源管理和作业调度技术，作为Hadoop 的核心组件之一，负责将系统资源分配给在 Hadoop 集群中运行的各种应用程序，并调度要在不同集群节点上执行的任务，其基本思想是将资源管理和作业调度/监视的功能分解为单独的 daemon，总体上yarn是 master/slave 结构，在整个资源管理框架中，ResourceManager 为 master，NodeManager 是 slaver。bin/hdfs dfs -put etc/hadoop/*.xml input（2）测试。

2025-04-17 09:58:45 337

原创【并行分布计算】Hadoop完全分布搭建

解决方法：查看VMware上的DHCP设置中起始IP地址和结束IP地址范围，以及对应网关的IP地址，防止设置IP地址时选错IP地址范围。使子节点中的配置文件生效（hadoop02和hadoop03节点执行命令source /etc/profile）在Windows系统下，访问http://hadoop01:50070，查看HDFS集群状态。在Windows系统下，访问http://hadoop01:8088，查看Yarn集群状态。（1）修改hosts配置文件（包括三台主机）

2025-04-17 09:57:22 1117

原创【并行分布计算】Hadoop单机分布搭建

解决方法：查看VMware上的DHCP设置中起始IP地址和结束IP地址范围，以及对应网关的IP地址，防止设置IP地址时选错IP地址范围。该例子是搜索input文件夹内所有文件，统计所有单词出现的次数，并输出在output/wordcount文件夹里。该例子是搜索input文件夹内所有文件，找到以dfs开始后面跟着字母a-z的单词，并输出在output里。（2）将hadoop目录里的etc/hadoop目录下的所有.xml结尾的文件复制到input里。（1）创建input文件夹作为方要测试的输入文件。

2025-04-17 09:55:22 585

原创 YOLO转VOC格式，解决txt多于jpg问题

当数据集中标注的txt少于jpg时，转换代码就会报错，一个一个找出多余图片很麻烦，因此对代码进行修改解决这个问题。

2023-01-31 14:05:47 343

原创 CTF学习之信息搜集

CTF基础信息搜集

2022-09-25 08:12:40 985

原创【脑图】计算机组成原理第一章

计算机组成原理第一章脑图

2022-09-18 17:51:48 264

原创【网安自学】XSS漏洞防御

网络安全之XSS攻击

2022-09-10 17:29:06 1444

原创【网安基础之Linux系统Ⅸ】服务器搭建总结

Linux服务器搭建总结

2022-09-09 16:00:11 1152

原创【网安基础之Linux系统Ⅷ】数据库Mysql

CentOS7操作系统的数据库Mysql运用

2022-09-09 15:58:10 465

原创【网安基础之Linux系统Ⅶ】Nginx服务器

Nginx服务器搭建步骤

2022-09-09 15:55:01 1307

原创【网安基础之Linux系统Ⅵ】DNS服务器和Apache服务器搭建

DNS服务器和Apache服务器搭建

2022-09-09 15:53:31 1579

原创【网安基础之Linux系统Ⅳ】Linux系统运维

Linux系统运维

2022-09-09 15:51:48 314

原创【网安基础之Linux系统Ⅳ】Linux远程登录和用户管理

Linux远程登录和用户管理

2022-09-09 15:50:17 145

原创【网安基础之Linux系统Ⅲ】网络&服务&软件管理

Linux网络&服务&软件管理

2022-09-07 10:49:51 638

原创 CentOS7 Linux系统安装

CentOS7 Linux系统安装

2022-09-07 10:44:17 277

原创【网安基础之Linux系统Ⅰ】系统基础知识

【网安基础之Linux系统Ⅰ】系统基础知识

2022-09-07 10:42:18 882

原创【网安基础之Linux系统Ⅱ】系统基础命令

系统性的学习linux基础命令学习

2022-09-07 10:37:11 193

原创冒泡排序算法及其过程代码

冒泡排序算法C语言实现

2022-09-01 22:00:39 225

原创【C语言数据结构-插入排序算法】

理解并使用C语言实现三种插入排序算法

2022-09-01 00:13:26 2503

原创安卓开发（如何使用php作为后端语言）

【代码】安卓开发（如何使用php作为后端语言）

2022-08-20 18:56:57 877

原创 SQL注入代码实践（盲注-获取字段中内容【数字型】）

【代码】SQL注入代码实践（盲注-获取字段中内容【数字型】）

2022-08-20 18:51:50 280

原创 SQL注入代码实践（盲注-获取表名长度【字符型】）

【代码】SQL注入代码实践（盲注-获取表名长度【字符型】）

2022-08-20 18:50:47 432

原创 SQL注入代码实践（盲注-获取字段名长度【数字型】）

【代码】SQL注入代码实践（盲注-获取字段名长度【数字型】）

2022-08-20 18:50:13 245

原创 SQL注入代码实践（盲注-获取字段名长度【字符型】）

【代码】SQL注入代码实践（盲注-获取字段名长度【字符型】）

2022-08-20 18:47:32 279

原创 SQL注入代码实践（盲注-获取数据库名长度【数字型】）

【代码】SQL注入代码实践（盲注-获取数据库名长度【数字型】）

2022-08-20 18:45:31 529

原创 SQL注入代码实践（盲注-获取数据库名长度【字符型】）

【代码】SQL注入代码实践（盲注-获取数据库名长度【字符型】）

2022-08-20 18:44:23 473

原创 SQL注入代码实践（盲注-获取数据库名长度【数值型】）

【代码】SQL注入代码实践（盲注-获取数据库名长度【数值型】）

2022-08-20 18:41:56 1158

原创数据结构【队列-使用链式存储实现队列】

C语言代码实现链式队列

2022-07-25 22:11:36 1230

原创数据结构【队列-使用顺序存储实现队列】

C语言如何实现顺序存储的队列

2022-07-25 21:12:39 1146

原创数据结构（实现不带头结点的链栈）

数据结构中实现不带头结点的链栈

2022-07-24 20:03:05 1796

原创数据结构（共享栈的实现）

数据结构中共享栈如何实现？

2022-07-24 17:51:59 762

原创数据结构（顺序栈的实现）

数据结构顺序栈如何实现？

2022-07-24 16:58:00 240

原创数据结构（使用头插法实现双链表）

为什么使用双链表？

2022-07-20 17:53:15 1485 3

原创数据结构（使用头插法实现单链表）

1.线性表的链式存储就是单链表，单链表通过一组任意的存储单元来存储线性表的数据元素（逻辑相邻，存储离散），单链表对于每一个链表结点，不但存储自身数据，还开辟了存储一个指向后继结点的指针。优点解决了顺序表需要大量连续存储单元的问题，单链表的数据元素离散的分布在存储空间中。3.建立单链表可以使用头插法和尾插法两种操作，其中头插法创建的单链表数据有逆置效果。4.创建单链表可以使用头结点方便编码，也可以不使用头结点，本代码使用了头结点。4.按位查找（两种方法的区别在于返回值）1.使用头插法建立单链表。......

2022-07-20 15:43:22 7667 1

原创数据结构（使用尾插法实现单链表）

1.线性表的链式存储就是单链表，单链表通过一组任意的存储单元来存储线性表的数据元素（逻辑相邻，存储离散），单链表对于每一个链表结点，不但存储自身数据，还开辟了存储一个指向后继结点的指针。优点解决了顺序表需要大量连续存储单元的问题，单链表的数据元素离散的分布在存储空间中。3.建立单链表可以使用头插法和尾插法两种操作，其中头插法创建的单链表数据有逆置效果。4.创建单链表可以使用头结点方便编码，也可以不使用头结点，本代码使用了头结点。缺点需要额外的存储空间存放指针域。...

2022-07-20 15:08:42 4046

原创数据结构（使用动态分配实现顺序表）

在动态分配时，存储数组的空间实在程序执行的过程中通过动态存储分配语句分配的，一旦数据空间占满，就开辟一块更大的存储空间，用来代替原本的存储空间，这样就可以达到扩充存储数组空间的目的，不需要一次性给线性表分配所有空间。1.线性表的定义（逻辑结构）具有相同数据类型的n（n>=0）的有限个数的数据元素的有序排列。3.线性表的存储结构顺序存储（产生了顺序表），链式存储（产生了链表）2.线性表的运算（操作）创建销毁，增删改查。这里使用的是malloc函数进行动态分配。使用动态分配是实现顺序表的一种方式。...

2022-07-19 22:03:43 979

原创数据结构（使用静态数组实现顺序表）

数据结构（使用静态数组实现顺序表）

2022-07-18 17:41:45 1516 1

【大数据技术】Hadoop单机环境搭建及配置：CentOS7下Hadoop本地模式安装与测试

内容概要：本文详细介绍了在本地环境中搭建Hadoop单机模式的步骤。首先，通过VMware Workstation虚拟机、CentOS 7操作系统和MobaXterm远程连接工具构建环境。然后，依次完成了修改IP地址、主机名配置、网络映射、SSH服务安装、防火墙关闭、JDK安装与配置、Hadoop安装与配置等一系列操作。最后，通过两个实例（grep和wordcount）测试了Hadoop在本地模式下的运行情况，确保所有配置正确无误。适合人群：具有一定Linux基础和Hadoop入门知识的数据工程师或开发者，尤其是希望在本地环境中搭建和测试Hadoop集群的初学者。使用场景及目标：①为后续分布式计算提供稳定的本地开发环境；②掌握Hadoop的基本配置和命令行操作；③熟悉Hadoop在本地模式下执行简单任务的过程。阅读建议：由于涉及较多命令行操作和配置文件修改，建议读者在实际操作前仔细阅读每一步骤，并根据自己的环境调整相关参数。遇到问题时，可以通过查看日志文件或参考官方文档进行排错。同时，建议读者在实践中逐步理解每个配置项的作用，以加深对Hadoop的理解。

2025-04-17

【大数据技术】Hadoop全分布模式搭建与配置：网络设置、SSH免密登录及集群部署详解

内容概要：本文详细介绍了Hadoop全分布模式的搭建步骤。首先，通过修改机器的IP地址分配方式为固定IP，确保所有机器处于同一局域网中，并解决了因IP设置不当导致的网络连接问题。接着，通过修改主机名、配置网络映射文件（/etc/hosts）、重启网络服务、安装并启动SSH服务、关闭防火墙等一系列操作，确保各节点间的通信畅通。然后，分别在三台主机上配置了免密登录，并创建了必要的文件夹结构用于存放数据、服务器配置和软件包。随后，安装并配置了JDK和Hadoop环境，包括设置环境变量、修改Hadoop配置文件（如core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml等），并将主节点配置同步到子节点。最后，通过格式化HDFS文件系统、启动HDFS和YARN服务进程，验证了集群的正常运行，并通过Web界面查看了集群状态。适合人群：具备一定Linux基础，对分布式计算和大数据处理有一定了解的技术人员，特别是有意向搭建和管理Hadoop集群的运维人员和开发人员。使用场景及目标：①学习如何在多台机器上搭建Hadoop全分布模式，确保各节点间能够正常通信；②掌握Hadoop集群的基本配置和环境搭建，包括JDK和Hadoop的安装与配置；③熟悉HDFS和YARN的服务启动流程，以及如何通过Web界面监控集群状态。阅读建议：由于Hadoop集群的搭建涉及多个步骤和细节，建议读者按照文档提供的顺序逐步操作，并在每一步骤完成后进行相应的验证，确保每个环节都能顺利进行。同时，建议读者在实际操作过程中结合自己的网络环境和硬件条件，灵活调整相关配置。

2025-04-17

【大数据技术】Hadoop伪分布式环境搭建与配置：核心组件设置及运行测试Hadoop伪分布式

内容概要：本文详细介绍了Hadoop伪分布式模式的搭建步骤。首先修改core-site.xml，设置HDFS地址和临时目录路径，确保数据不丢失；接着修改hdfs-site.xml，设定HDFS存储的临时备份数量为1；再修改hadoop-env.sh，配置Java环境变量；然后配置无密码SSH连接，包括检查sshd服务状态、localhost连接和配置密钥认证连接；之后配置相关文件如core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml，分别设定HDFS、MapReduce和YARN的相关参数；最后进行格式化、启动Hadoop进程并进行测试，包括生成输入目录、上传文件和获取输出。适合人群：有一定Linux和Hadoop基础，希望深入了解Hadoop伪分布式环境配置的技术人员或研究人员。使用场景及目标：①为单机环境下学习和测试Hadoop提供完整的配置指南；②帮助用户理解Hadoop各个配置文件的作用及其参数设置；③掌握Hadoop伪分布式模式下的启动、停止及简单测试操作。其他说明：本文提供的步骤适用于Hadoop 2.7.6版本，在实际操作中需根据具体环境调整路径和参数。建议在实验环境中按照步骤逐一操作，遇到问题时参考官方文档或社区资源进行排错。

2025-04-17

php练手项目论坛系统（包括用户端和管理员端）

php的练手项目，包括html，js和css页面。配合mysql和apache运行。

2022-09-01

汽车租赁后台管理系统（PHP+mysql+apache）

使用php语言实现的汽车管理系统后台，我本来的前端是用安卓开发的手机端，用于学习前后端分离的小项目

2022-09-01

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人