- 博客(8)
- 收藏
- 关注
RSS订阅原创 Spark大数据配置集群
Spark应用最终是以提交集群任务的方式运行的，因此在提交应用之前需要先启动集群，并查看集群状态，确保集群处于正常的可使用状态。值得注意的是，Scala、Java和Spark三者之间是有版本搭配限制的，可以根据官方文档提供的组合进行下载，否则会出现启动异常。安装的软件存在于 Ubuntu中配置的源服务器中,在源服务器中存储了大量的软件镜像,类似于一个软件应用商店，通过该命令，就可以通过网络从远程的应用商店中下载并安装SSH。在启动的时候如果出现需要输入密码的情况，这种情况则是因为部分文件没有设置权限。
2024-09-14 02:05:52
985
原创 Spark大数据技术运行原理
这些应用程序来自Spark的不同组件，如Sparkshell.Spark Submit 交互式批处理、Spark Streaming实时流处理、Spark SQL快速查询、MLlib 机器学习、GraphX图处理等。(2)Spark Streaming是Spark API核心的一个存在可达到超高通量的扩展，可以处理实时数据流的数据并进行容错。Hadoop是一个分布式数据基础设施，它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，这意味着我们不需要购买和维护昂贵的服务器硬件。
2024-09-05 02:49:20
1051
原创 开源欧拉系统的磁盘格式化及挂载及swap分区配置
Linux系统交换空间(swap)就是磁盘上的一块区域，可以是一个分区，也可以是一个文件,简单的说就是当物理内存资源紧张时，将内存中不常访问的资源保存到预先设定的硬盘上的交换空间，来释放该资源占用的内存，这样系统就有更多的物理内存为各个进程服务，而当系统需要访问swap上存储的内容时，再将swap上的数据加载到内存中。Linux有两种形式的交换空间:交换分区和交换文件。格式化是指对磁盘或磁盘中的分区进行初始化的一种操作，将分区格式化成不同的文件系统，这种操作通常会导致现有的磁盘或分区中所有的文件被清除。
2024-08-25 01:53:58
1310
原创 关于VMWare中的OpenEuler的-parted分区工具
parted是另一款在linux下常用的分区软件，可支持创建2T以上磁盘分区，相对于fdisk它的使用更加方便，同时提供了动态调整分区大小的功能。command:parted指令，如果没有设置指令，则parted将会进入交互模式。磁盘格式变成gpt的格式：parted /dev/sdb mklabel gpt。如:parted /dev/sdb #交互式命令参数如表格所示。device:磁盘设备名称，如/dev/sda。如:parted /dev/sdb。-v:显示parted的版本信息。
2024-08-25 00:35:12
245
原创 OpenEuler磁盘分区方案及fdisk使用
IDE接口硬盘最多只能有63(其中扩展分区不能直接使用所以不计算)个分区，其中主分区最多4个，逻辑分区最多60个。N:代表分区，前4个分区(主分区或扩展分区)用数字1到4，逻辑分区从5开始，例如/dev/hda3是第一个DE磁盘上第二个主分区或扩展分区;扩展分区：扩展分区与逻辑分区是为了突破分区表中只能保存4个分区的限制而出现的，扩展分区不能直接使用，需要在扩展分区内划分一个或多个逻辑分区后才能便用。逻辑分区：在扩展分区上面，可以创建多个逻辑分区，硬逻辑分区是盘上一块连续的区域，它是扩展分区的组成部分。
2024-08-21 01:46:12
992
原创 基于kali Linux的msfconsole在线安装和使用
Msf, 全称Metasploit Framework，是一个广泛使用的开源渗透测试框架。它主要用于网络安全评估和漏洞利用，旨在帮助安全专业人员发现并利用系统中的安全漏洞。Msf包含了一系列工具，如exploits（漏洞利用模块）、auxiliary modules（辅助功能，比如信息收集）、payloads（攻击载荷）以及post-exploitation modules（ exploitation后的操作），以便在找到漏洞后完成整个攻击链。
2024-07-28 00:55:59
476
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人