- 博客(21)
- 收藏
- 关注
RSS订阅原创 TCP三次握手与四次挥手
若为两报文握手，当TCP客户的第一次TCP连接请求超时重传时发送的第二次请求被正常接收，服务器向客户发送tcp连接请求确认报文段并进入连接已建立状态，TCP客户收到tcp连接请求确认报文段并进入连接已建立状态。传输完成后通过四次挥手进入关闭状态。一段时间后TCP服务器收到第一次TCP连接请求误以为要再次进行tcp连接，向TCP客户发送tcp连接请求确认报文段并进入连接已建立状态。由于TCP客户并没有发送新的连接请求所以对此不理会。而服务器认为连接已经建立好了会一直等待客户发送数据，造成资源浪费。
2024-09-08 20:32:54
88
原创 linux下的网路配置及优化
文件的 所以得复制dhcp模板到配置文件。这是ens160中的网络设定文件。1.什么是IP ADDRESS。主机位表示网络区域里某台主机。接下来编辑一下DHCP配置文件。看到什么命字只能用什么命字。这个网址不是一个可以通信的。系统操作者对字符敏感。这样的过程叫做地址解析。5.图形方式设定ip。不建议用服务控制网络。首先安装DHCP服务。系统网络通信需要通过。于是必须要在系统中把。7.设定解析的优先级。
2024-09-08 14:00:25
867
原创 linux下的虚拟化
在设置自己的超级用户密码以及自己账户及密码之后就完成了虚拟机的安装、接下来进行reboot重新启动即可。完成之后打开客户机，并且进行安装；安装之后会出现配置软件的界面，我们按照自己的需求进行相关配置即可。到这就已经成功在Linux中安装了虚拟机，完成了虚拟化部署。以命令的方式对刚刚创建的虚拟机进行快照的拍摄。将硬件信息文件和硬盘文件复制到远程主机。这个界面会有我们需要的各种相关设置。截止这里，我们的快照也就完成了。
2024-09-07 12:25:09
165
原创 linux中如何搭建网络软件仓库
mount /iso/Rocky-9.4-x86_64-dvd.iso /var/www/html/rocky9.4/ ##设置镜像在开机时自动挂载。mkdir rocky9.4 ##在共享位置/var/www/html下建立共享目录 /rhel8.2。cd /var/www/html ##共享软件Apache：Apache的共享位置为/var/www/html。chmod +x /etc/rc.d/rc.local ##赋予该文件可执行权限。如图所示，Apache软件成功启用。
2024-09-05 15:30:21
261
原创 Linux下的软件管理
rpm -ivh ##安装参数组合 -i install -v verbose -h hash。group list --installed ##列出已安装软件组。group list --available ##列出未安装软件组。group list --hidden ##列出隐藏软件案组。-V ##检测已安装软件在系统中的文件被修改信息。list available ##列出未安装软件。list installed ##列出已安装软件。group install ##安装软件组。
2024-09-05 00:07:03
241
原创 Linux远程文件传输及优化
1.确保两台主机之间可以建立远程链接2.主机开启sshd服务3.连接远程主机二、远程传输scp [参数] [原路径] [目标路径]scp是 secure copy的缩写, scp是linux系统下基于ssh登陆进行安全的远程文件拷贝命令。linux的scp命令可以在linux服务器之间复制文件和目录。-1 强制scp命令使用协议ssh1-2 强制scp命令使用协议ssh2-4 强制scp命令只使用IPv4寻址-6 强制scp命令只使用IPv6寻址。
2024-09-02 18:46:30
799
原创 Linux中的输入输出管理
find /etc -name passwd 2> westos.out ##重定向错误输出。find /etc -name passwd 2>> westos.out ##追加错误输出。find /etc -name passwd &>> westos.out ##追加所有输出。find /etc -name passwd >> westos.out ##追加正确输出。tr ‘a-z’ ‘A-Z’ < test ##把test文件中的内容定向到tr程序中。标准正确输出编号为1。标准错误输出编号为2。
2024-08-31 15:04:03
292
原创 Linux进程管理
程序是静态的代码文件进程是指程序运行时的形态进程是程序的一个副本进程是有生命周期的（准备期，运行期，终止期） #进程&线程进程是资源调用的最小单位线程是进程的最小单位程序执行流是从上倒下贯穿运行的当进程是多任务物，cpu是多核心，多任务应该同时被每个核心处理，每个核心处理的任务叫线程线程资源是共享的.#进程状态#R(TAKS_RUNNING) ##可执行态（running，ready）#S(TASK_INTRRUPTABLE) ##可唤醒休眠。
2024-08-30 17:47:15
556
原创 Linux系统的用户管理
用户名称:用户密码:用户id：用户主组id:用户说明：用户家目录：用户默认shell。userdel -r username ##用户删除 -r 删除用户的系统配置文件。##用户的密码为 westos，确保以上用户在首次登陆时强制修改密码。/var/spool/mail/username ##用户邮箱文件。id <-------> 名称 必须要记录到文件当中用户才能存在。##/etc/login.defs 记录用户建立的默认规则。/etc/skel/.* ##用户环境配置文件模板。
2024-08-29 18:21:03
778
原创 Linux系统权限管理及应用
删除tom的acl权限。#针对目录: 如果一个目录stickyid开启，那么这个目录中的文件只能被文件所有人删除。g: group 文件拥有组， ls -l 看到的第六列信息。u: user 文件的拥有者，ls -l 看到的第五列信息。##当开启alc时，用chmod修改权限是修改mask的权限。不允许对这个文件进行任何的修改（超级用户也不行）#针对目录: 目录中新建的文件自动归属到目录的所属组中。只能读取文件内容，只能用 “echo” 追加内容。Attr 权限里的 “a” 权限和 “i” 权限。
2024-08-29 16:42:50
1008
原创 Linux文件管理
1.touch重来创建文件-t 将文件时间修改为任意时间2.mkdir创建目录3.rm删除文件或目录-f 强制删除文件-rf强制删除目录4.gedit文本编辑器若文件不存在则自动创建5.vim文本编辑器q:退出w:保存！：强制执行d:删除a:退出vimi:编辑6.cat显示文件内容-b 显示行号但不显示空行号-n 显示行号查看文件前n行，查看文件后n行8.less分页浏览9.wc文件容量统计10.file文件类型查看11.mv文件移动。
2024-08-28 19:25:47
311
原创 大数据技术之HBase
HBase 是一个开源的、分布式的、面向列的 NoSQL 数据库，它构建在 Apache Hadoop 之上，提供了高可靠性、高性能和可伸缩性的数据存储解决方案。HBase 的设计灵感来自于 Google 的 Bigtable.主要特点和功能包括面向列的存储： HBase 采用面向列的存储模型，数据按行键（Row Key）和列族（Column Family）存储，可以支持动态列。分布式存储： HBase 是基于 Hadoop 的分布式文件系统（如 HDFS）构建的，可以水平扩展以处理大规模数据集。
2024-06-23 19:56:11
1430
原创 Linux介绍
Linux是一个性能稳定、功能强大、效率高、安全且内核开源的操作系统。其内核由当时还是芬兰赫尔辛基大学学生的林纳斯·本纳第克特·托瓦兹（Linus Benedict Torvalds）于1991年10月5日首次发布。
2024-06-23 19:52:33
1498
原创 Scala介绍
Scala的设计目标是提供一种简洁、高效且可扩展的语言，用于处理复杂的应用程序，尤其是在大数据和分布式计算领域。Scala在大数据处理框架（如Apache Spark）中被广泛使用，因为它的函数式特性和对并发的支持使其成为处理大规模数据集的理想选择。随着大数据和云计算的兴起，Scala因其出色的性能和表达能力，在数据处理框架（如Apache Spark）中被广泛使用。actor模型是一种轻量级的并发模型，通过消息传递来解耦系统的各个部分，提高了系统的可伸缩性和容错性。####Scala的核心特性。
2024-06-23 19:48:42
203
原创 大语言模型简介
大语言模型（Large Language Models）是一种基于深度学习的自然语言处理（NLP）模型，用于处理和生成人类语言文本。
2024-06-21 14:49:18
147
原创 ZooKeeper入门
ZooKeeper 是一个高性能的协调服务，用于维护配置信息、命名、提供分布式同步和提供组服务等。它的核心是一个简单的数据模型，类似于传统的文件系统。
2024-06-21 14:44:38
276
原创 Spark SQL与Hive的整合
Spark SQL 是 Spark 生态系统中的一个组件，它提供了用于处理结构化和半结构化数据的编程接口。通过整合 Hive，Spark SQL 能够利用 Hive 的数据模型和元数据，从而简化大数据的处理流程。本文将详细介绍 Spark SQL 整合 Hive 的步骤、操作 Hive 的几种方式以及 Spark SQL 的基本使用和内置函数。ZooKeeper 是一个开源的分布式协调服务，它广泛应用于构建大规模分布式系统的协调框架。ZooKeeper 提供了配置管理、分布式同步、组服务等功能。
2024-06-21 14:40:16
570
原创 Scala编程基础：从安装到集合操作
Scala是一种运行在Java平台上的语言，能够编译成JVM字节码。它不仅支持面向对象的编程范式，还融入了函数式编程的特性，使其在处理复杂编程模式时更为灵活和强大。
2024-06-21 14:36:24
309
原创 热点词统计
Spark SQL查询的是DataFrame中的数据，因此需要将存有元数据信息的Dataset转为DataFrame。在DataFrame上创建一个临时视图v_person，并使用SparkSession对象执行SQL查询，代码如下。调用Dataset的map()算子将每一个元素拆分并存入。# 查看shujuDataset中的数据内容。将Dataset转为DataFrame。
2024-06-20 17:33:08
298
原创 hive配置
1.hive安装与配置进入/export/software/上传apache-hive-3.1.2-bin.tar.gz上传mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar上传mysql-connector-java-5.1.37.jar解压apache-hive-3.1.2-bin.tar.gz。
2024-06-12 11:22:49
1373
原创 电商日志分析
本项目中需要解析出：ip、url、pageId（topicId对应的页面Id）、country、province、city。日志的ETL操作（ETL：数据从来源端经过抽取（Extract）、转换（Transform）、加载（Load）至目的端的过程）网站分析：网站运营者可以通过解析访问者的IP地址，了解用户的地理分布情况，从而进行更精准的市场营销和内容分发。地理位置查询：通过IP地址查询，可以知道访问者的大致位置，便于统计和分析。广告投放：广告商可以根据用户的地理位置，进行精准的广告投放，提高广告效果。
2024-06-12 09:35:50
560
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人