xj30-CSDN博客

原创 PySpark MLlib 逻辑回归（Hadoop3.0）

本实验旨在通过PySpark的MLlib库实现逻辑回归算法，以了解其原理并应用于分类任务。逻辑回归是一种分类算法，通过拟合逻辑函数预测事件发生的概率，输出值在0到1之间。实验使用包含14个特征和2个标签的样例数据，通过PySpark进行数据处理和模型训练。实验步骤包括环境配置、数据下载与上传、模型训练与评估。最终，通过训练的逻辑回归模型对测试数据进行预测，并评估模型的准确性，输出精确率-召回率曲线下面积（PR）和ROC曲线下面积（ROC）。实验结果表明，逻辑回归在分类任务中具有较好的性能。

2025-04-21 22:38:22 1174

原创 PySpark Streaming WordCount（Hadoop3.0）

STEP4：新增三个环境变量，对应内容，第一个Name是SPARK_HOME，其Value是你对应安装SPARK的绝对路径（注，不包括bin），第二个Name是PYTHONPATH，其Value是”/apps/spark/python”，第三个Name是JAVA_HOME，其Value是”/apps/java”。首先配置应用程序，传递两个参数，第一个参数为，集群的地址，第二个参数为，该应用程序的名称。2.新建python项目，名为：pyspark3，这里的解释器用的是3.5。

2025-04-21 22:04:04 370

原创 Spark Java API & Spark Scala API 操作（Hadoop3.0）

对于Spark中的API来说，它支持的语言有Scala、Java和Python，由于Scala是Spark的原生语言，各种新特性肯定是Scala最先支持的，Scala语言的优势在于语法丰富且代码简洁，开发效率高。Spark的核心就是RDD，所有在RDD上的操作会被运行在Cluster上，Driver程序启动很多Workers，Workers在（分布式）文件系统中读取数据后转化为RDD（弹性分布式数据集），然后对RDD在内存中进行缓存和计算。

2025-04-21 22:00:09 504

原创 Spark SQL 创建表，查询数据（Hadoop3.0）

4.首先，在HDFS上新建/myspark5目录，然后将/data/spark5目录下的orders与order_items文件，上传到HDFS的/myspark5目录下。16.使用Ctrl+C退出spark-sql模式，切换到/data/spark5/目录下，导出表查询结果到results.txt文件中。在Linux Shell中切换到/data/spark5/目录下，新建CheckSpark1文件。在Linux Shell中切换到/data/spark5/目录下，新建CheckSpark2文件。

2025-04-21 21:48:16 260

原创 Spark Shell 操作（Hadoop3.0）

2.将/data/spark3/sort/goods_visit文件，上传到HDFS上的/spark3/sort/目录下。2.在HDFS上创建目录/myspark3/avg，并将Linux/data/spark3/avg目录下的数据，上传到HDFS的/myspark3/avg。2.在HDFS上创建/myspark3/join目录，并将Linux上/data/spark3/join目录下的数据，上传到HDFS。1.在Linux上，创建/data/spark3/wordcount目录，用于存储实验所需的数据。

2025-04-21 20:12:07 399

原创永恒之蓝复现

使用模块3 对目标主机进行扫描，我们可以利用options先看一下选项，RHOSTS为目标主机，利用set 命令设置，之后就可以run了。我们可以看到共扫到了4个存活主机，并扫到192.168.233.131主机开启了139和445端口。网段扫描—>获取IP—>漏洞扫描—>发现存在漏洞—>攻击拿shell—>提权。我们已经成功利用了此漏洞，截屏看一下对方主机限制界面，保存到了桌面。我们发现存在，ms17-010，进行exp。使用模块0，并查看选项，设置RHOSTS。设置成功后，我们run。

2024-12-03 15:44:59 308

原创基于Facenet和MTCNN的人脸识别系统（UI，python）

因为在现实生活中，在进行人脸识别时，会受到多种影响因素，如光线、遮挡、口罩等，这些因素都可能导致人脸识别的准确率出现下降。另外一个问题是，一般的人脸识别算法并不能识别所有的人脸，在不同的光照条件下，或者戴口罩情况下，就会影响人脸识别的准确率。本系统亮点在于使用FaceNet算法训练出了戴口罩人脸识别模型，可以实现是否佩戴口罩的识别及已注册人脸在佩戴口罩时的身份识别，达到高准确度快速识别。根据人脸识别中存在的特征，建立可识别人的面部特征数据库，进行视觉数据处理，对图像特征进行识别。

2024-08-07 17:54:32 436 1

原创基于预训练模型Bart 的中文文本摘要生成 Transformers 附完整教程

本项目在huggingface上的fnlp/bart-base-chinese预训练模型基础上。包括下载已经训练好的模型，部署服务，也包括借鉴代码完整跑一边训练流程。模型数据集：huggingface/nlpcc_data.json。完成模型训练，实现微调模型Best输出，实现中文文本摘要生成，完成可视化界面输出。

2024-08-06 16:32:59 1673

原创医院信息管理系统(慢病管理)

基于若依前后端分离版基础框架实现的医院患者信息管理系统（慢病管理），主要包含系统管理，科室配置，用户配置，患者配置，药品进销存，看病就诊，收费管理，患者就诊问询，数据统计，慢病管理，医生每日待办等核心模块。实现医院挂号，患者就诊，慢病管理，患者病例库管理，实现患者病例本地导入，对接医院门诊挂号系统，完成患者就诊服务等功能，实现分科室患者就诊，可用于医院管理系统

2024-08-06 10:46:16 1180