- 博客(2)
- 收藏
- 关注
RSS订阅原创 Pyspark使用
第一步：PySpark 应用程序从初始化开始，这是 PySpark 的入口点，如下所示。如果通过 pyspark 可执行文件在 PySpark shell 中运行它，则 shell 会自动在变量 spark 中为用户创建会话。第二步：数据帧创建，有多种方式，本文使用Pandas第三步：查看数据，使用DataFrame.show()来查看数据，下边代码为查看一行也可以垂直显示，当行太长可以看到 DataFrame 的架构和列名称显示数据帧的摘要将分发的数据作为 Python
2022-07-02 09:23:55
761
1
翻译 文献阅读之Design and Evaluation of Scalable Intrusion Detection System Using Machine Learning and Apache
关键词：大数据、Spark、机器学习算法、UNSW-NB15、网络入侵检测。摘要：从过去几年开始，对互联网和网络使用的依赖正在迅速增加。在依赖性更大的地方，安全风险会增加，并且众所周知，针对组织公司、政府公司甚至个人的网络通信网络攻击在过去十年中有所增加。目前，屏蔽私人数据、研究数据和维护机密性是一个关键问题。因此，有必要开发一种入侵检测系统来识别各种未知攻击。由于网络中的数据流是连续的，捕获它会产生大量数据，因此我们需要像 Apache Spark 这样的大数据技术来处理这些数据并在短时间内为我们提供信
2022-06-26 18:01:40
647
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人