【头歌实训】
文章平均质量分 93
【头歌实训】
撕得失败的标签
就算累得快成二维码了,扫一扫也能找到那么一丢丢生活里的幽默
展开
-
MapReduce 实践题:Web 访问日志分析与异常检测
你被要求设计和实现一个基于 MapReduce 的大规模 Web 访问日志分析与异常检测系统。该系统的目标是从每日数百万条访问日志中提取有用的信息,并检测出潜在的异常访问行为。原创 2024-06-23 19:02:46 · 1095 阅读 · 0 评论 -
【头歌实训】kafka-入门篇
第1关:kafka - 初体验 第2关:生产者 (Producer )- 简单模式 第3关:消费者( Consumer)- 自动提交偏移量 第4关:消费者( CoTopic 的消息会复制(不是真的复制,是概念上的)到所有的 CG ,但每个 Partion 只会把消息发给该 CG 中的一个 Consumer。Partition :为了实现扩展性,一个非常大的 Topic 可以分布到多个Broker(即服务器)上,一个 Topic 可以分为多个 Partition ,每个 Partition 是一个有序的队列原创 2023-12-28 22:11:24 · 4371 阅读 · 2 评论 -
【头歌实训】PySpark Streaming 数据源
第1关:MySQL 数据源,第2关:Kafka 数据源,在PySpark中支持通过JDBC的方式连接到其他数据库获取数据生成DataFrame,同样可以使用Spark SQL去读写数据库。除了JDBC 外,还支持ParquetJSONHive等。Kafka 就是一个分布式的用于消息存储的发布订阅模式的消息队列。一般用于大数据的流式处理中。具有高水平扩展性、高容错性、访问速度快、分布式等特性,主要应用场景是日志收集系统和消息系统。但是随着 Kafka 的快速发展,也被应用于高性能数据管道、数据集成、流分析等。原创 2023-12-27 20:38:02 · 1675 阅读 · 0 评论 -
【头歌实训】PySpark Streaming 入门
第1关:SparkStreaming 基础与套接字流第2关:文件流第3关:RDDSpark Streaming 为 Spark 提供了可拓展、高吞吐、容错的流计算能力。Spark Streaming 可整合多种输入数据源,如 Kafka、Flume、HDFS,甚至是普通的 TCP 套接字。经处理后的数据可存储至文件系统、数据库,或显示在仪表盘里。Spark Streaming 的基本原理是将实时输入数据流以时间片(秒级)为单位进行拆分,然后经 Spark 引擎以类似批处理的方式处理每个时间片数据。原创 2023-12-27 17:10:23 · 3439 阅读 · 2 评论 -
【头歌实训】Spark MLlib ( Python 版 )
Spark MLlib ( Python 版 )第1关:基本统计 第2关:回归 第3关:分类第4关:协同过滤 第5关:聚类 第6关:降维第7关:特征提取与转化第8关:频繁模式挖掘第9关:评估指标原创 2023-12-27 16:48:47 · 1827 阅读 · 0 评论 -
【头歌实训】Spark 完全分布式的安装和部署(新)
把 master 节点的 spark 安装包分发到 slave1 节点和 slave2 节点(通过 scp 命令)。1.Standalone:Spark 自带的简单群资源管理器,安装较为简单,不需要依赖 Hadoop;接下来来查看下 slave1 节点连接密码,首先点击 slave1 命令行窗口,再点击右上角。,因为我们是搭建完全分布式,所以在设置映射的时候需要设置 3 台虚拟机的映射关系。在 master 复制 master、slave1、slave2 的公钥。输入 jps 命令查看。原创 2023-12-27 08:34:27 · 4461 阅读 · 2 评论 -
【头歌实训】Spark 完全分布式的安装和部署
把 evassh 服务器的 /usr/local 目录下的 spark 安装包通过 SCP 命令上传到 master 虚拟服务器的 /usr/local 目录下。Hadoop 集群在启动脚本时,会去启动各个节点,此过程是通过 SSH 去连接的,为了避免启动过程输入密码,需要配置免密登录。把 master 节点的 spark 安装包分发到 slave1 节点和 slave2 节点(通过 scp 命令)。2、 在 master 复制 master、slave1、slave2 的公钥。输入 jps 命令查看。原创 2023-12-27 08:29:40 · 3660 阅读 · 0 评论 -
【头歌实训】分布式文件系统 HDFS
方法能够为需要写入且当前不存在的目录创建父目录,即就算传入的路径是不存在的,该方法也会为你创建一个目录,而不会报错。接下来我们来了解一下一些常用的文件系统操作,例如:读取文件,新建目录,移动文件,删除数据,列出目录,等等。环境非常消耗资源,所以你如果一段时间不在线,后台会销毁你的镜像,之前的数据会丢失(你的代码不会丢失),这个时候需要你重新启动。,记录着本货架的商品,每当货架中的货物有变动,这个清单也会一起变,并且还会记录在主清单中。台机器,然后将他们连接起来,让他们的数据可以共享,这不就可以了吗?原创 2023-12-04 12:45:06 · 4310 阅读 · 0 评论 -
【头歌实训】SpringBoot 整合 Neo4j 实战
Spring是开源框架,很容易开发基于企业 Java 的应用程序。它用Java语言编写。Spring ORM如果我们观察任何基于 Java 的 n 层应用程序,我们通常会找到以下层。层次结构这里DAO(数据访问对象)层负责实现数据库操作。我们需要为每个实体(Say one Database Table)实现两套工件。如果我们在我们的数据库中有一个PROFILE表,那么我们需要提供一个 Profile Entity 类(POJO)。然后我们需要提供一个 DAO 接口和一个 DAO 实现类。原创 2023-11-26 16:38:06 · 1357 阅读 · 0 评论 -
【头歌实训】使用 JDBC 连接 Neo4j
会出现一个向导界面,在第二个页面点击一个小播放键即可载入数据。这些 jar 包在本实训中已经为大家准备好了,所以大家不用去再添加 jar 包。: 主要用于查询数据,需要写入查询语句,进行查询。可以进行创建和删除节点、关系,返回的为布尔类型的数据,返回。本关任务:使用 JDBC 进行 Neo4j 数据库查询。将这两个 jar 包导入到所需要的项目中就可以了。需要修改为你的 Neo4j 的用户名和密码。红色部分为日志,黑色部分为查询出来的结果集。结果集,获取数据需要进行循环获取。获取查询的字段数据。原创 2023-11-26 13:58:37 · 510 阅读 · 1 评论 -
【头歌实训】Neo4j 程序开发 JavaAPI 嵌入式开发模式
创建节点之间的关系并设置它的属性。本关任务:使用 Java 创建一个新的 Neo4j 数据库,并且建立两个节点的关系。中间的区域写的是需要提交任务,如:创建节点、创建关系等,增删改查的内容。要创建节点,我们需要标签名称。要创建关系,我们需要关系类型。首先需要将创建得 Neo4j 数据库,移动到 Neo4j 安装目录下的。启动 Neo4j 就可以看到我们创建的 Neo4j 数据库了。目录,该目录下的所有 jar 包,就是我们所需要的依赖。修改为所创建的 Neo4j 数据库的名称。类型的数据,为数据库的位置。原创 2023-11-25 20:09:08 · 482 阅读 · 0 评论 -
【头歌实训】MongoDB 实验——数据备份和恢复
为了完成本关任务,你需要掌握: 1.掌握 mongorestore 恢复工具的参数含义;为了完成本关任务,你需要掌握: 1.掌握 mongodump 备份工具的参数含义;根据提示,在右侧命令行进行操作(以下均在默认端口为27017的客户端进行,无用户和密码;全库备份(如果数据库未设置用户和密码,可以省略 -uroot -proot 参数)备份工具同导入导出工具类似,都是在命令行进行操作,无需进入客户端。全库备份中恢复单库(基于之前的全库备份)本关任务:按照编程要求备份数据库。恢复 test 库。原创 2023-11-25 10:57:53 · 2729 阅读 · 0 评论 -
【头歌实训】Neo4j 数据库管理 数据备份与恢复
第1关:数据备份与恢复。本关任务:熟练掌握数据备份与恢复。原创 2023-11-24 19:37:47 · 1723 阅读 · 1 评论 -
【头歌实训】CQL 语法操作
在 Neo4j 数据库中,CQL CREATE 命令始终创建新的节点或关系,这意味着即使您使用相同的值,它也会插入一个新行。有时,根据我们的客户端要求,我们需要向现有节点或关系添加新属性。当我们创建一个具有现有节点标签名称但未指定其属性值的节点时,它将创建一个具有NULL属性值的新节点。**限制:**结果列类型和来自两组结果的名称必须匹配,这意味着列名称应该相同,列的数据类型应该相同。结果列类型,并从两个结果集的名字必须匹配,这意味着列名称应该是相同的,列的数据类型应该是相同的。它还返回由两个节点重复行。原创 2023-11-23 17:01:42 · 1852 阅读 · 1 评论 -
【头歌实训】Cypher 常用函数 使用 CQL 构建一个关系图谱
和 SQL 一样,Neo4j CQL 提供了一些在RETURN 子句中使用的聚合函数。与 SQL 一样,Neo4J CQL 提供了一组 String 函数,用于在 CQL 查询中获取所需的结果。Neo4j CQL 提供了一组关系函数,以在获取开始节点,结束节点等细节时知道关系的细节。本关任务:在 Neo4j 中创建一个明星的关系图。读取明星数据,创建明星 刘烨的关系图。根据提示,在图形界面中进行操作,使用。数据格式如下: star.csv。本关任务:使用函数完成查询任务。根据提示,在右侧编辑器补充代码;原创 2023-11-23 17:04:11 · 1775 阅读 · 2 评论 -
【头歌实训】Neo4j 数据库运维与优化
③ 模式索引:模式索引和关系数据库中的索引很相似, 每一个索引会对应一个标签和一组属性,无论是更新还是删除节点,索引都会自动更新或者删除,因此该种创建索引的方式更适用。① 手动索引:Neo4j 数据库若采用手动方式创建索引,则索引并不会随着数据的改变而自动更新。② 自动索引:自动索引是一种通过修改配置文件来创建索引的方法,但是在目前的 neo4j 3.x 版本中已经摒弃了用该方法来创建索引,并建议使用模式索引代替之。两行的注释,并做合适的修改(最大堆内存越大越好,但是要小于机器的物理内存)。原创 2023-11-24 13:41:46 · 406 阅读 · 1 评论