![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 81
关掉别看了,再学就秃啦!
这个作者很懒,什么都没留下…
展开
-
Spark GraphX学习与理解
Spark GraphX学习与理解 Spark GraphX 简介 Spark GraphX是一个分布式图处理框架,它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口,极大的方便了对分布式图处理的需求。 图是由顶点集合(vertex)及顶点间的关系集合(边edge)组成的一种数据结构。图可以对事物以及事物之间的关系建模,图可以用来表示自然发生的连接数据,如:社交网络、互联网web页面。 常用的应用有:在地图应用中找到最短路径、基于与他人的相似度图,推荐产品、服务、人际关系或媒体。 图的分布式或原创 2021-08-05 15:36:14 · 612 阅读 · 0 评论 -
Kafka的学习与使用
Kafka的学习与使用 一、Kafka简介 定义: Kafka是一种消息队列,主要用来处理大量数据状态下的消息队列,一般用来做日志的处理。既然是消息队列,那么Kafka也就拥有消息队列的相应的特性了。 特点: 分区式(预分区)、分布式、多副本、多订阅者 消息持久化、高吞吐、分布式消费 消息传递模式:发布者kafkaProducer -kafka server-订阅者kafkaConsumer模式 耦合的状态表示当你实现某个功能的时候,是直接接入当前接口,而利用消息队列,可以将相应的消息发送到消息队列,这样原创 2021-07-30 15:12:16 · 363 阅读 · 0 评论 -
SCALA、SPARK操作Mysql
SCALA、SPARK操作Mysql SCALA操作Mysql 1.Jar包依赖 <!-- 连接mysql--> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.47</version> </dependenc原创 2021-07-27 15:38:28 · 666 阅读 · 0 评论