spark教程
文章平均质量分 95
咕噜大大
我是咕噜大大
展开
-
社区发现算法原理与louvain源码解析
社区切分或者说社区发现,是一类图聚类算法,它主要作用是将图数据划分为不同的社区,社区内的节点都是连接紧密或者相似的,而社区与社区之间的节点连接则是稀疏的或者是社区与社区之间的节点并不相似。社区切分算法目前已经广泛运用在各个领域,例如在金融反欺诈的场景中,社区切分算法可以根据资金交易图谱划分出可疑的欺诈团伙或者洗钱团伙。再就是在营销场景中,社区切分算法可以对不同的人群进行自然分类,帮助业务人员发现不同特性的人群,然后进行精准营销活动的投放。还有在智能运维场景中去发现高风险网络架构等等。原创 2023-04-04 18:49:40 · 2886 阅读 · 0 评论 -
Flume+Spark+Hive+Spark SQL离线分析系统
前段时间把Scala和Spark一起学习了,所以借此机会在这里做个总结,顺便和大家一起分享一下目前最火的分布式计算技术Spark!当然Spark不光是可以做离线计算,还提供了许多功能强大的组件,比如说,Spark Streaming 组件做实时计算,和Kafka等消息系统也有很好的兼容性;Spark Sql,可以让用户通过标准SQL语句操作从不同的数据源中过来的结构化数据;还提供了种类丰富的MLli原创 2016-07-27 03:36:02 · 12608 阅读 · 3 评论