![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 64
公众号【五元杂货铺】
公众号【五元杂货铺】
知乎【大飞飞飞飞飞】
微信【wuyuanzahuopu】
展开
-
GraphX-基础知识-图术语解释
【导读】Spark GraphX是一个分布式图处理框架,它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口,极大的方便了对分布式图处理的需求。但如果我们想熟练的开发Spark GraphX的应用程序还有很长的路要走,本系列文章是GraphX的从入门到精通,会持续更新,如果你对图计算感兴趣就关注起来吧。【前言】思考一个问题:现实生活中我们有哪些可用的图?以及这些可用的图都是什么样的图?有向图和无向图用图可以对事物以及事物之间的联系建模。首先来弄清楚【图3.9】中的有向图和无向图的不同。原创 2020-10-14 23:48:52 · 6147 阅读 · 2 评论 -
HUE--高可用Hadoop平台-Hue In Hadoop
1.概述 前面一篇博客《高可用Hadoop平台-Ganglia安装部署》,为大家介绍了Ganglia在Hadoop中的集成,今天为大家介绍另一款工具——Hue,该工具功能比较丰富,下面是今天为大家分享的内容目录:Hue简述Hue In Hadoop截图预览 本文所使用的环境是Apache Hadoop-2.6版本,下面开始今天的内容分享。2.Hue简述转载 2017-11-14 11:17:26 · 2932 阅读 · 1 评论 -
spark通过Phoenix读取hbase数据
此篇文章主要介绍用spark如何读取hbase中的数据。 spark官方提供了用spark直接读取hbase的方法,但是直接读取hbase的数据类似于hbase shell中的scan方法全表扫描,当然如果知道rowkey当然就不会有什么问题,但是在真实的业务场景中onebyone通过rowkey去取hbase的数据是不现实的,这样也没用必要用spark去跑数据,因为发挥不出spark的性原创 2018-01-24 18:03:19 · 10267 阅读 · 1 评论 -
SQuirrel SQL Client数据库连接工具的配置与使用
SQuirrel SQL Client介绍:SQuirrel SQL Client是一个用Java写的数据库客户端,用JDBC统一数据库访问接口以后,可以通过一个统一的用户界面来操作MySQL PostgreSQL MSSQL Oracle等等任何支持JDBC访问的数据库。使用起来非常方便。而且,SQuirrel SQL Client还是一个典型的Swing程序,也算是Swing的一个比较成功的应...原创 2018-05-18 11:56:22 · 19977 阅读 · 0 评论 -
通过Phoenix存取Hbase
通过Phoenix存取Hbase目前官网正文中给出了通过Phoenix存取Hbase的方法,这里介绍的是pyspark版本的存取方法,对于从hbase中取数据,目前官网的方法没有什么问题。详细代码可见下方:try: TableName = options.HbaseTable df = spark.read \ .format("o...原创 2018-07-26 10:39:43 · 749 阅读 · 0 评论