安小飞的博客

【导读】Spark GraphX是一个分布式图处理框架，它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口，极大的方便了对分布式图处理的需求。但如果我们想熟练的开发Spark GraphX的应用程序还有很长的路要走，本系列文章是GraphX的从入门到精通，会持续更新，如果你对图计算感兴趣就关注起来吧。【前言】思考一个问题：现实生活中我们有哪些可用的图？以及这些可用的图都是什么样的图？有向图和无向图用图可以对事物以及事物之间的联系建模。首先来弄清楚【图3.9】中的有向图和无向图的不同。

1.概述　　前面一篇博客《高可用Hadoop平台－Ganglia安装部署》，为大家介绍了Ganglia在Hadoop中的集成，今天为大家介绍另一款工具——Hue，该工具功能比较丰富，下面是今天为大家分享的内容目录：Hue简述Hue In Hadoop截图预览　　本文所使用的环境是Apache Hadoop-2.6版本，下面开始今天的内容分享。2.Hue简述

此篇文章主要介绍用spark如何读取hbase中的数据。 spark官方提供了用spark直接读取hbase的方法，但是直接读取hbase的数据类似于hbase shell中的scan方法全表扫描，当然如果知道rowkey当然就不会有什么问题，但是在真实的业务场景中onebyone通过rowkey去取hbase的数据是不现实的，这样也没用必要用spark去跑数据，因为发挥不出spark的性

SQuirrel SQL Client介绍：SQuirrel SQL Client是一个用Java写的数据库客户端，用JDBC统一数据库访问接口以后，可以通过一个统一的用户界面来操作MySQL PostgreSQL MSSQL Oracle等等任何支持JDBC访问的数据库。使用起来非常方便。而且，SQuirrel SQL Client还是一个典型的Swing程序，也算是Swing的一个比较成功的应...

通过Phoenix存取Hbase目前官网正文中给出了通过Phoenix存取Hbase的方法，这里介绍的是pyspark版本的存取方法，对于从hbase中取数据，目前官网的方法没有什么问题。详细代码可见下方：try: TableName = options.HbaseTable df = spark.read \ .format("o...