Scala Spark 连接 HBase ( IDEA) 调试Spark Standalone

原创 2015年11月29日 14:50:31

0.下载安装IDEA

IDEA主页

1.安装Scala插件

2.新建工程

这里写图片描述
这里写图片描述

打开新工程后,在src文件夹下新建一个文件夹,名为qyTest2,在里面新建一个scala class,把class的类型改为object。
这里写图片描述

3.设置Project Structure

打开File-》Project Structure -》Libraries
加入新的lib(new project lib->java),选择Spark目录下的lib文件夹,
选择spark-assembly…..jar
再添加hbase目录下的lib文件夹
在File-》Project Structure-》Artifacts下添加jar包
这里写图片描述
这里写图片描述
这里写图片描述
完成了。
接下来写好代码后只要Build Artifacts
这里写图片描述
然后 run
run的时候要先配置edit configuration
这里写图片描述

这里写图片描述
OK

部分代码:

## 但是我用的时候报错了
hrdd.map(tuple => tuple._2).map(result => (result.getRow, result.getColumn("course".getBytes(), "art".getBytes()))).map(row => {  
(  
  row._1.map(_.toChar).mkString,  
  row._2.asScala.reduceLeft {  
    (a, b) => if (a.getTimestamp > b.getTimestamp) a else b  
  }.getValue.map(_.toChar).mkString  
)  
}).take(10)  

2016.01.09更新:
在打jar包的时候,默认由几个部分组成:
这里写图片描述
左侧是打入jar包的部分,右侧是可以增加进去的(???)。
左侧又分为:程序的complie output文件和系统的jar包,如Hbase,Spark,Scala
Spark和Scala可以删除,Hbasejar包可以在配置完Spark的classpath后删除。
我的Spark的classpath是在$SPARK_HOME/conf/spark-env.sh下配置的。

export SPARK_CLASSPATH=/usr/local/cluster/hbase/lib/*

参考:

Windows下IntelliJ IDEA中调试Spark Standalone
Spark操作hbase
Spark:用Scala和Java实现WordCount

相关文章推荐

Hbase<踩过的坑--使用intellij idea调用JavaAPI创建预分区>

本集群 基于:VMware Workstation12 ProSecureCRT 7.3Xftp 5CentOS-7-x86_64-Everything-1611.isohadoop-2.8.0.ta...
  • Gpwner
  • Gpwner
  • 2017年05月17日 20:54
  • 1140

在IDEA14中使用代码连接Hbase

环境准备:我用的是Hadoop2.4.0以及Hbase0.98.15,首先保证hadoop和hbase已经安装并且环境配置完成。 新建一个maven工程,如图: 什么都不勾选,直接选next,...

Spark 连接 Hbase 配置

1.count对表terminal_data_file1进行count:package qyTest3import org.apache.hadoop.hbase.HBaseConfiguration...

spark与hbase进行交互

软件环境: spark-1.2.1 hadoop-2.5.2 hbase-1.0.0 1. 搭好上述开发环境 2. 在IntelliJ IDEA中创建scala项目,从hbase-1...
  • tifctu
  • tifctu
  • 2015年03月10日 09:06
  • 926

Spark与HBase的整合

前言 之前因为仅仅是把HBase当成一个可横向扩展并且具有持久化能力的KV数据库,所以只用在了指标存储上,参看很早之前的一篇文章基于HBase做Storm 实时计算指标存储。这次将HBase用在...

spark将数据写入hbase以及从hbase读取数据

本文将介绍 1、spark如何利用saveAsHadoopDataset和saveAsNewAPIHadoopDataset将RDD写入hbase 2、spark从hbase中读取数据并转化为RD...

Spark操作hbase

在Spark是一种计算框架,在Spark环境下,不仅支持操作单机文件,HDFS文件,同时也可以用Spark对Hbase操作。  企业中数据源会从HBase取出,这就涉及到了读取hbase数据,本文为了...

spark操作读取hbase实例

博主项目实践中,经常需要用spark从hbase中读取数据。其中,spark的版本为1.6,hbase的版本为0.98。现在记录一下如何在spark中操作读取hbase中的数据。 对于这种操作型的需...

spark操作hbase中的数据

首先,需要在spark中添加hbase的jar包,在{SPARK_HOME}/conf/spark-env.sh 中添加: export  SPARK_CLASSPATH=/opt/cloudera/...

使用scala操作hbase api

最近在研究hbase 和scala,研究scala是为了spark,刚好hbase的api我也不熟,scala也不熟悉,所以就用来练手了 代码是两个类 ConfigUtil 是用来产生config...
  • qqpy789
  • qqpy789
  • 2016年08月16日 16:11
  • 3634
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Scala Spark 连接 HBase ( IDEA) 调试Spark Standalone
举报原因:
原因补充:

(最多只允许输入30个字)