Scala Spark 连接 HBase ( IDEA) 调试Spark Standalone

原创 2015年11月29日 14:50:31

0.下载安装IDEA

IDEA主页

1.安装Scala插件

2.新建工程

这里写图片描述
这里写图片描述

打开新工程后,在src文件夹下新建一个文件夹,名为qyTest2,在里面新建一个scala class,把class的类型改为object。
这里写图片描述

3.设置Project Structure

打开File-》Project Structure -》Libraries
加入新的lib(new project lib->java),选择Spark目录下的lib文件夹,
选择spark-assembly…..jar
再添加hbase目录下的lib文件夹
在File-》Project Structure-》Artifacts下添加jar包
这里写图片描述
这里写图片描述
这里写图片描述
完成了。
接下来写好代码后只要Build Artifacts
这里写图片描述
然后 run
run的时候要先配置edit configuration
这里写图片描述

这里写图片描述
OK

部分代码:

## 但是我用的时候报错了
hrdd.map(tuple => tuple._2).map(result => (result.getRow, result.getColumn("course".getBytes(), "art".getBytes()))).map(row => {  
(  
  row._1.map(_.toChar).mkString,  
  row._2.asScala.reduceLeft {  
    (a, b) => if (a.getTimestamp > b.getTimestamp) a else b  
  }.getValue.map(_.toChar).mkString  
)  
}).take(10)  

2016.01.09更新:
在打jar包的时候,默认由几个部分组成:
这里写图片描述
左侧是打入jar包的部分,右侧是可以增加进去的(???)。
左侧又分为:程序的complie output文件和系统的jar包,如Hbase,Spark,Scala
Spark和Scala可以删除,Hbasejar包可以在配置完Spark的classpath后删除。
我的Spark的classpath是在$SPARK_HOME/conf/spark-env.sh下配置的。

export SPARK_CLASSPATH=/usr/local/cluster/hbase/lib/*

参考:

Windows下IntelliJ IDEA中调试Spark Standalone
Spark操作hbase
Spark:用Scala和Java实现WordCount

IntelliJ IDEA构建基于maven的spark+hbase工程(scala语言)

利用IDEA来编写基于maven的scala程序,主要功能用来支持从hbase中拉取数据供spark进行mapreduce运算。...
  • fzuzhanghao1993
  • fzuzhanghao1993
  • 2017年11月08日 16:03
  • 197

在IDEA14中使用代码连接Hbase

环境准备:我用的是Hadoop2.4.0以及Hbase0.98.15,首先保证hadoop和hbase已经安装并且环境配置完成。 新建一个maven工程,如图: 什么都不勾选,直接选next,...
  • Runner__1
  • Runner__1
  • 2015年12月17日 22:11
  • 3248

Hbase<踩过的坑--使用intellij idea调用JavaAPI创建预分区>

本集群 基于:VMware Workstation12 ProSecureCRT 7.3Xftp 5CentOS-7-x86_64-Everything-1611.isohadoop-2.8.0.ta...
  • Gpwner
  • Gpwner
  • 2017年05月17日 20:54
  • 1814

使用scala操作hbase api

最近在研究hbase 和scala,研究scala是为了spark,刚好hbase的api我也不熟,scala也不熟悉,所以就用来练手了 代码是两个类 ConfigUtil 是用来产生config...
  • qqpy789
  • qqpy789
  • 2016年08月16日 16:11
  • 4349

scala使用hbase新api

scala使用hbase新api
  • ggz631047367
  • ggz631047367
  • 2016年03月05日 11:09
  • 5783

hbase-scala-获取连接

简单写一个scala获取hbase 连接方法/** * HBase工具类 */ import org.apache.hadoop.hbase.client.{BufferedMutator, ...
  • qq_16038125
  • qq_16038125
  • 2017年06月14日 16:33
  • 684

Scala操作Hbase

Scala操作Hbase
  • u012893747
  • u012893747
  • 2017年08月18日 16:40
  • 491

spark 连接hbase

一、环境准备1、复制HBase目录下的lib文件 到 spark目录/lib/hbase。spark 依赖此lib清单如下:guava-12.0.1.jar htrace-cor...
  • thdline
  • thdline
  • 2016年06月01日 15:15
  • 1105

Spark学习笔记7-在eclipse里用scala编写spark程序(单机和集群运行)

1.下载eclipse我下载的是待scala SDK的eclipse,下载地址如下: http://scala-ide.org/download/sdk.html 我的要放在ubuntu下写程序,...
  • xummgg
  • xummgg
  • 2016年02月11日 21:01
  • 7384

scala实战之spark读取mysql数据表并存放到mysql库中编程实例

今天简单讲解一下应用spark1.5.2相关读取mysql数据到DataFrame的接口以及将DF数据存放到mysql中接口实现实例。 通过这段代码可以实现从mysql关系型数据库中直接读取数据转化成...
  • zfszhangyuan
  • zfszhangyuan
  • 2016年09月20日 11:05
  • 8700
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Scala Spark 连接 HBase ( IDEA) 调试Spark Standalone
举报原因:
原因补充:

(最多只允许输入30个字)