Scala Spark 连接 HBase ( IDEA) 调试Spark Standalone

0.下载安装IDEA

IDEA主页

1.安装Scala插件

2.新建工程

这里写图片描述
这里写图片描述

打开新工程后,在src文件夹下新建一个文件夹,名为qyTest2,在里面新建一个scala class,把class的类型改为object。
这里写图片描述

3.设置Project Structure

打开File-》Project Structure -》Libraries
加入新的lib(new project lib->java),选择Spark目录下的lib文件夹,
选择spark-assembly…..jar
再添加hbase目录下的lib文件夹
在File-》Project Structure-》Artifacts下添加jar包
这里写图片描述
这里写图片描述
这里写图片描述
完成了。
接下来写好代码后只要Build Artifacts
这里写图片描述
然后 run
run的时候要先配置edit configuration
这里写图片描述

这里写图片描述
OK

部分代码:

## 但是我用的时候报错了
hrdd.map(tuple => tuple._2).map(result => (result.getRow, result.getColumn("course".getBytes(), "art".getBytes()))).map(row => {  
(  
  row._1.map(_.toChar).mkString,  
  row._2.asScala.reduceLeft {  
    (a, b) => if (a.getTimestamp > b.getTimestamp) a else b  
  }.getValue.map(_.toChar).mkString  
)  
}).take(10)  

2016.01.09更新:
在打jar包的时候,默认由几个部分组成:
这里写图片描述
左侧是打入jar包的部分,右侧是可以增加进去的(???)。
左侧又分为:程序的complie output文件和系统的jar包,如Hbase,Spark,Scala
Spark和Scala可以删除,Hbasejar包可以在配置完Spark的classpath后删除。
我的Spark的classpath是在$SPARK_HOME/conf/spark-env.sh下配置的。

export SPARK_CLASSPATH=/usr/local/cluster/hbase/lib/*

参考:

Windows下IntelliJ IDEA中调试Spark Standalone
Spark操作hbase
Spark:用Scala和Java实现WordCount

阅读更多
文章标签: spark hbase idea scala
个人分类: spark HBase scala
想对作者说点什么? 我来说一句

spark读写hbase

spark读写hbase

kezhong_wxl kezhong_wxl

2017-07-30 09:21:12

阅读数:187

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭