Scala
文章平均质量分 68
strongyoung88
记录学习点滴,勇攀技术高峰!
GitBook地址
/<a href="https://www.gitbook.com/@strongyoung">Qiang Yang/</a>
展开
-
编写Spark程序并提交到集群上运行
使用SCALA IDE, 編写Spark应用程序,提交到Spark集群上运行,最后查看结果原创 2016-07-24 15:08:07 · 5045 阅读 · 0 评论 -
Spark对HDFS上json数据的简单操作
Spark对HDFS上json数据的操作非常方便,本文以两种方式进行简单介绍,分别为Spark Shell 和 编写Scala应用程序。原创 2016-07-25 11:05:54 · 11701 阅读 · 3 评论 -
Spark使用explode展开嵌套的JSON数据
Spark使用explode展开嵌套的JSON数据原创 2016-08-17 08:47:08 · 17225 阅读 · 2 评论 -
使用sbt assembly构建Spark项目
sbt-assembly是一个sbt插件,作用类似于Maven,用于创建一个包含依赖的JAR包场景:我在用sbt构建spark项目,但是在用sbt package打包生成jar包时,这个jar包并不没有包含项目的依赖,导致这个jar包提交到spark集群运行时,worker不能找到相应的类,sbt-assembly这个插件可以解决这个问题,可以将项目的依赖一同打包进jar包里。原创 2016-08-21 16:21:17 · 5837 阅读 · 2 评论 -
使用SparkSQL/DataFrame读取HBase表
HBase-Spark Connector手段DataSource是在Spark-1.2.0引入的,在简单的HBase KV存储和复杂的关系型SQL查询之间架起了桥梁,使得用户可以在HBase上使用Spark执行复杂的数据分析工作。HBase Dataframe是一个标准的Spark Dataframe,能够与任何其他的数据源进行交互。翻译 2016-08-13 08:53:50 · 22518 阅读 · 32 评论 -
log4j 的简单示例
在项目的开发过程中,往往需要使用日志的功能,不仅便于调试,更是为了以后问题的排查。本文是一个简单的log4j的示例。原创 2017-01-19 16:10:39 · 3133 阅读 · 0 评论 -
java.lang.StackOverflowError 异常处理
今天在使用maven打包项目的时候,报了以下异常:[ERROR] error: java.lang.StackOverflowError,修改JVM参数最大栈可以解决原创 2017-06-24 22:58:04 · 14777 阅读 · 0 评论