Scala
Oooover
喜欢Linux、Python,Spark,数据挖掘,分布式计算,流式计算
展开
-
Idea 编写 Spark 示例代码并打包成Jar
Linux下单机Spark测试环境使用IDEA编写Spark测试代码配置过程bin/spark-submit --master spark://macor:7077 --class ge原创 2015-01-10 22:32:36 · 19796 阅读 · 4 评论 -
Spark On CDH5.6.0 报错java.lang.ArrayIndexOutOfBoundsException: 1
Spark On CDH5.6.0 报错java.lang.ArrayIndexOutOfBoundsException: 1 问题的解决过程分享原创 2016-09-14 14:57:16 · 11424 阅读 · 0 评论 -
SBT编译入门
非托管依赖 为放在 lib 目录下的 jar 文件托管依赖 配置在构建定义中,并且会自动从仓库(repository)中下载非托管依赖大多数人会用托管依赖而非非托管依赖。但是非托管依赖在起步阶段会简单很多。非托管依赖像这样工作:将 jar 文件放在 lib 文件夹下,然后它们将会被添加到项目的 classpath 中。没有更多的事情了!你也可以将测试依赖的 jar转载 2016-01-07 22:14:12 · 4259 阅读 · 0 评论 -
Spark 报错: ERROR SparkUncaughtExceptionHandler rejected from java.util.concurrent.ThreadPoolExecutor
Spark 报错: ERROR SparkUncaughtExceptionHandler rejected from java.util.concurrent.ThreadPoolExecutor原创 2016-01-07 14:08:09 · 13641 阅读 · 1 评论 -
Spark Streaming 报错:kafka.cluster.BrokerEndPoint cannot be cast to kafka.cluster.Broker
Spark Streaming 报错:kafka.cluster.BrokerEndPoint cannot be cast to kafka.cluster.Broker原创 2016-01-04 17:48:20 · 8763 阅读 · 2 评论 -
Scala 读取网页数据测试及备忘
最近在学习Scala,发现Scala确实很简洁、强大。用Scala居然可以直接像打开本地文件一样读取网页内容,确实很方便,但是稍不注意也会容易出错。以下就是我的学习记录: Scala中文件读取操作在scala.io.Source包中,读取文件为: Source.fromFile("test.txt") 很方便,简洁,读取文件没有任何问题; 但是,我想使用Sou原创 2015-11-11 22:52:26 · 1386 阅读 · 0 评论 -
Scala 将时间字符串转为时间戳
Scala 将时间字符串转为时间戳原创 2015-07-17 17:25:56 · 27121 阅读 · 0 评论 -
Scala 中Array,List,Tuple的区别
Scala 中Array,List,Tuple的区别原创 2015-06-26 11:01:34 · 7925 阅读 · 2 评论 -
Spark Streaming 报错:NoSuchMethodError: scala.Predef$.ArrowAssoc
Spark Streaming 报错:NoSuchMethodError: scala.Predef$.ArrowAssoc 的解决办法及思路原创 2015-05-27 09:49:57 · 14100 阅读 · 1 评论 -
Scala 获取指定目录下的所有文件
Scala 获取指定目录下的所有文件名(不包括目录名)原创 2015-01-05 22:37:10 · 13613 阅读 · 0 评论 -
Scala ListBuffer使用备忘
Scala ListBuffer 使用备忘原创 2015-02-09 21:09:00 · 11254 阅读 · 0 评论 -
Spark SQL将数据写入Mysql表的一些坑
Spark SQL将数据写入Mysql表的一些坑原创 2016-10-18 13:36:56 · 42147 阅读 · 10 评论