Spark
寒沧
渣渣学生
展开
-
Spark Programming by Java——RDD基本操作
Spark Programming on Java——RDD基本操作 在一个内容为{1, 2, 3, 3}的RDD上进行的基本操作 函数名(表现形式为scala) 目的 示例 结果 collect() 返回RDD中的所有元素 rdd.example() {1, 2, 3, 4} count() RDD中的元素数目 rdd.count() 4 cou原创 2016-04-15 17:41:14 · 3743 阅读 · 0 评论 -
利用IntelliJ IDEA与Maven开始你的Scala之旅
http://www.jianshu.com/p/ecc6eb298b8f转载 2017-01-16 13:45:13 · 276 阅读 · 0 评论 -
Spark2.1.0在windows下的单机环境搭建
该文用于讲解在windows下spark开发环境的搭建 因为现在网上的搭建多在于旧版本中,且还原系数难度很大材料准备 spark安装包JDK 8IDEA开发工具scala 2.11.8 (注:spark2.1.0环境于scala2.11环境开发,所以必须版本对应 scala不是必须安装的,如果你是打算使用scala进行spark开发,则需要安装 ...原创 2017-01-19 13:23:17 · 8490 阅读 · 1 评论 -
MovieUserAnalyzer
package org.dataimport org.apache.spark.{SparkConf, SparkContext}/** * Created by Joe on 2017/1/18. */object MovieUserAnalyzer { def main(args : Array[String]): Unit = { var masterUrl = "loc原创 2017-01-19 15:29:52 · 307 阅读 · 0 评论 -
DL4J矩阵的常用操作
DL4J矩阵的常用操作import org.deeplearning4j.nn.conf.distribution.Distribution;import org.nd4j.linalg.api.ndarray.INDArray;import org.nd4j.linalg.factory.Nd4j;import org.nd4j.linalg.indexing.INDArrayIndex;原创 2017-04-21 17:20:58 · 1870 阅读 · 0 评论 -
SparkContext转化为JavaSparkContext
引言自动Spark2.0发布以来,官方最开始推荐的代码由final SparkConf conf = new SparkConf().setMaster("local").setAppName("---");final JavaSparkContext ctx = new JavaSparkContext(conf);这种形式转化成为了SparkSession spark = SparkSessi原创 2017-06-20 20:14:20 · 8656 阅读 · 0 评论 -
Spark2.3 - 运行异常NoSuchMethodError:io.netty.buffer.PooledByteBufAllocator.metric()
Spark2.3 - 运行异常NoSuchMethodError:io.netty.buffer.PooledByteBufAllocator.metric()一、问题说明在一个项目中同时引入了多个框架hbase 1.4.1kafka 1.1.0spark 2.3.0在以local模型运行spark示例程序的时候,出现如下报错:Exception in thre...原创 2018-05-04 15:30:44 · 14026 阅读 · 3 评论