spark
股海孙悟空
wx 公众号 股海孙悟空
展开
-
spark原理入门详解:包括生态、特点、概念等
问题导读:1.Spark的适用场景是什么?2.spark 运行流程是怎样的?3.Spark Streaming的运行原理是怎样的?spark 生态及运行原理 Spark 特点运行速度快 => Spark拥有DAG执行引擎,支持在内存中对数据进行迭代计算。官方提供的数据表明,如果数据由磁盘读取,速原创 2017-11-03 09:03:40 · 314 阅读 · 0 评论 -
在IntelliJ中运行Spark Demo时遇到的问题及解决办法
首先是当我把相关的包导入好后,Run,报错:Exception in thread "main" org.apache.spark.SparkException: A master URL must be set in your configuration at org.apache.spark.SparkContext.<init>(SparkContext.scala...原创 2018-07-19 22:29:14 · 894 阅读 · 0 评论 -
解决spark运行中ERROR Shell:Failed to locate the winutils binary in the hadoop binary path的问题
17/09/03 21:27:13 ERROR Shell: Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. at org.ap...原创 2018-07-19 22:17:16 · 985 阅读 · 0 评论 -
SparkStreaming之窗口函数
WindowOperations(窗口操作) Spark还提供了窗口的计算,它允许你使用一个滑动窗口应用在数据变换中。下图说明了该滑动窗口。如图所示,每个时间窗口...原创 2018-07-24 21:36:20 · 1044 阅读 · 1 评论 -
Scala 程序运行中遇到的错误
网上有好多出现相同问题的,但是都没说解决办法,下面是自己遇到的一些问题。 后续遇到会继续补充 问题是在本机运行的 IDEA 里面遇到的。错误1Exception in thread "main" java.lang.NoClassDefFoundError: scala/Product$class at org.apache.spark.SparkConf$Deprecate...原创 2018-07-24 21:15:27 · 1394 阅读 · 0 评论 -
解决scalac Error: bad option -make:transitive
关闭idea打开项目所在位置并cd .idea修改scala_compiler.xml文件删除掉参数行包含-make:transitive保存后退出编辑并重启idea打开项目原创 2018-07-24 21:13:41 · 273 阅读 · 0 评论 -
最近经历的一些大数据(Spark/Hadoop)面试题
公司A:1.讲讲你做的过的项目。 项目里有哪些 难点重点注意点呢?2.讲讲多线程吧, 要是你,你怎么实现一个线程池呢?3.讲一下Mapreduce或者hdfs的原理和机制。map读取数据分片。4.shuffle 是什么? 怎么调优?5.项目用什么语言写? Scala? Scala的特点? 和Java的区别?6.理论基础怎么原创 2018-03-14 23:14:33 · 712 阅读 · 0 评论 -
win7下用Intelij IDEA 远程调试spark standalone 集群
关于这个spark的环境搭建了好久,踩了一堆坑,今天环境: WIN7笔记本 spark 集群(4个虚拟机搭建的) Intelij IDEA15 scala-2.10.4 java-1.7.0版本问题:个人选择的是hadoop2.6.0 spark1.5.0 scala2.10.4 jdk1.7.0接下来就是用原创 2017-11-03 16:59:35 · 555 阅读 · 0 评论 -
Sparkstreaming reduceByKeyAndWindow(_+_, _-_, Duration, Duration) 的源码/原理解析
最近在玩spark streaming, 感觉到了他的强大。 然后看 StreamingContext的源码去理解spark是怎么完成计算的。 大部分的源码比较容易看懂, 但是这个 reduceByKeyAndWindow(_+_, _-_, Duration, Duration) 还是花了不少时间。 主要还是由于对spark不熟悉造成的吧, 还好基本弄明白了。 总的来说SparkStrea...原创 2018-07-25 22:16:30 · 303 阅读 · 0 评论