![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 74
huo_火力全开
吃得苦中苦,方位人上人
展开
-
Spark统计一个文件里每个单词出现次数, 并按单词出现次数倒序排序取出前
Spark统计文件出现英文单词个数,并排序原创 2018-11-09 17:13:09 · 7779 阅读 · 0 评论 -
Spark内存管理 StaticMemoryManagement与UnifiedMemoryManagement
Spark内存管理:静态内存与统一内存内存管理如何优化原创 2019-03-06 17:32:09 · 293 阅读 · 0 评论 -
Spark repartition与coalesce对分区的操作
Spark repartition与coalesce对分区的操作产生不同的结果,提升运行性能原创 2019-02-20 10:38:54 · 377 阅读 · 0 评论 -
Spark序列化
Spark 默认Java序列化Kyro序列化比较原创 2019-02-19 14:37:45 · 263 阅读 · 0 评论 -
Flume、Kafka、Spark streaming整合
Flume、Kafka、Spark streaming整合原创 2019-01-28 16:06:43 · 286 阅读 · 0 评论 -
Spark重要概念阐述
Spark RDD SparkContext SparkConf InputFile TextFile的的定义和源码解释Spark 里依赖,函数的定义原创 2018-12-10 11:46:45 · 342 阅读 · 1 评论 -
Spark spark-submit 提交的几种模式
Spark spark-submit 提交的几种模式包括 local ,yarn-client,yarn-cluster,standlone原创 2018-11-20 09:34:42 · 55381 阅读 · 1 评论 -
在IDEA 本地开发调试spark程序报错java.lang.NullPointerException
在IDEA 本地开发调试spark程序报错:ERROR Shell: Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.…jav...原创 2018-11-19 16:23:15 · 3464 阅读 · 1 评论 -
spark-submit 提交到yarn上报错:NN上的资源不够用:Resources are low on NN.
Resources are low on NN.资源不够用原创 2018-11-21 10:27:33 · 4361 阅读 · 1 评论 -
Spark Streaming Demo练习
1.Spark Streaming WC 的简单统计练习2. Basic Source For text filesstreamingContext.textFileStream(dataDirectory)3.包括 通过 DataFrame SparkSQL 统计原创 2018-11-16 15:44:01 · 1378 阅读 · 1 评论 -
spark-submit 提交保存输出文件到hdfs上报错
hdfs java.io.IOException: Mkdirs failed to create原创 2018-11-20 14:38:11 · 1854 阅读 · 0 评论 -
Spark源码编译
Spark 源码 脚本编译,比maven更好的编译详解原创 2018-11-12 18:01:31 · 97 阅读 · 0 评论 -
Spark:通过Demo来入门Spark
spark 操作之RDD DataFrame Hive Mysql操作 text json parquet cvs原创 2018-11-08 16:02:33 · 422 阅读 · 0 评论 -
Spark Shuffle机制
Shuffle机制hashshuffle、BypassMergeSortShuffleWriter、 sort shuffle原创 2019-03-11 14:58:13 · 217 阅读 · 0 评论