![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
大数据的江湖
天道酬勤
天行健,君子以自强不息;
地势坤,君子以厚德载物.
展开
-
sparksql本地跑遇到的大坑
sparkSQL本地运行,加载json文件到线上hive表本地配置线上授权一个cmd运行,搞定本地配置这些都是环境变量的,配置的,注意下线上授权就是写入表文件授权一个cmd运行,搞定这个是外加的,可以自己去下载,和hadoop对应就行;在spark/bin运行一下图的就可以了...原创 2020-12-30 23:29:32 · 222 阅读 · 0 评论 -
大数据spark core的介绍
sparkcore的操作指南Spark是什么原理运行模式基础编程Spark是什么1.Spark是什么Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。并且 Spark 目前已经成为 Apache 最活跃的开源项目。2.Spark特点2.1 快速与 Hadoop 的 MapReduce 相比, Spark 基于内存的运算是 MapReduce 的 100 倍.基于硬盘的运算也要快 10 倍以上.2.2 易用Spark 支持 Scala, Java, Python, R 和 SQ原创 2020-08-15 23:43:29 · 809 阅读 · 0 评论