![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
山鬼谣me
我的这一生
展开
-
spark sql 编程笔记
环境spark:2.3.1 java:1.8 Hadoop:2.7.6前言个人笔记正文SparkSession这个是java代码的入口点。一切的一切都是从这里开始的。DataFrames相当于关系型数据库中的表的概念 在spark中是Rows。Temporary views 临时视图创建方法:SparkSession spark =...原创 2018-06-22 09:28:41 · 372 阅读 · 0 评论 -
spark RDD 笔记
环境spark:2.3.1 java:1.8 Hadoop:2.7.6前言个人笔记概念在较高层次,每个Spark应用都是由driver program(驱动程序)组成,其中驱动程序就是运行用户main函数并在集群上执行各种并行操作。Spark提供的主要抽象就是RDD,它是跨群集节点分区的元素集合,可以并行操作。 RDDs是在Hadoop文件系统(或任何其他Hado...原创 2018-06-22 17:20:25 · 234 阅读 · 0 评论 -
Spark 和 Hadoop 本地【window】环境搭建
环境Spark:2.3.1 Hadoop:2.7.6 java:1.8前言最近主要是在学习Spark,根据官网的文档,想本地跑个小程序看看效果;https://spark.apache.org/docs/latest/quick-start.html#self-contained-applications具体想执行的官方代码如下:/* SimpleApp.java ...原创 2018-06-20 13:13:13 · 1742 阅读 · 0 评论