spark
山鬼谣me
我的这一生
展开
-
spark sql 编程笔记
环境 spark:2.3.1 java:1.8 Hadoop:2.7.6 前言 个人笔记 正文 SparkSession 这个是java代码的入口点。一切的一切都是从这里开始的。 DataFrames 相当于关系型数据库中的表的概念 在spark中是Rows。 Temporary views 临时视图 创建方法: SparkSession spark =...原创 2018-06-22 09:28:41 · 380 阅读 · 0 评论 -
spark RDD 笔记
环境 spark:2.3.1 java:1.8 Hadoop:2.7.6 前言 个人笔记 概念 在较高层次,每个Spark应用都是由driver program(驱动程序)组成,其中驱动程序就是运行用户main函数并在集群上执行各种并行操作。Spark提供的主要抽象就是RDD,它是跨群集节点分区的元素集合,可以并行操作。 RDDs是在Hadoop文件系统(或任何其他Hado...原创 2018-06-22 17:20:25 · 237 阅读 · 0 评论 -
Spark 和 Hadoop 本地【window】环境搭建
环境 Spark:2.3.1 Hadoop:2.7.6 java:1.8 前言 最近主要是在学习Spark,根据官网的文档,想本地跑个小程序看看效果; https://spark.apache.org/docs/latest/quick-start.html#self-contained-applications 具体想执行的官方代码如下: /* SimpleApp.java ...原创 2018-06-20 13:13:13 · 1753 阅读 · 0 评论