Spark Sql
Spark技术栈的组件之一
struggle@徐磊
知识重要,态度更重要!
展开
-
SparkSql中创建DataFrame的三种创建方式
目录第一种 通过case class 进行创建第二种 通过 StructType创建第三种 通过read.txtFile第一种 通过case class 进行创建package com.sparksql.comimport org.apache.spark.sqlimport org.apache.spark.sql.SparkSession/**...原创 2020-02-13 15:31:42 · 390 阅读 · 0 评论 -
SparkSql概念和API操作
目录一、学习Spark SQL必要性二、SparkSQL的几大特点易整合统一的访问形式兼容Hive标准的数据连接三、API操作3.1、从mysql数据库获取数据3.2、从HDFS/本地 上获取数据(因为获取的光是数据,所以需要额外创建schema)3.3、用spark展示hive表四、SparkRDD和SparkSql的区别一、学习Spark SQ...原创 2020-02-03 18:56:48 · 733 阅读 · 0 评论 -
运行Spark代码报 null\bin\winutils.exe in the Hadoop binaries
Spark报错(运行spark代码之后报没有winutils的错)报错分析:报错的原因是windowns上面没有hadoop环境所以spark运行的时候就会报错,这个winutils是在hadoop的bin目录下,将hadoop文件夹放到本地电脑磁盘下,然后再配置winutils的环境变量配置环境变量PATH中= 先配置HADOOP_HOME然后再在path中把路径精...原创 2020-01-08 21:00:05 · 749 阅读 · 0 评论