spark学习笔记：spark sql

最新推荐文章于 2022-07-27 00:20:13 发布
最新推荐文章于 2022-07-27 00:20:13 发布
阅读量207 收藏
点赞数
分类专栏： spark学习 文章标签： spark sql环境配置 spark sql使用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014365862/article/details/100982613
版权
spark学习 专栏收录该内容
24 篇文章 89 订阅 ¥39.90 ¥99.00
订阅专栏
本文介绍了Spark SQL的环境配置，特别是如何在spark-env.sh中添加Hive支持，以实现Spark与Hive的交互。通过Scala代码示例，读者可以学习如何设置环境，并可以参考相关链接深入理解。
摘要由CSDN通过智能技术生成

 

spark-env.sh环境配置：（添加hive支持）

export JAVA_HOME=/usr/lib/jdk1.8.0_171
export SPARK_HISTORY_OPTS="-Dspark.history.kerberos.enabled=false \
-Dspark.history.kerberos.principal= \
-Dspark.history.kerberos.keytab="
HADOOP_CONF_DIR=/***/emr-hadoop-2.7.2/etc/hadoop
export HADOOP_HOME=/***/emr-hadoop-2.7.2
export HADOOP_CONF_DIR=/***/emr-hadoop-2.7.2/etc/hadoop
export YARN_CONF_DIR=/***/emr-hadoop-2.7.2/etc/hadoop

export CLASSPATH=$CLASSPATH:/***/emr-apache-hive-2.3.2-bin/lib
export HIVE_CONF_DIR=/***/emr-apache-hive-2.3.2-bin/conf
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/***/emr-apache-hive-2.3.2-bin/lib/mysql-connector-java-5.1.38.jar

scala代码&

了解本专栏 订阅专栏 解锁全文
MachineLP
关注
专栏目录
订阅专栏
基于GraphX实现的community detection算法--Label Propagation分析
shangwen_的专栏
09-06 1万+
最近 Label Propagation（LPA）算法
Spark中共享变量
数据工匠记
05-19 4830
Spark一个非常重要的特性就是共享变量。 默认情况下，如果在一个算子的函数中使用到了某个外部的变量，那么这个变量的值会被拷贝到每个task中。此时每个task只能操作自己的那份变量副本。如果多个task想要共享某个变量，那么这种方式是做不到的。 Spark为此提供了两种共享变量，一种是Broadcast Variable（广播变量），另一种是Accumulator（累加变量）。Broadca...
Spark学习笔记：Spark SQL
BigPig的博客
01-23 1100
背景 从Spark 1.0开始，Spark SQL成为Spark生态系统一员，是专门处理结构化数据(比如DB, Json)的Spark组件。它提供了2种操作数据的方式：1）SQL Queries；2）DataFrames/Datasets API。Spark SQL = Schema + RDD，RDD可以表达所有的数据格式（包括结构化和非结构化）， Spark SQL只表达结构化的数据。 Spa...
spark学习笔记：Spark SQL概述
黄道婆的专栏
12-16 177
学习笔记：Spark SQL概述 一、什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 相比于Spark RDD API，Spark SQL包含了对结构化数据和在其上运算的更多信息，Spark SQL使用这些信息进行了额外的优化，使对结构化数据的操作更加高效和方便。 有多种方式去使用Spark SQL，包括SQL、DataFrames API和Datasets API。但无论.
Spark学习笔记:local class incompatible
cout<<"Hello World!";
03-14 3143
前段时间往用户画像的hive表里增加了一个字段，之后提交作业一直报找不到这个方法的错，过了好久才突然想起来，我提交的jar包并没有更新(真是傻)... 更新了jar包之后，出现了local class incompatible这个错，也就是序列化版本不一致的问题。 于是开始各种找解决方案，大部分人的解决方法都是在序列化的class定义中，手动指定一个序列化的版本号，但由于我并不
SPark学习笔记：10 SparkSQL 数据源之Spark on Hive
07-27 794
ApacheHive是Hadoop上的SQL引擎，SparkSQL编译时可以包含Hive支持，也可以不包含。包含Hive支持的SparkSQL可以支持Hive表访问、UDF(用户自定义函数)以及Hive查询语言(HiveQL/HQL)等。需要强调的一点是，如果要在SparkSQL中包含Hive的库，并不需要事先安装Hive。一般来说，最好还是在编译SparkSQL时引入Hive支持，这样就可以使用这些特性了。...
SPark学习笔记：09SparkSQL 数据源之文件和JDBC
07-26 718
SparkSQL支持通过DataFrame的接口操作各种各样的数据源。DataFrame既能够使用传统的算子做转换操作，也可以通过注册成临时视图的方式通过SQL来操作。这篇文章将总结Spark的各种数据源，以及如何将数据落地到文件或者传统的关系型数据库中。...
Spark学习笔记：Spark进阶
lrxcmwy2的博客
09-11 4435
Spark使用不同的数据源，Spark SQL开发，性能调优
Spark学习笔记：SparkSQL
lrxcmwy2的博客
09-06 999
SparkSQL、DataFrame、DataSet
Spark学习笔记之Spark SQL的具体使用
08-25
Spark SQL学习笔记 Spark SQL是Apache Spark平台下的一个模块，提供了一个编程抽象叫做DataFrame，并且作为分布式SQL查询引擎的作用。Spark SQL是Spark平台下的一个重要组件，主要用于处理结构化数据。 Spark SQL...
java8集合源码分析-spark-sql:spark学习
06-04
SQL相关官方文档笔记,见SparkSQLDoc.md Spark Streaming 相关， 见SparkStreaming.md 奇淫巧技 IDEA，按住ALT，并按住左键进行框选也能实现多行编辑 Linux的vi编辑。 使用A进入输入模式，再进行复制。如果使用a进入...
Spark学习笔记（三）：Spark DataFrame
01-20
Spark DataFrame 是Spark SQL的核心组件，它是Spark处理结构化数据的主要数据结构。DataFrame相较于RDD（弹性分布式数据集）具有显著的优势，因为它提供了更强的类型安全和更丰富的优化。DataFrame的引入使得Spark更...
spark学习笔记：spark sql概述
最新发布
06-28
Spark SQL是Apache Spark中的一个...Spark SQL还提供了一些高级功能，如支持用户自定义函数、支持分布式机器学习算法等。Spark SQL的目标是让用户能够方便地使用Spark进行数据处理和分析，同时提供高性能和可扩展性。
pyspark-ml学习笔记：pyspark下使用xgboost进行分布式训练
MachineLP的专栏
08-13 8688
问题是这样的，如果我们想基于pyspark开发一个分布式机器训练平台，而xgboost是不可或缺的模型，但是pyspark ml中没有对应的API，这时候我们需要想办法解决它。 还可以参考：https://github.com/MachineLP/Spark-/tree/master/pyspark-xgboost 测试代码： （(pyspark使用可以参考这个：https://blog....
scala-sparkML学习笔记：xgboost进行分布式训练
MachineLP的专栏
08-29 3890
java／scala生成jar一般采用有两种sbt和maven，本人介绍通过maven生成jar的方式，同时可以查看git：https://github.com/MachineLP/Spark-/tree/master/scala-xgboost。 xgboostSparkMLlibPipeline.scala代码如下：（注意运行时要按照特征目录格式组织：src/main/scala/ml/d...
pyspark-ml学习笔记：逻辑回归、GBDT、xgboost参数介绍
MachineLP的专栏
08-13 3372
逻辑回归、GBDT可以参考pyspark开发文档：http://spark.apache.org/docs/latest/api/python/pyspark.ml.html#pyspark.ml.classification.LogisticRegression。 xgboost查看：https://xgboost.ai。 下面只列出分类是的参数介绍：（对于回归时的自行查看） 逻辑回归...
pyspark-ml学习笔记：模型评估
MachineLP的专栏
08-21 2977
问题是这样的，如果我们想基于pyspark开发一个分布式机器训练平台，那么肯定需要对模型进行评估，而pyspark本身自带模型评估的api很少，想进行扩展的话有几种方案： （1）使用udf自行编写代码进行扩展。 （2）使用现有的，像sklearn中的api。（不同框架的之间的切换往往需要转换数据结构） 例子如下所示： ''' 模型评估模块： · pyspark api · sklearn...
spark杂记：Spark Basics
MachineLP的专栏
02-20 2609
Spark 学习笔记可以follow这里：https://github.com/MachineLP/Spark- 下面来看几个问题，下面将关注几个问题进行阐述： Mac下安装pyspark spark相关基础知识 1、Mac下安装pyspark 可以参考：Big Data Analytics using Spark这个课程：https://courses.edx.org/courses/c...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MachineLP

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值