spark SQL学习（spark连接 mysql）

最新推荐文章于 2024-04-24 11:37:23 发布
最新推荐文章于 2024-04-24 11:37:23 发布
阅读量782 收藏 1
点赞数
分类专栏： spark-sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33813365/article/details/70493966
版权

spark连接mysql（打jar包方式）
package wujiadong_sparkSQL

import java.util.Properties

import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by Administrator on 2017/2/14.
  */
object JdbcOperation {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("JdbcOperation")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)
    val properties = new Properties()
    properties.put("user","feigu")
    properties.put("password","feigu")
    val url = "jdbc:mysql://slave02:3306/testdb?useUnicode=true&characterEncoding=gbk&zeroDateTimeBehavior=convertToNull"
    val stud_scoreDF = sqlContext.read.jdbc(url,"stud_score",properties)
    stud_scoreDF.show()

  }

}

提交集群
hadoop@master:~/wujiadong spark−submit–driver−class−path/home/hadoop/bigdata/hive/lib/mysql−connector−java−5.1.10−2.jar–classwujiadongsparkSQL.JdbcOperation–executor−memory500m–total−executor−cores2/home/hadoop/wujiadong/wujiadong.spark.jar或者hadoop@master: /wujiadong spark-submit –jars /home/hadoop/bigdata/hive/lib/mysql-connector-java-5.1.10-2.jar –class wujiadong_sparkSQL.JdbcOperation –executor-memory 500m –total-executor-cores 2 /home/hadoop/wujiadong/wujiadong.spark.jar

运行结果
hadoop@master:~/wujiadong$ spark-submit –driver-class-path /home/hadoop/bigdata/hive/lib/mysql-connector-java-5.1.10-2.jar –class wujiadong_sparkSQL.JdbcOperation –executor-memory 500m –total-executor-cores 2 /home/hadoop/wujiadong/wujiadong.spark.jar
17/02/15 13:21:06 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
17/02/15 13:21:09 INFO Slf4jLogger: Slf4jLogger started
17/02/15 13:21:09 INFO Remoting: Starting remoting
17/02/15 13:21:09 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://sparkDriver@192.168.1.131:40654]
17/02/15 13:21:13 WARN MetricsSystem: Using default name DAGScheduler for source because spark.app.id is not set.
+———-+——–+——–+——–+———+———+
| stud_code|sub_code|sub_name|sub_tech|sub_score|stat_date|
+———-+——–+——–+——–+———+———+
|2015101000| 10101| 数学分析| | 90| null|
|2015101000| 10102| 高等代数| | 88| null|
|2015101000| 10103| 大学物理| | 67| null|
|2015101000| 10104| 计算机原理| | 78| null|
|2015101000| 10105| 电磁学| | 89| null|
|2015101001| 10101| 数学分析| | 87| null|
|2015101001| 10102| 高等代数| | 78| null|
|2015101001| 10103| 大学物理| | 88| null|
|2015101001| 10104| 计算机原理| | 86| null|
|2015101001| 10105| 电磁学| | 91| null|
|2015101002| 10101| 数学分析| | 98| null|
|2015101002| 10102| 高等代数| | 97| null|
|2015101002| 10103| 大学物理| | 95| null|
|2015101002| 10104| 计算机原理| | 96| null|
|2015101002| 10105| 电磁学| | 90| null|
|2015101003| 10101| 数学分析| | 70| null|
|2015101003| 10102| 高等代数| | 87| null|
|2015101003| 10103| 大学物理| | 65| null|
|2015101003| 10104| 计算机原理| | 98| null|
|2015101003| 10105| 电磁学| | 76| null|
+———-+——–+——–+——–+———+———+
only showing top 20 rows

17/02/15 13:21:24 INFO RemoteActorRefProvider RemotingTerminator:Shuttingdownremotedaemon.17/02/1513:21:24INFORemoteActorRefProvider RemotingTerminator: Remote daemon shut down; proceeding with flushing remote transports.

常见报错1
Exception in thread “main” java.sql.SQLException: No suitable driver found for jdbc:mysql://slave02:3306/testdb
报错原因是没有jdbc驱动

解决办法
–driver-class-path xxx.jar 或者
–jars xxx.jar
如果添加了命令和jar运行也不行,则用以下办法

在%JAVA_HOME%\jre\lib\ext下添加mysql-connector-java-5.1.12-bin.jar 问题解决
常见报错2
java.sql.SQLException: Value ‘0000-00-00’ can not be represented as java.sql.Date

0000-00-00 ”在MySQL中是作为一个特殊值存在的，但是在Java中， java.sql.Date 会被视为 不合法的值，被JVM认为格式不正确。

解决办法：在jdbc的url加上 zeroDateTimeBehavior参数

url = “jdbc:mysql://slave02:3306/testdb?useUnicode=true&characterEncoding=gbk&zeroDateTimeBehavior=convertToNull”
spark连接mysql（spark shell方式）
方式1

//import sqlContext.implicits._ //有时需要用到，需要时导入
scala> import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.SQLContext

scala> val sqlContext = new SQLContext(sc)
sqlContext: org.apache.spark.sql.SQLContext = org.apache.spark.sql.SQLContext@6cd1ee

scala> val url =”jdbc:mysql://slave02:3306/testdb?useUnicode=true&characterEncoding=gbk&zeroDateTimeBehavior=convertToNull”
url: String = jdbc:mysql://slave02:3306/testdb?useUnicode=true&characterEncoding=gbk&zeroDateTimeBehavior=convertToNull

scala> val prop = new java.util.Properties
prop: java.util.Properties = {}

scala> prop.setProperty(“user”,”feigu”)
res3: Object = null

scala> prop.setProperty(“password”,”feigu”)
res4: Object = null

scala> val stud_scoreDF = sqlContext.read.jdbc(url,”stud_score”,prop)
stud_scoreDF: org.apache.spark.sql.DataFrame = [stud_code: string, sub_code: string, sub_name: string, sub_tech: string, sub_score: int, stat_date: date]

scala> stud_scoreDF.show()
+———-+——–+——–+——–+———+———+
| stud_code|sub_code|sub_name|sub_tech|sub_score|stat_date|
+———-+——–+——–+——–+———+———+
|2015101000| 10101| 数学分析| | 90| null|
|2015101000| 10102| 高等代数| | 88| null|
|2015101000| 10103| 大学物理| | 67| null|
|2015101000| 10104| 计算机原理| | 78| null|
|2015101000| 10105| 电磁学| | 89| null|
|2015101001| 10101| 数学分析| | 87| null|
|2015101001| 10102| 高等代数| | 78| null|
|2015101001| 10103| 大学物理| | 88| null|
|2015101001| 10104| 计算机原理| | 86| null|
|2015101001| 10105| 电磁学| | 91| null|
|2015101002| 10101| 数学分析| | 98| null|
|2015101002| 10102| 高等代数| | 97| null|
|2015101002| 10103| 大学物理| | 95| null|
|2015101002| 10104| 计算机原理| | 96| null|
|2015101002| 10105| 电磁学| | 90| null|
|2015101003| 10101| 数学分析| | 70| null|
|2015101003| 10102| 高等代数| | 87| null|
|2015101003| 10103| 大学物理| | 65| null|
|2015101003| 10104| 计算机原理| | 98| null|
|2015101003| 10105| 电磁学| | 76| null|
+———-+——–+——–+——–+———+———+
only showing top 20 rows
方式2
scala> import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.SQLContext

scala> val sqlContext = new SQLContext(sc)
sqlContext: org.apache.spark.sql.SQLContext = org.apache.spark.sql.SQLContext@351d726c

scala> import sqlContext.implicits._
import sqlContext.implicits._

scala> val url =”jdbc:mysql://slave02:3306/testdb?useUnicode=true&characterEncoding=gbk&zeroDateTimeBehavior=convertToNull”
url: String = jdbc:mysql://slave02:3306/testdb?useUnicode=true&characterEncoding=gbk&zeroDateTimeBehavior=convertToNull

scala> val table = “stud_score”
table: String = stud_score

scala> val reader = sqlContext.read.format(“jdbc”)
reader: org.apache.spark.sql.DataFrameReader = org.apache.spark.sql.DataFrameReader@49c37918

scala> val reader = sqlContext.read.format(“jdbc”)
reader: org.apache.spark.sql.DataFrameReader = org.apache.spark.sql.DataFrameReader@49c37918

scala> reader.option(“url”,url)
res0: org.apache.spark.sql.DataFrameReader = org.apache.spark.sql.DataFrameReader@49c37918

scala> reader.option(“dbtable”,table)
res4: org.apache.spark.sql.DataFrameReader = org.apache.spark.sql.DataFrameReader@49c37918

scala> reader.option(“driver”,”com.mysql.jdbc.Driver”)
res6: org.apache.spark.sql.DataFrameReader = org.apache.spark.sql.DataFrameReader@49c37918

scala> reader.option(“user”,”feigu”)
res7: org.apache.spark.sql.DataFrameReader = org.apache.spark.sql.DataFrameReader@49c37918

scala> reader.option(“password”,”feigu”)
res8: org.apache.spark.sql.DataFrameReader = org.apache.spark.sql.DataFrameReader@49c37918

scala> val DF = reader.load()
DF: org.apache.spark.sql.DataFrame = [stud_code: string, sub_code: string, sub_name: string, sub_tech: string, sub_score: int, stat_date: date]

scala> DF.show()
+———-+——–+——–+——–+———+———+
| stud_code|sub_code|sub_name|sub_tech|sub_score|stat_date|
+———-+——–+——–+——–+———+———+
|2015101000| 10101| 数学分析| | 90| null|
|2015101000| 10102| 高等代数| | 88| null|
|2015101000| 10103| 大学物理| | 67| null|
|2015101000| 10104| 计算机原理| | 78| null|
|2015101000| 10105| 电磁学| | 89| null|
|2015101001| 10101| 数学分析| | 87| null|
|2015101001| 10102| 高等代数| | 78| null|
|2015101001| 10103| 大学物理| | 88| null|
|2015101001| 10104| 计算机原理| | 86| null|
|2015101001| 10105| 电磁学| | 91| null|
|2015101002| 10101| 数学分析| | 98| null|
|2015101002| 10102| 高等代数| | 97| null|
|2015101002| 10103| 大学物理| | 95| null|
|2015101002| 10104| 计算机原理| | 96| null|
|2015101002| 10105| 电磁学| | 90| null|
|2015101003| 10101| 数学分析| | 70| null|
|2015101003| 10102| 高等代数| | 87| null|
|2015101003| 10103| 大学物理| | 65| null|
|2015101003| 10104| 计算机原理| | 98| null|
|2015101003| 10105| 电磁学| | 76| null|
+———-+——–+——–+——–+———+———+
only showing top 20 rows
方式3
scala> import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.SQLContext

scala> val sqlContext = new SQLContext(sc)
sqlContext: org.apache.spark.sql.SQLContext = org.apache.spark.sql.SQLContext@fdf029a

scala> val jdbcDF = sqlContext.read.format(“jdbc”).options(Map(“url” -> “jdbc:mysql://slave02:3306/testdb?useUnicode=true&characterEncoding=gbk&zeroDateTimeBehavior=convertToNull”,”driver” -> “com.mysql.jdbc.Driver”, “dbtable” -> “testdb.stud_score”,”user” -> “feigu”,”password” -> “feigu”)).load()
jdbcDF: org.apache.spark.sql.DataFrame = [stud_code: string, sub_code: string, sub_name: string, sub_tech: string, sub_score: int, stat_date: date]

scala> jdbcDF.show()
+———-+——–+——–+——–+———+———+
| stud_code|sub_code|sub_name|sub_tech|sub_score|stat_date|
+———-+——–+——–+——–+———+———+
|2015101000| 10101| 数学分析| | 90| null|
|2015101000| 10102| 高等代数| | 88| null|
|2015101000| 10103| 大学物理| | 67| null|
|2015101000| 10104| 计算机原理| | 78| null|
|2015101000| 10105| 电磁学| | 89| null|
|2015101001| 10101| 数学分析| | 87| null|
|2015101001| 10102| 高等代数| | 78| null|
|2015101001| 10103| 大学物理| | 88| null|
|2015101001| 10104| 计算机原理| | 86| null|
|2015101001| 10105| 电磁学| | 91| null|
|2015101002| 10101| 数学分析| | 98| null|
|2015101002| 10102| 高等代数| | 97| null|
|2015101002| 10103| 大学物理| | 95| null|
|2015101002| 10104| 计算机原理| | 96| null|
|2015101002| 10105| 电磁学| | 90| null|
|2015101003| 10101| 数学分析| | 70| null|
|2015101003| 10102| 高等代数| | 87| null|
|2015101003| 10103| 大学物理| | 65| null|
|2015101003| 10104| 计算机原理| | 98| null|
|2015101003| 10105| 电磁学| | 76| null|
+———-+——–+——–+——–+———+———+
only showing top 20 rows

//注册为一个表。这就可以直接进行select等操作样
scala> jdbcDF.registerTempTable(“wu_stud_info”)
scala> jdbcDF.sqlContext.sql(“select sub_name from wu_stud_info”).collect.foreach(println)
[数学分析]
[高等代数]
[大学物理]
[计算机原理]
[电磁学]
[数学分析]
[高等代数]
[大学物理]
[计算机原理]
[电磁学]
[数学分析]
[高等代数]
[大学物理]
[计算机原理]
[电磁学]
[数学分析]
[高等代数]
[大学物理]
[计算机原理]
[电磁学]
[数学分析]
[高等代数]
[大学物理]
[计算机原理]
[电磁学]
[数学分析]
[高等代数]
[大学物理]
[计算机原理]
[电磁学]
[数学分析]
[高等代数]
[大学物理]
[计算机原理]
[电磁学]
[数学分析]
[高等代数]
[大学物理]
[计算机原理]
[电磁学]
[数学分析]
[高等代数]
[大学物理]
[计算机原理]
[电磁学]
[数学分析]
[高等代数]
[大学物理]
[计算机原理]
[电磁学]
[数学分析]
[高等代数]
[大学物理]
[计算机原理]
[电磁学]
[计算机软件与理论]
[计算机系统结构]
[操作系统]
[概率统计]
[汇编语言]
[数据结构]
[计算机软件与理论]
[计算机系统结构]
[操作系统]
[概率统计]
[汇编语言]
[数据结构]
[计算机软件与理论]
[计算机系统结构]
[操作系统]
[概率统计]
[汇编语言]
[数据结构]
[计算机软件与理论]
[计算机系统结构]
[操作系统]
[概率统计]
[汇编语言]
[数据结构]
[计算机软件与理论]
[计算机系统结构]
[操作系统]
[概率统计]
[汇编语言]
[数据结构]
[计算机软件与理论]
[计算机系统结构]
[操作系统]
[概率统计]
[汇编语言]
[数据结构]
[计算机软件与理论]
[计算机系统结构]
[操作系统]
[概率统计]
[汇编语言]
[数据结构]
[计算机软件与理论]
[计算机系统结构]
[操作系统]
[概率统计]
[汇编语言]
[数据结构]
[计算机软件与理论]
[计算机系统结构]
[操作系统]
[概率统计]
[汇编语言]
[数据结构]
[计算机软件与理论]
[计算机系统结构]
[操作系统]
[概率统计]
[汇编语言]
[数据结构]
[计算机软件与理论]
[计算机系统结构]
[操作系统]
[概率统计]
[汇编语言]
[数据结构]

BBlue-Sky
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark Sql 连接mysql
主要分享大数据相关的知识，如Spark、Hudi
05-09 1万+
转载请务必注明原创地址为：http://dongkelun.com/2018/03/21/sparkMysql/ 1、基本概念和用法（摘自spark官方文档中文版） Spark SQL 还有一个能够使用 JDBC 从其他数据库读取数据的数据源。当使用 JDBC 访问其它数据库时，应该首选 JdbcRDD。这是因为结果是以数据框（DataFrame）返回的，且这样 Spark SQL操作轻松或便......
Spark开发工程师（含项目）
02-21
本课程为大数据金融信贷项目实战课，着重讲解企业中常用的大数据技术理论与实战，如Hadoop、Hive、HBase、Sqoop、Flume、Kafka、Spark Streaming、Spark SQL、Spark Structured Streaming等。课程包含离线项目和实时项目，从项目业务需求、技术选型、架构设计、集群安装部署、集成开发以及项目可视化进行全方位实战讲解。
SparkSql学习---链接MySQL数据库并更新数据
最新发布
weixin_46164667的博客
04-24 383
要先向环境中添加mysql的jar包：数据库端口：3306用户：root密码：root数据库：spark。
【大数据技术】Spark-SQL如何连接MySQL并进行读写数据
u011762522的博客
08-13 2939
【大数据技术】spark SQL如何连接MySQL并读取数据
Spark连接MySQL的几种方式
weixin_42821133的博客
03-15 2339
一、spark连接mysql数据库的第一种方式： def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession.builder().master("local").appName("createdataframefrommysql") .config("spark.sql.shuffle.p...
spark sql 连接mysql
ImezZ
02-14 1074
一、场景描述 用spark sql计算业务逻辑，将计算结果插入hive，并将计算任务成功是否的日志插入到mysql。 二、报错信息 spark sql计算业务逻辑，将计算结果插入hive，这步运算成功。 计算任务成功是否的日志插入到mysql这步运行失败。报错信息如下： 三、解决问题 添加加载驱动代码：Class.forName("com.mysql.cj.jdbc.Driver") 四、代码展示 object SqlUtils { /** * 获取连接 */...
spark读取hbase数据，并使用spark sql保存到mysql
09-24
使用spark读取hbase中的数据，并插入到mysql中
使用Spark SQL读取数据库教程.docx
12-09
然后，我们将学习如何使用 Spark SQL 读取 MySQL 数据库。 一、安装 MySQL 安装 MySQL 需要使用以下命令： ``` sudo apt-get update sudo apt-get install mysql-server ``` 这将安装最新版本的 MySQL。 二、配置...
spark连接mysql核心代码 java实现方式
06-22
spark连接mysql核心代码 java实现方式======================================================================
使用MySQL、SQLite、Tableau、Apache Spark的SQL数据分析和可视化项目 仅供学习参考用代码.rar
05-14
mysql优化
Spark sql通过 jdbc 连接MySQL数据库报错：java.sql.SQLException: Access denied for user ‘root‘@‘localhost‘ (usin
ghw666666666的博客
10-29 2612
发现我的root@localhost的grant_priv 权限是NO。原来是我的root@localhost没有开启远程访问权限的权限。然后启动Hadoop和spark的相关进程，以及MySQL服务。用户“root”@“本地主机”的访问被拒绝（使用密码：是）再在spark-shell中通过下面命令连接MySQL。需要root@localhost开启远程访问权限。如上图所示已更改完成！
使用Spark(jdbc)从MySQL读取和保存数据.
01-19
使用Spark(jdbc)从MySQL读取和保存数据.
数据整理
weixin_43668299的博客
07-06 502
8.1 分析并预处理raw_sample数据集 import os 配置spark driver和pyspark运行时，所使用的python解释器路径 PYSPARK_PYTHON = “/root/miniconda3/bin/python3” os.environ[“PYSPARK_PYTHON”] = PYSPARK_PYTHON os.environ[“PYSPARK_DRIVER_PYTHON”] = PYSPARK_PYTHON spark配置信息 from pyspark import Spa
快学Big Data -- Spark SQL总结（二十四)
知识的力量
09-04 2795
Spark  SQL 总结 概述 Spark  Sql 是用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 特点 spark  sql 要比hive执行的速度要快，原因在于spark sql不用通过mapreduce来执行程序，减少了执行的复杂性。 Spark sql 可以将数据转化为RDD(内存中)，大大提高了执行的效率。...
sparksql连接mysql小案例
默主归沙的博客
02-09 1240
在pom.xml中添加依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.ap
Spark——基于JDBC connector读写MySQL、Oracle、PostgreSQL、Greenplum
Carson073的博客
08-18 1935
在大数据开发场景中，数据同步有很多种工具可以实现，其中包括DataX、FlinkCDC、Spark、Canal、sqoop等等，这边文章主要是描述Spark做多种数据源的同步，原理是基于jdbc驱动。
Spark连接mysql的多种方式
zp17834994071的博客
08-13 2311
大家都知道Spark可以和各种数据库进行连接并读取数据，前面已经和大家说过如何使用spark连接hive,今天就说说如何连接mysql并读取数据。 方法一：在linux下使用spark连接mysql 首先在hive的 lib中拷贝mysql依赖包到spark的jars下或者直接把驱动包复制到jars目录下 cp /opt/soft/hive110/lib/mysql-connector-java-5.1.38.jar /opt/soft/spark240/jars/ 在bin目录下启动./spark-she
Spark连接mysql的几种方式
我的祖传代码
09-20 1496
1.sparkcore-jdbc // 获取mysql的连接 写入本地的mysql val url = "jdbc:mysql://hdp-01:3306/test?characterEncoding=utf-8" var conn: Connection = null var pstm1: PreparedStatement = null var pstm2...
sparksql如何连接mysql分析数据
2301_79197199的博客
03-04 379
这是作者的表和表里面的数据。
spark sql连接mysql 连接hive
03-16
Spark SQL可以通过JDBC连接MySQL和Hive。 连接MySQL： 1. 首先需要下载MySQL的JDBC驱动程序，并将其添加到Spark的classpath中。 2. 在Spark SQL中使用以下代码连接MySQL： ``` val jdbcDF = spark.read .format("jdbc") .option("url", "jdbc:mysql://localhost:3306/mydatabase") .option("dbtable", "mytable") .option("user", "myusername") .option("password", "mypassword") .load() ``` 其中，url是MySQL数据库的连接地址，dbtable是要读取的表名，user和password是登录MySQL的用户名和密码。 连接Hive： 1. 首先需要在Spark的classpath中添加Hive的JDBC驱动程序。 2. 在Spark SQL中使用以下代码连接Hive： ``` val hiveDF = spark.read .format("jdbc") .option("url", "jdbc:hive2://localhost:10000/default") .option("dbtable", "mytable") .option("user", "myusername") .option("password", "mypassword") .load() ``` 其中，url是Hive的连接地址，dbtable是要读取的表名，user和password是登录Hive的用户名和密码。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值