Spark大数据分与实践笔记（第四章 Spark SQL结构化数据文件处理-03）

最新推荐文章于 2023-09-23 02:14:16 发布

妉妉师姐

最新推荐文章于 2023-09-23 02:14:16 发布

阅读量617

点赞数

分类专栏：大数据-linux-spark 文章标签： spark 大数据 sql

本文链接：https://blog.csdn.net/Lydia868/article/details/126426347

版权

第四章 Spark SQL结构化数据文件处理

Spark SQL可以通过JDBC从关系型数据库中读取数据的方式创建DataFrame，通过对DataFrame进行一系列的操作后，还可以将数据重新写入到关系型数据中。关于Spark SQL对MySQL数据库的相关操作具体如下。

通过SQLyog工具远程连接hadoop01节点的MySQL服务，并利用可视化操作界面创建名称为“spark"的数据库，并创建名称为“person”的数据表，以及向表中添加数据。
同样也可以在hadoop01节点上使用MySQL客户端创建数据库、数据表以及插入数据，具体命令如下。

1．启动mysql客户端

mysql -u root -p #屏幕提示输入密码

#创建spark数据库

mysql > CREATE database spark ;

#创建person数据表

mysql > CREATE TABLE person (id INT(4) , NAME CHAR(20) , age INT(4));

#插入数据

mysql > INSERT INTO person VALUE( 1 , ' zhangsan' , 18);
mysql > INSERT INTO person VALUE(2, ' lisi ' ,20);
mysql > SELECT * FROM person;

数据库和数据表创建成功后，如果想通过Spark SQL API方式访问MySQL数据库，需要在pom.xml配置文件中添加MySQL驱动连接包，依赖参数如下。

<dependency>
<groupId>mysql</groupId>
<artifactId

关注