06 使用spark访问mysql

本节将演示如何在spark中访问mysql。

1 系统、软件以及前提约束

• CentOS 7 64 工作站 作者的机子ip是192.168.100.200，主机名为danji，请读者根据自己实际情况设置
• 已完成scala方式的词频统计
  https://www.jianshu.com/p/92257e814e59
• mysql或者mariadb已经启动，作者的mysql账号以及密码是root/zhangli，请读者根据实际情况设置
• mysql驱动下载链接
  https://pan.baidu.com/s/1c_skDYabCRSkS5hRUB6lFQ
  提取码：a00t
• 为去除权限对操作的影响，所有操作都以root进行

2 操作

• 1 使用xshell以root登录到192.168.100.200
• 2 创建mysql中的表和数据初始化

# 在linux命令行连接到mysql
mysql -uroot -pzhangli
# 创建一个数据库实例
create database spark;
# 使用刚创建的实例
use spark;
# 创建一张表
create table t_user(id int, name varchar(20));
# 插入几条记录
insert into t_user(id,name) values(1,'ali');
insert into t_user(id,name) values(2,'zhangli');
insert into t_user(id,name) values(3,'xiaoli');

• 3 上传mysql-connector-java-5.1.47.jar到spark安装目录的bin文件夹下
• 4 连接到spark

cd /root/spark-2.2.1-bin-hadoop2.7/bin
./spark-shell --master spark://danji:7077 --jars mysql-connector-java-5.1.47.jar --driver-class-path mysql-connector-java-5.1.47.jar

• 5 使用scala进行交互操作

# 创建一个sparksql的上下文环境
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
# 与mysql建立连接
val jdbcContext = sqlContext.read.format("jdbc").options(Map("url" -> "jdbc:mysql://localhost:3306/spark", "driver" -> "com.mysql.jdbc.Driver", "dbtable" -> "t_user", "user" -> "root", "password" -> "zhangli")).load()
# 查看数据
jdbcContext .show()

以上就是通过sparksql访问mysql并查询数据的过程。