1.linux端启动mysql服务:
server mysqld start 启动mysql服务进程
netstat -anp | grep 3306 查看mysql服务是否启动
mysql -u root -p 使用root用户登陆mysql
输入密码即可登陆,首次登陆或者无密码,则不需要密码直接回车即可。
2.建立数据库集表
create database sparktest;
user sparktest;
create table employee(id int,name char(10),sex char(2),age int);
或者可以使用mysql的可视化软件进行创建,更加方便。
3.项目代码
package sparkSql
import java.util.Properties
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.types.{IntegerType, StringType, StructType}
import org.apache.spark.sql.{DataFrame, Row, SparkSession}
object sparkSql_JDBC {
def main(args: Array[String]): Unit = {
//设置spark运行环境
val spark = SparkSession
.builder().master("local[2]")
.appName("Spark SQL basic example")
.getOrCreate()
spark.sqlContext.sparkContext.setLogLevel(