关闭

spark 连接mysql

标签: sparkmysql
5061人阅读 评论(0) 收藏 举报
最近在做关于spark的学习,其中有一项是关于spark和mysql的连接操作,    我是在spark-shell上操作的,首先打开spark-shell的方式需要注意指定mysql jar包的位置
./bin/spark-shell --jars ./lib/mysql-connector-java-5.1.35.jar

import org.apache.spark.sql.SQLContext  
val sqlContext = new SQLContext(sc)  
import sqlContext.implicits._  
val url = "jdbc:mysql://10.15.90.244:3306/thd"  
val table = "class"  
val reader = sqlContext.read.format("jdbc") 
reader.option("url", url)  
reader.option("dbtable", table)  
reader.option("driver", "com.mysql.jdbc.Driver")  
reader.option("user", "root")  
reader.option("password", "***")  
val df = reader.load()  
df.show() 

通过上述方式可以得到一张表的显示,但是df直接操作譬如select *from talbename 怎么办呢,

后来看了另一个博客里面有另一种访问mysql方式,同样是在spark-shell下,

val dataframe_mysql = sqlContext.read.format(“jdbc”).option(“url”, “jdbc:mysql://10.12.218.250:3306/thd”).option(“driver”, “com.mysql.jdbc.Driver”).option(“dbtable”, “data”).option(“user”, “root”).option(“password”, “*“).load()

然后需要把dataframe_mysql注册一下,这里注册后的表名是names
dataframe_mysql.registerTempTable(“names”)

之后就可以对其进行操作了如
dataframe_mysql.sqlContext.sql(“select * from names”).collect.foreach(println)

来自链接https://www.supergloo.com/fieldnotes/spark-sql-mysql-example-jdbc/

1
0
查看评论

使用Apache Spark让MySQL查询速度提升10倍以上

作者:Alexander Rubin 链接:http://coyee.com/article/11012-how-apache-spark-makes-your-slow-mysql-queries-10x-faster-or-more 在这篇文章中我们将讨论如何利用 Apache Spark ...
  • wind520
  • wind520
  • 2016-08-26 14:15
  • 8586

Spark与Mysql的交互

背景Spark在对目标数据进行计算后,RDD格式的数据一般都会存在HDFS,Hive,HBase中,另一方面,对于非RDD格式的数据,可能会存放在像Mysql中这种传统的RDMS中.RDD非RDDimport java.sql.{Date, DriverManager, PreparedStatem...
  • Edin_BlackPoint
  • Edin_BlackPoint
  • 2016-09-27 15:26
  • 1838

Spark-SQL从MySQL中加载数据以及将数据写入到mysql中(Spark Shell方式,Spark SQL程序)

1. JDBCSpark SQL可以通过JDBC从关系型数据库中读取数据的方式创建DataFrame,通过对DataFrame一系列的计算后,还可以将数据再写回关系型数据库中。1.1. 从MySQL中加载数据(Spark Shell方式)1.启动Spark Shell,必须指定mysql连接驱动ja...
  • toto1297488504
  • toto1297488504
  • 2017-07-11 18:50
  • 3995

spark 开发环境读取mysql

问题导读 1、idea上运行local的spark sql hive流程是怎样的? 2、如何安装配置安装 remote metastore? 3、如何解决org.apache.spark的问题? 在本机上通过idea跑spark sql进行hive查询等操作,一方面可以用于d...
  • javastart
  • javastart
  • 2016-03-31 16:34
  • 1223

spark sql读取mysql数据源并且将结果写入mysql

spark sql链接mysql数据源
  • high2011
  • high2011
  • 2016-09-11 13:42
  • 7329

spring+mybatis+spark+mysql

  • 2017-09-07 17:34
  • 22.94MB
  • 下载

MySQL里创建索引(Create Index)的方法和语法结构及例子,

CREATE INDEX SyntaxCREATE [UNIQUE|FULLTEXT|SPATIAL] INDEX index_name [index_type] ON tbl_name (index_col_name,...) [index_type]index_col_name...
  • java2000_net
  • java2000_net
  • 2009-07-01 15:19
  • 31005

使用sparksql读取mysql中的数据

1.使用sparksql读取MySQL中的数据,读取整张表的时候,代码如下 val conf=new SparkConf().setAppName("SparkSql running......................").setMaster("local...
  • u012940753
  • u012940753
  • 2016-04-26 21:14
  • 4481

Spark将计算结果写入到Mysql中

在《Spark与Mysql(JdbcRDD)整合开发》文章中我们介绍了如何通过Spark读取Mysql中的数据,当时写那篇文章的时候,Spark还未提供通过Java来使用JdbcRDD的API,不过目前的Spark提供了Java使用JdbcRDD的API。   今天主要来谈谈如果将Spark计算的...
  • LW_GHY
  • LW_GHY
  • 2016-05-22 21:26
  • 2088

spark操作mysql数据库

spark对mysql提供了一些基本的读写操作,今天这边文章主要从读写两个方面来讲。 一、spark读取mysql数据库 1、通过JdbcRdd来读取       首先看一下官方文档是如何介绍的 翻译为: 1、getConnection 返回一...
  • tolcf
  • tolcf
  • 2016-07-18 18:03
  • 6060
    个人资料
    • 访问:15899次
    • 积分:281
    • 等级:
    • 排名:千里之外
    • 原创:13篇
    • 转载:3篇
    • 译文:0篇
    • 评论:0条