spark2.0的SparkSQLbug

Spark2.0虽然速度很快，但是SparkSQL很多bug，没法采用SparkSession把数据从MySQL中导入和获取数据，采用Spark shell可以进入，执行spark.read.format("jdbc").options(Map("url" ->"jdbc:mysql://192.168.10.41:3306","user","root","password" -> "123456","Driver":"com.jdbc.mysql.Driver")).load(),一开始会出现报错，错误信息一般是：AlreadyExistsException，但是第二次运行同样的语句又是ok的，还有spark这样导入数据时，可以show(),但是不能write.saveAsTable(“table”);没法真正的保存数据进入。目前发现Spark2.0很不稳定，很多明显的bug，建议大家还是先使用Spark1.6.2版本

 

以下是本人录制的一套spark1.6.2的实时流机器学习视频： 

1、spark与kafka的介绍 
2、spark的集群安装 
3、Spark RDD函数讲解与实战分析 
4、Spark 的Java操作实现简单程序 
5、SparkRDD原理详细剖析播放 
6、Spark 机器学习，API阅读 
7、Kafka架构介绍以及集群安装 
8、Kafka生产者Producer的实战 
9、Kafka消费者Consumer剖析与实战 
10、Kafka复杂消费者的详细讲解 
11、Kafka数据安全，以及Spark Kafka Streaming API 
12、Spark+Kafka+Mysql整合 
13、Spark 机器学习ALS设计 
14、Spark ALS协同过滤java实战 
15、Spark ALS给用户推荐产品 
16、Spark机器学习后存储到Mysql 
17、Spark读取Kafka流构建Als模型 
18、Spark处理Kafka流构建Als模型 
19、Spark处理Kafka流实现实时推荐算法 
20、Spark学习经验总结，spark2与spark1的区别，下期预告 

大象在线分享spark+kafka实时流机器学习实战视频，由夜行侠老师精心录制 
http://www.itjoin.org/course/detail/57aa8938b52a8f0ddbd81763

可以关注我的微信公众号，可以观看Spark,Hadoop源码分析，Spark+kafka实时流计算，netty，solr等视频

转载于:https://my.oschina.net/itjoin/blog/810736