Spark
qqliang1314
这个作者很懒,什么都没留下…
展开
-
Spark1.3.0安装配置及WordCount示例
最近尝试搭建spark开发环境,简单记录一下过程,后期有时间再完善。 1,Spark 简介 spark是一个快速通用的大规模数据处理引擎。 快速:spark在内存中的运行速度比Hadoop MapReduce快100倍,比在 磁盘上的处理速度快10倍; 易于使用:支持Java,Python,Scala和R语言。 普遍性:apache spark原创 2016-04-24 22:10:29 · 521 阅读 · 0 评论 -
Spark和Hive集成使用时mysql驱动包无法加载解决办法
我们在处理离线数据分析时,一般做法是用正则等处理数据,把最终结果保存到Hive仓库。Spark应用程序调用Hive,用Sprk sql进行查询分析。 第一次集成时,报无法找到合适的驱动错误:Caused by: java.sql.SQLException: No suitable driver found for jdbc:mysql://localhost:3306/metastore?crea原创 2017-08-06 16:35:52 · 924 阅读 · 0 评论