spark
文章平均质量分 72
agent_x
这个作者很懒,什么都没留下…
展开
-
Spark SQL读取hive数据时报找不到mysql驱动
Exception:Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "BoneCP" plugin to create a ConnectionPool gave an error : The specified datastore driver ("com.mysql.jdbc.Driver转载 2017-11-29 11:25:35 · 1083 阅读 · 0 评论 -
Spark On YARN内存和CPU分配
转自:http://blog.csdn.NET/fansy1990软件版本:CDH:5.7.2,JDK:1.7;问题描述:在使用Spark On YARN时(无论是Client模式或者是Cluster模式,当然下面会有这种模式的对比区别),可以添加诸如:[plain] view plain copy print?–executor-memory 8G –executor-cores 5 –num-e转载 2017-11-29 19:00:49 · 819 阅读 · 0 评论 -
IDEA中使用Spark SQL 连接Hive
IDEA中使用Spark SQL 连接HiveSpark SQL命令行模式是可以直接连接Hive的,Hive的安装和mysql作为metastore配置可以参考文章。将hive-site.xml复制到Spark-Home/conf目录下即可。但是通常我们需要使用IDEA开发调试程序,在IDEA中连接Hive有些需要注意的地方,这里记录一下,折腾了一下午。1. 复制hive-site.xml将Spar原创 2018-04-15 19:39:38 · 23760 阅读 · 9 评论