- 博客(5)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 spark采坑集锦之用kafka作为DStream数据源，并行度问题
在SparkStreaming中作为数据源的Kafka怎样接收多主题发送的数据呢？使用StreamingContext.union方法将多个streaming流合并处理def main(args: Array[String]): Unit = { Logger.getLogger("org.apache.spark").setLevel(Level.ERROR) val con...
2019-06-29 23:49:59
578
原创 spark采坑之hive2.0版本后面初始化错误
报错一：Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the “BONECP” plugin to create a ConnectionPool gave an error : The specified datastore driver (“com.mysql.jdbc.Driver”) w...
2019-06-28 12:46:30
958
原创 spark采坑集锦之sparksql操作hive
spark sql如果想操作hive，用sql命令在hive中操作表一、需要在spark安装目录的conf文件夹准备好以下三个文件hadoop安装目录中conf文件夹下的配置文件core-site.xmlhdfs-site.xmlhive安装目录中conf文件夹下的配置文件hive-site.xml里面的mysql用户名 密码 和主机名一定要对啊还有mysql的版本要和这里的驱动一...
2019-06-28 10:54:39
587
原创 scala中连接mysql8.0数据库
在maven中查询需要的依赖 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>8.0.12</version...
2019-06-27 17:20:17
730
原创 ERROR StatusLogger No log4j2 configuration file found.
idea报日志错误ERROR StatusLogger No log4j2 configuration file found. Using default configuration: logging only errors to the console.pom.xml中加上配置 <dependency> <groupId>org.apache.loggi...
2019-06-11 19:16:25
11719
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人