- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 spark shell 启动 出现org.apache.spark.SparkException: Found both spark.executor.extraClassPath and SPARK
启动spark shell报错：Setting default log level to "WARN".To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).19/02/26 16:56:07 WARN util.NativeCodeLoader: Unable...
2019-02-26 18:19:38
3756
原创 IDEA+SBT+Spark+MySQL SparkSQL连接mysql数据库驱动依赖问题(略坑)
spark-shell中并不会遭遇这么多问题 这是在IDEA中sbt依赖问题。1、导入包问题import java.util.Propertiesimport org.apache.spark.sqlimport org.apache.spark.sql.types._import org.apache.spark.sql.Rowimport org.apache.spark...
2019-02-26 16:26:56
1781
原创 Hive踩坑之The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH，找不到驱动
在mysql中创建hive数据库，并允许hive接入mysql> create database hive; #这个hive数据库与hive-site.xml中localhost:3306/hive的hive对应，用来保存hive元数据mysql> grant all on *.* to hive@localhost identified by 'hive'; #将所...
2019-02-26 16:13:01
6310
4
原创 关于scala占位符_的一点理解
在看到 scala> val f = (_:Int) + (_:Int)f: (Int, Int) => Int = $$Lambda$1108/2058316797@4a8bf1dc scala> f(1,2)res5: Int = 3有点不太明白占位符的使用。在scala REPL测试了下：scala> val f2 = (_:Int) + (_...
2019-02-18 21:02:20
1675
jdk-1.8 linux版本 centos rpm安装版本
2019-03-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人