- 博客(2)
- 收藏
- 关注
RSS订阅原创 IDEA中使用Spark SQL远程连接Hive
记录一下spark sql远程连接hive，进行sql操作的过程。1、把远程端的hive-site.xml文件放在idea的resources目录下注意这里要改成远程要访问的ip地址2、引入mysql驱动包，因为spark sql其实是访问的是存储hive元数据的库，我的是mysqlcrt+alt+shift+s打开导包界面，点击“+” > Library > Java 选择mysql驱动包如果没有mysql驱动包会报这样的错误：java.lang.Runti
2021-08-30 21:15:37
3543
原创 spark启动报错：failed : nice -n 0 /apps/spark-yarn/bin/spark-class org.apache.spark.deploy.worker.Worker
截取字符串(1)、##和%%的使用假设我们定义了一个变量为：file=/dir1/dir2/dir3/my.file.txt可以用${ }分别替换得到不同的值：${file#*/}：删掉第一个/及其左边的字符串：dir1/dir2/dir3/my.file.txt${file##*/}：删掉最后一个/及其左边的字符串：my.file.txt${file#*.}：删掉第一个.及其左边的字符串：file.txt${file##*.}：删掉最后一个.及其左边的字符串：txt${f
2021-08-19 14:50:45
443
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人