- 博客(12)
- 收藏
- 关注
原创 java.lang.NoClassDefFoundError: com/aliyun/oss/common/auth/CredentialsProvid
hadoop 读oss 依赖jar包异常
2023-10-10 19:17:49
286
原创 spark yarn 启动报错:Not able to initialize app directories in any of the configured local directories
主要信息就是:Not able to initialize app-log directories in any of the configured local directories for app application_1691658778247_0002 , 错误代码:exitCode: -1000。清除内存后,重启hadoop, 然后再启动yarn模式spark-shell, 启动成功,后续任务也可以运行了。到某节点上,查看$HADOOP_HOME/logs/下日志,虽然这里只是warn。
2023-08-10 19:27:01
199
原创 hive 用mysql metastore 初始化失败 The last packet sent successfully to the server was 0 milliseconds ago.
发现这个配置:查看mysql配置文件绑定地址:cat /etc/mysql/mysql.conf.d/mysqld.cnf。注:bind_address=127.0.0.1,该绑定地址仅支持本地连接localhost链接,所以需要修改绑定地址。3. 换一个角度,重新搜索hive配置mysql metastore的流程,看哪里配置漏了。1. 安装配置hive之后, 进入hive命令行,show databases失败;改为:bind-address = 0.0.0.0 #授权mysql远程访问。
2023-05-05 20:00:19
587
原创 linux下spark-shell中报错java.io.FileNotFoundException (Too many open files)
查看我读的文件夹下的文件数量,当前目录,maxdepth我的是3层,根据实际情况设定。原以为是特别复杂的问题,但是其实很简单,顾名思义,就是读的文件太多了。显然超过了设定,就是我读的文件夹下的小文件太多了。再重新执行程序spark-shell, 成功。# 查看限制的文件数量。
2023-03-31 15:39:15
326
原创 git push代码报错:HTTP 413 curl 22 The requested URL returned error: 413 Request Entity Too Large
git push HTTP 413 curl 22 The requested URL returned error: 413 Request Entity Too Large
2022-08-19 18:16:16
2945
原创 Uncaught SyntaxError: Invalid Unicode escape sequence异常处理
页面展示异常:Uncaught SyntaxError: Invalid Unicode escape sequence异常处理
2022-07-27 15:29:12
2777
原创 java.lang.NoSucjava.lang.NoSuchMethodError: scala.collection.immutable.Range.validateRangeBoundaries
出现该问题,受该文章的启发https://blog.csdn.net/someby/article/details/90175704是先导入的jar包跟已有的scala版本不一致导致的。具体说来,我导入了breeze和breeze-viz包,我的scala版本是2.11.12,但是导入的是breeze-2.10版本的包。改成breeze-2.11以后,再次测试运行通过。pox.xm...
2019-08-19 14:02:29
223
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人