- 博客(6)
- 收藏
- 关注
RSS订阅原创 idea+maven+scala+spark-submit打包上传报ClassNotFoundException，找不自定义的类
报错原因原因一：maven打包失败，没有加入将scala编译原因二：spark-submit参数写的不对，class后面需要全类名原因三：jar包上传失败，不完整 java.lang.ClassNotFoundException: com.xxx.xxx at java.net.URLClassLoader.findClass(URLClassLoader.java:382) at java.lang.ClassLoader.loadClass(ClassLoader.jav
2021-05-22 17:43:58
736
原创 linux知识之面试题
linux1.常用高级命令2.文件查看命令 **cat more less**3.压缩文件打包gzip/gunzip 压缩zip/unzip 压缩tar 打包4.RPM软件包管理5.搜索查看 find、locate6.文件处理（1）cut 文件切割工具(2) sed 流处理工具（4）awk 流处理工具（5）sort 文件内容排序7.shell 1.常用高级命令 序号 命令 命令解释 1 top 查看内存 2 df 查看磁盘内存情况 3 iotop 查看磁盘IO读写情况（需要安装
2021-05-09 11:40:47
154
原创 解决 wget Connecting to archive.cloudera.com|151.101.0.167|:443... failed: Connection refused.
执行 wget https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/cloudera-cdh5.repo 报错如下： 解决： 在使用wget下载过程中，有时会因为https和ssl的原因，出现类似"Unable to establish SSl connection"的错误，导致不能下载。这时可以使用 --no-cookie --no-check-certificate 这两个参数解决。 wget --no-cookie --no-check-ce
2020-08-18 10:57:50
1997
1
原创 Hue启动时可能会出现的错误
hue启动时的错误 1.端口被占用 错误 解决： 配置问题 如果时重启 上一次 ctrl+z杀死的时候 解决 ps -a杀死supervisor hue进程重启 kill -9 23215 23221 2.启动显示KeyError: “Couldn’t get user id for user hue” 原因： 出现此问题的原因是因为你使用的root用户安装了hue，然后在root用户下使用的build/env/bin/supervisor。 解决： 解决：创建用户useradd hue 为
2020-06-19 15:50:36
1585
原创 Oozie 调度 shell 脚本提交不到yarn
job一直处于SUSPENDED，没有提交到yarn 在oozied web找错误 解决方案： 原因是yarn-site.xml中的两处配置值太小了，不满足作业的申请条件 把yarn-site.xml中的两处配置加大一点： 容器内存 yarn.nodemanager.resource.memory-mb 最大容器内存 yarn.scheduler.maximum-allocation-mb eg: 执行任务和查询一些状态 1.上传任务配置 /export/servers/hadoop-2.7.5/bin.
2020-06-18 20:18:02
402
原创 hadoop配置job日志记录以及中要配置简单的讲解
hadoop配置job日志记录web 日志环境变量配置mapred-site.xmlyarn-site.xml环境变量不同的作用重要的相关配置 web 日志环境变量配置 参考博主 mapred-site.xml <configuration> <!-- 开启MapReduce小任务模式 --> <property> <name>mapreduce.job.ubertask.enable</name> <value>true&
2020-06-04 17:13:55
1552
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人