- 博客(5)
- 收藏
- 关注
RSS订阅原创 spark yarn-cluster模式参数配置
现象：在提交spark任务时指定executor-memory 2g时报错Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], main() threw exception, Required executor memory (2048+384 MB) is above the max ...
2018-10-19 10:14:20
1886
原创 MySQL删除数据报错
操作MySQL删除数据的时候报错如下：是操作模式问题导致，安全操作模式下不能删除；SET SQL_SAFE_UPDATES = 0;设置以上参数即可成功删除数据；
2018-10-18 18:29:19
2144
原创 spark-streaming例子程序
开发spark-streaming从服务器端口实时接收数据进行worldcount；环境搭建idea+maven 其pom文件如下：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http:/...
2018-10-18 17:52:23
217
原创 oozie调度java任务时配置文件测试
在写java项目时会有配置文件在本地，当提交到集群是通过oozie部署执行时可以通过外部加载文件的方式来读取外部配置文件，方便对配置进行更改；添加文件即可覆盖掉jar包原本的配置文件。...
2018-10-13 18:55:06
868
原创 yarn集群匿名用户触发任务
在公司的云集群中测试mr任务，总是被kill，报错：application killed by user；在yarn集群的resourceManager查看任务有多个并不断增加的dr.who提交的任务；问题追踪得到的是：集群被攻击，通过yarn集群的8088端口进入服务器，拉取脚本并执行(curl)表现：yarn集群的匿名用户任务杀不干净，服务器有两个可疑进程：curl，sh，一个拉去...
2018-10-13 18:10:36
1280
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人