Spark运行任务 文件 /etc/hadoop/conf.cloudera.yarn/topology.py 报错解决

执行Spark任务的时候,之前一直运行正常,突然就报错了。不知道原因,开始先从程序日志排查解决。

看日志在调用一个python脚本是发生了错误,

ExitCodeException exitCode=1:   File "/etc/hadoop/conf.cloudera.yarn/topology.py", line 43
    print default_rack

从错误上看感觉像是python版本错误导致。环境是CDH5.7,默认依赖python2. 于是看一下python版本。

[root@cdh188 etl-data-analysis]# python --version
Python 3.6.1 :: Anaconda 4.4.0 (64-bit)

果然版本不对了,猜测是哪位同学不小心把python运行环境更改了。影响到了程序的运行。

经验证,把python改回2.6后,程序即运行正常。

  • 3
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
好的,你可以按照以下步骤创建agent配置文件/home/hadoop/flume/conf/syslogtcp.conf: 1. 打开终端并登录到hadoop用户。 2. 进入到flume的配置目录:cd /home/hadoop/flume/conf/ 3. 创建syslogtcp.conf文件并编辑它:sudo nano syslogtcp.conf 4. 在文件中添加以下内容: #定义agent名称和描述 agent.sources = source1 agent.channels = channel1 agent.sinks = sink1 #定义source1 agent.sources.source1.type = syslogtcp agent.sources.source1.host = localhost agent.sources.source1.port = 5140 #定义channel1 agent.channels.channel1.type = memory agent.channels.channel1.capacity = 1000 agent.channels.channel1.transactionCapacity = 100 #定义sink1 agent.sinks.sink1.type = hdfs agent.sinks.sink1.hdfs.path = /user/hadoop/flume/syslog/ agent.sinks.sink1.hdfs.filePrefix = syslog agent.sinks.sink1.hdfs.fileSuffix = .log agent.sinks.sink1.hdfs.rollInterval = 600 agent.sinks.sink1.hdfs.rollSize = 0 agent.sinks.sink1.hdfs.rollCount = 100 agent.sinks.sink1.hdfs.fileType = DataStream #绑定source1和channel1 agent.sources.source1.channels = channel1 #绑定sink1和channel1 agent.sinks.sink1.channel = channel1 5. 保存文件并退出编辑器。 6. 启动Flume agent并使用创建的配置文件:sudo /home/hadoop/flume/bin/flume-ng agent -n agent -c /home/hadoop/flume/conf/ -f /home/hadoop/flume/conf/syslogtcp.conf -Dflume.root.logger=DEBUG,console 现在,你已经成功创建了一个名为syslogtcp.conf的Flume agent配置文件,它将监视本地主机上的5140端口上的syslog消息,并将其写入HDFS中的/user/hadoop/flume/syslog目录。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值