如何确定hadoop的mapreduce运行的日志存放在哪里?

有时候想看mr的运行日志,比如在mr中放入了一些log,那么这些log要从哪里查看呢?接下来笔者阐述一下自己的理解。1. 通过配置文件确认属性yarn.nodemanager.remote-app-log-dir 的值,如下:<property>&...

2018-03-28 12:37:30

阅读数 1585

评论数 0

多个线程N个对象锁

import org.slf4j.Logger; import org.slf4j.LoggerFactory; /** * Created by csj on 2017/3/27. * 虽然在赋值的时候进行了同步,但在取值的时候有可能出现一些意想不到的意外,比如在读取实例变量时,该值已经被...

2017-03-29 22:12:21

阅读数 443

评论数 0

使用线程安全的单个实例变量

非线程安全存在于实例变量,方法内部的私有变量不存在非线程安全问题, 永远都是线程安全的,这都是方法内部的变量是私有的特性造成的。 如果多个线程共同访问1个对象中的实例变量,有可能出现非线程安全

2017-03-26 10:27:52

阅读数 249

评论数 0

Hive Could not find status of job

报警信息: Caused by: HiveServerException(message:Query returned non-zero code: 1, cause: FAILED: Execution Error, return code 1 from org.apache.hado...

2017-03-19 13:21:11

阅读数 1171

评论数 0

Hive Process forward class cast error exceed 1000

报警信息如下: Diagnostic Messages for this Task: Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Process forward cla...

2017-03-16 12:30:23

阅读数 343

评论数 0

Hive Job status not available

收到的报警信息: Caused by: HiveServerException(message:Query returned non-zero code: 1, cause: FAILED: Execution Error, return code 1 from org.apache.hadoo...

2017-03-16 09:29:58

阅读数 683

评论数 0

linux curl 定时执行 web请求

有时候因改造程序,历史的数据需要重跑,但是数据有依赖关系,比如昨天的数据今天要使用到,今天的数据会被明天使用到,因此如果需要重跑长时间段的历史作业最好写一个脚本,定时发送请求,定多长时间,根据重跑一个任务所需花费的最长时间确定; 确定以下需要的参数值: 在已登陆的系统中发送请求说明需要请求的u...

2017-03-11 14:46:03

阅读数 2472

评论数 0

hive left outer join 两次

有时候查询hive表的时候需要用到两次的left outer join ,在这里做如下笔记 select x.id,x.name from ( select  m.id ,m.name   from (  select id , name  from A  ) m left out...

2017-03-11 13:25:20

阅读数 435

评论数 0

interrupt 中断线程

import org.slf4j.Logger; import org.slf4j.LoggerFactory; /** * Created by csj on 2017/3/4. * * 实现多线程的两种方式:1. extends Thread , implements Runnabl...

2017-03-04 21:46:47

阅读数 214

评论数 0

currentThread

currentThreadimport org.slf4j.Logger; import org.slf4j.LoggerFactory;/** * Created by csj on 2017/3/2. */ public class ThreadTest { public...

2017-03-02 20:46:54

阅读数 796

评论数 0

使用hive查询hdfs数据时报字段类型异常

报错信息: Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.ClassCastException: org.openx.data.jsonserde.json.JSONArray cannot be c...

2017-02-09 09:13:18

阅读数 636

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭