- 博客(11)
- 资源 (2)
- 收藏
- 关注
原创 如何确定hadoop的mapreduce运行的日志存放在哪里?
有时候想看mr的运行日志,比如在mr中放入了一些log,那么这些log要从哪里查看呢?接下来笔者阐述一下自己的理解。1. 通过配置文件确认属性yarn.nodemanager.remote-app-log-dir 的值,如下:<property><name>yarn.nodemanager.remote-app-log-dir</name><value&g...
2018-03-28 12:37:30 5232
原创 多个线程N个对象锁
import org.slf4j.Logger;import org.slf4j.LoggerFactory;/** * Created by csj on 2017/3/27. * 虽然在赋值的时候进行了同步,但在取值的时候有可能出现一些意想不到的意外,比如在读取实例变量时,该值已经被其他线程更改过了,这种情况就是脏读,根本原因是多个线程争夺实例变量引起的 * * * 总结:针对
2017-03-29 22:12:21 695
原创 使用线程安全的单个实例变量
非线程安全存在于实例变量,方法内部的私有变量不存在非线程安全问题, 永远都是线程安全的,这都是方法内部的变量是私有的特性造成的。如果多个线程共同访问1个对象中的实例变量,有可能出现非线程安全
2017-03-26 10:27:52 468
原创 Hive Could not find status of job
报警信息:Caused by: HiveServerException(message:Query returned non-zero code: 1, cause: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask, errorCode:1, SQLStat
2017-03-19 13:21:11 3190
原创 Hive Process forward class cast error exceed 1000
报警信息如下:Diagnostic Messages for this Task:Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Process forward class cast error exceed 1000, [Error getting row data
2017-03-16 12:30:23 621
原创 Hive Job status not available
收到的报警信息:Caused by: HiveServerException(message:Query returned non-zero code: 1, cause: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask, errorCode:1, SQLState
2017-03-16 09:29:58 1520
原创 linux curl 定时执行 web请求
有时候因改造程序,历史的数据需要重跑,但是数据有依赖关系,比如昨天的数据今天要使用到,今天的数据会被明天使用到,因此如果需要重跑长时间段的历史作业最好写一个脚本,定时发送请求,定多长时间,根据重跑一个任务所需花费的最长时间确定;确定以下需要的参数值:在已登陆的系统中发送请求说明需要请求的url , cookie,token根据系统的实现判断是否需要,该token是放在哪个位置的, 提交的数
2017-03-11 14:46:03 4255
原创 hive left outer join 两次
有时候查询hive表的时候需要用到两次的left outer join ,在这里做如下笔记select x.id,x.name from (select m.id ,m.name from ( select id , name from A ) m left outer join (select id , name from B ) n on m.id
2017-03-11 13:25:20 1065
原创 interrupt 中断线程
import org.slf4j.Logger;import org.slf4j.LoggerFactory;/** * Created by csj on 2017/3/4. * * 实现多线程的两种方式:1. extends Thread , implements Runnable,Thread 也是implements Runnable 接口,这两者之间存在多态关系 * Th
2017-03-04 21:46:47 390
原创 currentThread
currentThreadimport org.slf4j.Logger; import org.slf4j.LoggerFactory;/** * Created by csj on 2017/3/2. */ public class ThreadTest { public static final Logger logger = LoggerFactory.getLogge
2017-03-02 20:46:54 1041
原创 使用hive查询hdfs数据时报字段类型异常
报错信息:Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.ClassCastException: org.openx.data.jsonserde.json.JSONArray cannot be cast to java.lang.Integer报错原因:原因是hive 元数据表中定义的
2017-02-09 09:13:18 1459
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人