- 博客(8)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Python常用文件读写
读文本文件input = open('data', 'r')#第二个参数默认为rinput = open('data') 读二进制文件input = open('data', 'rb') 读固定字节file_object = open('abinfile', 'rb') 3.写文件写文本文件output = open('data', 'w')...
2013-12-25 14:48:28
106
原创 Python简单时间日期处理
在使用一个编程语言的时候，有些功能必不可少。其中就有日期的计算。 import datetime#日期初始化：d1 = datetime.datetime(2005, 2, 16)d2 = datetime.datetime(2004, 12, 31)#日期相减：print (d1 - d2).daysstarttime = datetime.date...
2013-12-25 14:38:04
240
原创 开发自定义同步到MongoDB的OutputFormat
需求需要将Hadoop的数据插入到MongoDB。 数据类型是将字符串转换成一个类似Map的对象，插入到数据库中。以替换原有的单线程接口。 import java.io.IOException;import java.util.*;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop....
2013-12-24 15:44:29
153
原创 MongoDB JDBC调Command
受到这个blog的启发：http://wangzijian777.iteye.com/blog/1141763 和原文遇到的问题不同，我这里是远程数据同步到MongoDB中。遇到删表后产生大量碎片文件，挤占系统空间。 Mongo m = new Mongo();db = m.getDb("admin");db.eval("db.shutdownServer");...
2013-12-23 18:02:12
172
原创 Hadoop: LongWritable cannot be cast to org.apache.hadoop.io.IntWritable
写MR Job的时候遇到一个坑爹的异常：LongWritable cannot be cast to org.apache.hadoop.io.IntWritable 当写Map的时候，key的默认输入就是LongWritable。因为LongWritable指代Block中的数据偏移量。 所以把它强行转换成Text当然就Error了。。public static ...
2013-12-22 12:04:21
4058
Oozie 自动retry和跳节点运行
对于一些Job，可能是由于临时的环境依赖关系，导致的调度失败。比如说调用远程的WebService接口，Restful接口等。或者是同步远程数据发生网络异常，这种情况，应该予以自动重跑。 在Oozie下面，是支持这样的操作的：<workflow-app xmlns="uri:oozie:workflow:0.3" name="wf-name"> <ac...
2013-12-09 14:35:36
790
原创 Java动态代理
Java的各种框架之中经常会使用到动态代理，包括AOP编程。于是小弟下决心好好研究研究。 动态代理和静态代理的区别在于，动态代理会通过反射来生成一个静态代理对象。通过静态代理对象来访问服务器的内部接口。 比如说一些日志组建的调用，安全性强的有事物的开启和关闭，数据库连接的开启和关闭。这些接口如果在服务器上面，开放给客户端进行随意调用，很可能会出现问题。 所以...
2013-12-04 22:14:55
63
原创 [半转]遇到Map-side Aggregation OOM 异常
原文来自：http://blog.csdn.net/macyang/article/details/9260777 通读了一下，进行翻译：在MapReduce job下面，有个Combiner，工作机制是将Reducer的工作分担一部分给Map阶段来做。在Hive的执行计划优化中也是如此，默认情况下会开启Map-side Aggregation优化的功能。 select...
2013-12-03 15:07:45
147
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人