- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 hadoop对于压缩文件的支持及算法优缺点
【IT168 技术】hadoop对于压缩格式的是透明识别,我们的MapReduce任务的执行是透明的，hadoop能够自动为我们 将压缩的文件解压，而不用我们去关心。 如果我们压缩的文件有相应压缩格式的扩展名(比如lzo，gz，bzip2等)，hadoop就会根据扩展名去选择解码器解压。 压缩格式 工具 算法 文件扩展名 多文件 可分割性 DEFLATE
2013-12-30 15:56:42
426
转载 linux进程后台运行
我们经常会碰到这样的问题，用 telnet/ssh 登录了远程的 Linux 服务器，运行了一些耗时较长的任务， 结果却由于网络的不稳定导致任务中途失败。如何让命令提交后不受本地关闭终端窗口/网络断开连接的干扰呢？下面举了一些例子， 您可以针对不同的场景选择不同的方式来处理这个问题。 nohup/setsid/& 场景： 如果只是临时有一个命令需要长时间运行，什么方法能最简便的保证它在后台稳
2013-12-23 10:27:20
466
原创 udf打jar包
1. 编译 javac -cp /opt/hadoop/hadoop-core-1.1.1.jar:/opt/hadoop/hive/lib/hive-exec-0.10.0.jar ToWeek.java 用前两个jar包来编译Toweek.java 结果：在当前目录下生成ToWeek.class 2.打jar包 把hiveUDF下所有的东西(ToWeek.class
2013-12-09 16:18:41
2712
原创 日期转周 hive UDF
public static String getWeek(String sdate) { // 再转换为时间 Date date = VeDate.strToDate(sdate); Calendar c = Calendar.getInstance(); c.setTime(date); // int hour=c.get(Calendar.DAY_OF_WEEK); /
2013-12-08 22:50:24
1167
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人