![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop相关
文章平均质量分 73
luoshi0801
这个作者很懒,什么都没留下…
展开
-
hive中自定义RegexSerDe尝试
当原始数据中包好了诸如'\u0001'、'\u0002'、'\u0003'等hive默认的column分隔字符时,在select数据时就可能出现数据格式错乱的情况,为了避免这类现象,可以用自定义的RegexSerDe规避这类特殊字符。 例子:ac18148213512592717614403|1351259272977|0.44|ulc|302|302^R670777442^RLBX...原创 2013-03-10 18:27:18 · 312 阅读 · 0 评论 -
Hdfs之DistributedCache
在利用mapred分析大数据时,程序中常常会引入hdfs上一些“辅助数据”,通常的做法在mr的启动前加载这些数据形成cache以提高效率,而mr在大并发下去访问hdfs的同一文件可能存在性能瓶颈,DistributedCache可以帮助解决。 DistributedCache</code> is a facility provided by the Map-Redu...2013-03-12 11:05:32 · 104 阅读 · 0 评论 -
异步hbase的用法
异步hbase包asynchbase-1.4.1.jar,maven的pom如下:<dependency> <groupId>org.hbase</groupId> <artifactId>asynchbase</artifactId> <version>1.4.1</version><原创 2013-05-03 17:57:49 · 2260 阅读 · 0 评论 -
将hdfs文件导入hive表
hive sql对hdfs的操作最终都会转化为mr任务,下面介绍如何将已经存在的hdfs文件“导入”hive表,很简单 条件及要求:1)hdfs文件为经过lzo压缩的seqFile2)seqFile数据样例 127.0.0.1 ae8186613401633040361974|1340163304040|0.1|hsf.qa.test|yuanfeng...原创 2013-02-28 20:45:58 · 2267 阅读 · 0 评论 -
hadoop如何封装shell脚本
package com.taobao.hsf.tlog.config.shell;import java.io.BufferedReader;import java.io.File;import java.io.IOException;import java.io.InputStreamReader;import java.util.Map;import org...原创 2014-01-26 15:11:04 · 163 阅读 · 0 评论