- 博客(2)
- 资源 (3)
- 收藏
- 关注
原创 FileInputFormat分析
一.程序简介 在mapreduce程序运行的开始阶段,hadoop需要将待处理的文件进行切分,按定义格式读取等操作,这些操作都在InputFormat中进行。 InputFormat是一个抽象类,他含有getSplits()和createRecordReader()抽象方法,在子类中必须被实现。这两个就是InputFormat的基本方法。getSplits()确定输入对象的切分原则,而createRecordReader()则可以按一定格式读取相应数据。 二.程序详细分析 FileInputForm
2010-12-17 10:34:00 2878
原创 hbase入库效率提升研究(一)
最近在研究hbase,查询效率确实不错,不过入库效率不理想,今天周五就小结以下。 hbase使用java 的api入库很简单: Configuration conf = HBaseConfiguration.create(); HTable table = new HTable(); Put p = new Put("表名"); p.add(("族列名").getBytes(), "字段名".getBytes(),"值".ge
2010-12-10 15:48:00 8101 4
hbase培训ppt
2013-05-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人