hadoop
文章平均质量分 80
李文杰灬
这个作者很懒,什么都没留下…
展开
-
MapReduce操作Hbase
本文主要介绍如何使用 MapReduce 来操作 Hbase,使用 MapReduce将 HDFS 的文件导入到 hbase,从 HBase 实现备份数据到 HDFS,将 HBase 中的数据导入到 MySQL1.创建项目笔者使用的开发工具是idea,你也可以使用eclipse、myeclipse或其它工具,创建一个maven项目1.pom.xml 配置如下<?xml version="1.0" e转载 2017-08-29 14:45:54 · 955 阅读 · 0 评论 -
Hadoop 及 Hive 压缩应用
1.压缩在Hadoop中的应用1.压缩概述 为什么使用压缩?文件压缩主要有两个好处:一是减少了存储文件所占空间,二是提高了数据的传输速度,在大数据环境下,这两点显的尤为重要。压缩主要应用在输入文件(Map的输入)、输出文件(Reduce的输出)及中间输出(只有Map,没有Reduce,Map的输出)。 常用的压缩技术有两种,一种是无损压缩(Lossless compression),一种是有损压转载 2017-08-29 15:25:30 · 337 阅读 · 0 评论