Hadoop
文章平均质量分 78
xixihaha_123
这个作者很懒,什么都没留下…
展开
-
Hadoop分布式文件系统HDFS
Hadoop分布式文件系统HDFS 是一种被设计运行在任何通用硬件上的分布式文件系统。是一个高度容错性的系统,适合部署在廉价的机器上,能够提供高吞吐量的数据访问,非常适合大规模数据集上的应用。1、分布式文件系统 N台计算机联网协同工作,就像单台系统一样解决问题,也就是说它们可以横跨多台计算机的存储系统,存储在分布式系统上的数据自动分布在不同的节点上。分布式文件系统在大数据时代...原创 2015-09-16 07:03:56 · 121 阅读 · 0 评论 -
spring hadoop系列(五)---spring hadoop hbase之HbaseSynchronizationManager
一、源码如下/** * Synchronization manager handling the tracking of Hbase resources (specifically tables). Used either manually or through {@link HbaseInterceptor} to bind a table to the thread. * Each...原创 2015-11-27 18:16:39 · 136 阅读 · 0 评论 -
spring hadoop 系列(三)--spring hadoop hbase HbaseConfigurationFactoryBean
一、源码分析/** * 设定Hbase指定Configuration;在默认情况是删除当前配置管理的连接信息 * 有参数deleteConnection 控制 */public class HbaseConfigurationFactoryBean implements InitializingBean, DisposableBean, FactoryBean { ...原创 2015-11-27 16:28:26 · 232 阅读 · 0 评论 -
spring hadoop 系列(二)
一、源码分析/** * * HbaseAccessor作为HbaseTemplate以及HbaseIntercepter的基类;同时也定义 * 公共的HBase Configuration 以及 HTableInterfaceFactory * */public abstract class HbaseAccessor implements Initializin...原创 2015-11-27 15:26:46 · 114 阅读 · 0 评论 -
spring hadoop之batch处理(二)
一、测试public class MrBatchApp { // Log private static final Log log = LogFactory.getLog(MrBatchApp.class); // public static void main(String[] args) throws JobParametersInval...原创 2015-11-24 18:10:45 · 317 阅读 · 0 评论 -
spring hadoop之mapreduce batch
一、测试// 定义hadoop configurationConfiguration conf = new Configuration();// 指定hdfs上获取分析文件目录和输出分析结果目录// 格式:hdfs://10.33.96.241:8020/user/tweets/input// hdfs://10.33.96.241:8020/user/tweets...原创 2015-11-24 15:51:39 · 196 阅读 · 0 评论 -
centos6.7 64位 伪分布 安装 cdh5.4.8 + jdk 8
一、安装JAVA# 创建JAVA的目录mkdir -p /usr/java cd /usr/java#将下载的rpm包移到此目录#执行安装rpm -ivh jdk-8u65-linux-x64.rpm (对应你的rpm)#增加环境变量vim /etc/profile修改profile 最后面加入export JAVA_HOME=/usr/java/jdk1...原创 2015-11-09 00:37:17 · 130 阅读 · 0 评论 -
spring hadoop系列二(MapReduce and Distributed cache)
关于MapReduce and Distributed Cache一、创建Hadoop Job在前面的系列一里面我们已经知道如何配置hadoop了,在完成配置工作之后,我们如何提交job,并运行这些job将是接下来我们讲述的使用SHDP创建job是相当简单的<hdp:job id="mr-job" 指定jod id ...原创 2015-11-06 15:22:50 · 117 阅读 · 0 评论 -
spring hadoop系列一
一、要求1、对于spring hadoop2.1构建在jdk7上面(最低要求:jdk6及其以上),hadoop 2.6 默认构建在spring framework 4.1上。2、spring for Apache hadoop2.1支持如下hadoop版本 Apache Hadoop 2.4.1 Apache Hadoop 2.5.2 Apache Hadoop 2...原创 2015-11-05 23:18:37 · 237 阅读 · 0 评论 -
Hadoop+Hbase+Zookeeper(独立)环境搭建 ---(转)
准备的机器信息:192.168.247.128 dengnn(master) 192.168.247.129 dengdn1 (slave1) 192.168.247.130 dengdn2 (slave2)集群搭建 参考资料 cloudera hadoop 搭建http://heylinux.com/archives/1980.htmlhttp://www.ibm.com/deve...原创 2015-10-23 08:34:48 · 142 阅读 · 0 评论 -
hadoop2.6.1单机安装
centos6.6安装hadoop2.6.1操作步骤 大致如下1.安装JDK1.1下载上传jdk-7u79-linux-i586.rpm1.2安装rpm -ivh jdk-7u79-linux-i586.rpm1.3将java添加到环境变量中vim /etc/profile#在文件最后添加export JAVA_HOME=/usr/java/jdk1.7...原创 2015-10-22 17:12:31 · 122 阅读 · 0 评论 -
spring hadoop系列(六)---HbaseSystemException
一、源码/** * HBase Data Access exception. * @author Costin Leau */@SuppressWarnings("serial")public class HbaseSystemException extends UncategorizedDataAccessException { public HbaseSyste...原创 2015-11-30 09:13:42 · 325 阅读 · 0 评论