- 博客(17)
- 收藏
- 关注
原创 【伊利丹】Hadoop-2.5.0-CDH5.2.0/Hive与Hbase整合实验
Hadoop Hive与Hbase整合用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面 的 hql查询.hive也即 做数据仓库 本次试验目的讲述如何让Hbase和Hive能互相访问,让Hadoop/Hbase/Hive协同工作,合为一体。
2015-06-17 14:52:03 4422
原创 【伊利丹】Hadoop-2.5.0-CDH5.2.0 版本升级和数据均衡 实验记录
引言由于开发的需要 hadoop集群的版本 要从hadoop2.2.0版本升级到 hadoop-2.5.0-cdh5.2.0版本,在升级的过程中要确保数据的完整性,故此写了下面一章关于hadoop升级和增加数据节点并使得数据均衡 的博客。正文16个节点:FBI001 到 FBI016 集群部署如下图:第一节
2014-10-28 11:02:40 7222
原创 【伊利丹】Hadoop-2.5.0-CDH5.2.0 RM HA实验记录
引言以前写了一个关于Hadoop2.0 NN HA实验记录 博客,其中记录了hadoop中NameNode出现故障时可以自动切换主备节点,现在hadoop2.5.0版本中实现了RescoureMangager可以自动切换功能,因此下面写的博客是关于 Hadoop RM HA 。正文四个节点:SY-0217 SY-0355 SY-0
2014-10-28 09:32:32 5609
原创 【甘道夫】MapReduce实现矩阵乘法--实现代码
hadoopmapreducematrix目录(?)[-]来自CODE的代码片 MMDriverjava来自CODE的代码片 MMMapperjava来自CODE的代码片 MMReducerjava之前写了一篇分析MapReduce实现矩阵乘法算法的文章:【甘道夫】Mapreduce实现矩阵乘法的算法思路为了让大家更直观的了解程序执行,今天编写了
2014-05-16 18:03:47 943
原创 【甘道夫】通过Mahout构建推荐系统--通过IDRescorer扩展评分规则
通过Mahout构建推荐系统时,如果我们需要加入某些过滤规则(比如:item的创建时间在一年以内),则需要用到IDRescorer接口,该接口源码如下:package org.apache.mahout.cf.taste.recommender;/** * * A {@link Rescorer} which operates on {@code long
2014-04-23 15:59:12 992
原创 【甘道夫】Win7环境下Eclipse连接Hadoop2.2.0
准备:确保hadoop2.2.0集群正常运行1.eclipse中建立java工程,导入hadoop2.2.0相关jar包2.在src根目录下拷入log4j.properties,通过log4j查看详细日志log4j.rootLogger=debug, stdout, Rlog4j.appender.stdout=org.apache.
2014-04-16 15:58:16 3289
原创 【甘道夫】Win7x64环境下编译Apache Hadoop2.2.0的Eclipse插件
目标:编译Apache Hadoop2.2.0在win7x64环境下的Eclipse插件环境:win7x64家庭普通版eclipse-jee-kepler-SR1-win32-x86_64.zipApache Ant(TM) version 1.8.4 compiled on May 22 2012java version "1.7.0_45
2014-04-16 15:44:13 1690
原创 【甘道夫】win7环境下eclipse连接hadoop报错简单解决:重编译FileUtil.java
Win7环境下通过eclipse连接hadoop1.2.1集群时,会遇到如下报错:Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.stagin
2014-04-15 19:14:32 864
原创 【甘道夫】info could only be replicated to 0 nodes, instead of 1
今天为了学习Mahout,部署了一个单机模式的Hadoop-1.2.1过程中logs/hadoop-casliyang-namenode-singlehadoop.log明显报错如下:2014-04-15 15:44:03,124 INFO org.apache.hadoop.ipc.Server: IPC Server handler 2 on 9000, call
2014-04-15 16:20:28 681
原创 【甘道夫】Hadoop2.2.0集群启动和停止Shell脚本
startupall.sh#!/bin/bashhadoophome="/home/yarn/Hadoop/hadoop-2.2.0/"ssh slave1 "/bin/bash ${hadoophome}sbin/hadoop-daemon.sh start journalnode"ssh slave2 "/bin/bash ${hadoophome}
2014-04-10 22:17:47 740
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人