FBI启示录-CSDN博客

原创【伊利丹】Hadoop-2.5.0-CDH5.2.0/Hive与Hbase整合实验

Hadoop Hive与Hbase整合用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面的 hql查询.hive也即做数据仓库本次试验目的讲述如何让Hbase和Hive能互相访问，让Hadoop/Hbase/Hive协同工作，合为一体。

2015-06-17 14:52:03 4401

原创【伊利丹】Hadoop-2.5.0-CDH5.2.0 版本升级和数据均衡实验记录

引言由于开发的需要 hadoop集群的版本要从hadoop2.2.0版本升级到 hadoop-2.5.0-cdh5.2.0版本，在升级的过程中要确保数据的完整性，故此写了下面一章关于hadoop升级和增加数据节点并使得数据均衡的博客。正文 16个节点：FBI001 到 FBI016 集群部署如下图：第一节

2014-10-28 11:02:40 7197

原创【伊利丹】Hadoop-2.5.0-CDH5.2.0 RM HA实验记录

引言以前写了一个关于Hadoop2.0 NN HA实验记录博客，其中记录了hadoop中NameNode出现故障时可以自动切换主备节点，现在hadoop2.5.0版本中实现了RescoureMangager可以自动切换功能，因此下面写的博客是关于 Hadoop RM HA 。正文四个节点：SY-0217 SY-0355 SY-0

2014-10-28 09:32:32 5587

原创 Hbase-0.96.2完全分布式安装部署

Hbase-0.96.2完全分布式安装部署

2014-06-26 18:06:11 1864

原创【伊利丹】Hadoop2.0 NN HA实现记录的异常

在上一篇的NN HA实验记录中有一些问题：当你

2014-06-13 13:03:09 5413 1

原创【伊利丹】Hadoop2.0 NN HA实验记录

Hadoop2.0主备NameNode自动切换实验

2014-06-05 13:41:45 4648

原创【甘道夫】MapReduce实现矩阵乘法--实现代码

hadoopmapreducematrix 目录(?)[-] 来自CODE的代码片 MMDriverjava来自CODE的代码片 MMMapperjava来自CODE的代码片 MMReducerjava 之前写了一篇分析MapReduce实现矩阵乘法算法的文章：【甘道夫】Mapreduce实现矩阵乘法的算法思路为了让大家更直观的了解程序执行，今天编写了

2014-05-16 18:03:47 923

原创【甘道夫】通过Mahout构建推荐系统--通过IDRescorer扩展评分规则

通过Mahout构建推荐系统时，如果我们需要加入某些过滤规则（比如：item的创建时间在一年以内），则需要用到IDRescorer接口，该接口源码如下： package org.apache.mahout.cf.taste.recommender; /** * * A {@link Rescorer} which operates on {@code long

2014-04-23 15:59:12 977

原创【甘道夫】Win7环境下Eclipse连接Hadoop2.2.0

准备：确保hadoop2.2.0集群正常运行 1.eclipse中建立java工程，导入hadoop2.2.0相关jar包 2.在src根目录下拷入log4j.properties，通过log4j查看详细日志 log4j.rootLogger=debug, stdout, R log4j.appender.stdout=org.apache.

2014-04-16 15:58:16 3263

原创【甘道夫】Win7x64环境下编译Apache Hadoop2.2.0的Eclipse插件

目标：编译Apache Hadoop2.2.0在win7x64环境下的Eclipse插件环境： win7x64家庭普通版 eclipse-jee-kepler-SR1-win32-x86_64.zip Apache Ant(TM) version 1.8.4 compiled on May 22 2012 java version "1.7.0_45

2014-04-16 15:44:13 1639

原创【甘道夫】win7环境下eclipse连接hadoop报错简单解决：重编译FileUtil.java

Win7环境下通过eclipse连接hadoop1.2.1集群时，会遇到如下报错： Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.stagin

2014-04-15 19:14:32 829

原创【甘道夫】info could only be replicated to 0 nodes, instead of 1

今天为了学习Mahout，部署了一个单机模式的Hadoop-1.2.1 过程中logs/hadoop-casliyang-namenode-singlehadoop.log明显报错如下： 2014-04-15 15:44:03,124 INFO org.apache.hadoop.ipc.Server: IPC Server handler 2 on 9000, call

2014-04-15 16:20:28 660

原创【甘道夫】Mapreduce实现矩阵乘法的算法思路

大数据计算中经常会遇到矩阵乘法计算问题，所以

2014-04-13 10:49:43 1257

原创一点说明

参与编写该博客的小伙伴有4人，分别是【甘道夫】（我），【lai】

2014-04-11 09:17:02 612

原创【甘道夫】Hadoop2.2.0集群启动和停止Shell脚本

startupall.sh #!/bin/bash hadoophome="/home/yarn/Hadoop/hadoop-2.2.0/" ssh slave1 "/bin/bash ${hadoophome}sbin/hadoop-daemon.sh start journalnode" ssh slave2 "/bin/bash ${hadoophome}

2014-04-10 22:17:47 722

原创【甘道夫】拷贝文件到多台服务器的Shell脚本

在多机集群环境中，修改配置文件后需要scp到多台服务器，非常麻烦，

2014-04-10 17:24:10 920

原创开篇

辅龙信息的大数据团队官方博客，我们将在此记录团队成长的点点滴滴，尽请期待！

2014-04-02 15:06:28 519

FBI启示录