风行天下

hadoop 网络游戏 探索

中国大数据专业公司

1. 上海星环信息科技 http://www.transwarp.cn/ 2. 广州巨杉软件 http://www.sequoiadb.com/ 3. 北京红象云腾系统技术公司 4.天云融创数据科技 http://www.beagledata.com/ 5.成都数联铭品 http://...

2015-10-04 10:01:28

阅读数:1157

评论数:0

安装flume1.5

1:下载 wget http://mirrors.hust.edu.cn/apache/flume/1.5.0/apache-flume-1.5.0-bin.tar.gz

2014-10-20 11:29:30

阅读数:4571

评论数:1

centos安装Hue 3.7.0

Hue 是运营和开发Hadoop应用的图形化用户界面。Hue程序被整合到一个类似桌面的环境,以web程序的形式发布,对于单独的用户来说不需要额外的安装。

2014-10-18 23:02:00

阅读数:6580

评论数:4

centos安装Ambari

参考:https://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+1.6.1+from+Public+Repositories

2014-10-17 23:45:40

阅读数:13581

评论数:2

Hadoop计算中的Shuffle过程

Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce,Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job性能调优的工作,需要深入代码研究MapReduc...

2014-09-18 22:23:46

阅读数:1036

评论数:0

Hadoop Pig学习笔记 各种SQL在PIG中实现

我这里以Mysql 5.1.x为例,Pig的版本是0.8     同时我将数据放在了两个文件,存放在/tmp/data_file_1和/tmp/data_file_2中.文件内容如下:     tmp_file_1: Txt代码   zhangsan    23...

2014-09-09 09:15:56

阅读数:898

评论数:0

ERROR Streaming result set com.mysql.jdbc.RowDataDynamic@1d5a7f6 is still active. No statements may

[jifeng@jifeng02 sqoop]$ bin/sqoop import --connect jdbc:mysql://10.X.X.X:3306/lir --username dss --password 123123 --table bb_month --hive-import -m...

2014-09-08 01:37:37

阅读数:7567

评论数:3

WARNING : There are about 34 missing blocks. Please check the log or run fsck.

'jifeng01:9000' Started: Sat Sep 06 22:41:47 CST 2014 Version: 1.2.1, 1503152 Compiled: Mon Jul 22 15:23:09 PDT 2013 by mattf ...

2014-09-06 23:06:04

阅读数:5306

评论数:0

Win系统下用Eclipse中运行远程hadoop MapReduce程序出现Permission denied错误

八月 23, 2014 9:12:31 下午 org.apache.hadoop.util.NativeCodeLoader WARNING: Unable to load native-hadoop library for your platform... using builtin-java...

2014-08-23 22:39:56

阅读数:6072

评论数:0

编译hadoop的eclipse插件hadoop-eclipse-plugin-1.2.1.jar

1.下载后hadoop-1.1.2.tar.gz文件,里面包含源代码,并解压到E:\hadoop\hadoop-1.2.1 2.

2014-08-22 17:08:51

阅读数:9851

评论数:2

MapReduce实现join操作

前阵子把MapReduce实现join操作的算法设想清楚了,但一直没有在代码层面落地。今天终于费了些功夫把整个流程走了一遭,期间经历了诸多麻烦并最终得以将其一一搞定,再次深切体会到,什么叫从计算模型到算法实现还有很多路要走。 数据准备 首先是准备好数据。这个倒已经是一个熟练的过...

2014-08-19 16:51:36

阅读数:942

评论数:0

Sqoop 1.99.3 & hadoop-1.2.1 安装配置

1:解压 [jifeng@jifeng01 ~]$ tar zxf sqoop-1.99.3-bin-hadoop100.tar.gz [jifeng@jifeng01 ~]$ ls apache-ant-1.9.4 hbase-0.94.21.tar.gz ...

2014-08-17 22:25:49

阅读数:5609

评论数:2

Pig 0.12.1安装和使用

1 :安装 解压,配置环境变量,验证 pig安装是否成功 [jifeng@jifeng02 ~]$ tar zxf pig-0.12.0.tar.gz [jifeng@jifeng02 ~]$ vi .bash_profile # .bash_profile # Get the alias...

2014-08-16 23:09:34

阅读数:1491

评论数:0

map-reduce的八个流程

下面讲解这八个流程  Inputformat——》map——》(combine)——》partition——》copy&merge——》sort——》reduce——》outputformat FileSplit:文件的子集--文件分割体 0. 简介: 这篇文档描述在hadoop中...

2014-08-15 12:32:04

阅读数:725

评论数:0

Hadoop中Namenode单点故障的解决方案及详细介绍

正如大家所知,NameNode在Hadoop系统中存在单点故障问题,这个对于标榜高可用性的Hadoop来说一直是个软肋。本文讨论一下为了解决这个问题而存在的几个solution。 1. Secondary NameNode 原理:Secondary NN会定期的从NN中读取editlo...

2014-08-08 14:34:06

阅读数:1046

评论数:0

centos6.4 使用 HDFS C API

centos6.4 32位 1:配置HADOO

2014-08-06 15:52:36

阅读数:1608

评论数:0

在centos6.4 编译64位的hadoop 2.4.1

yum install svn yum install autoconfautomake libtool cmake yum install ncurses-devel yum install openssl-devel yum install gcc*

2014-08-01 11:57:12

阅读数:3976

评论数:2

hadoop 2.4.1 集群安装二

hadoop 2.4.1 集群安装一 分类: Hadoop Linux 云计算 2014-07-31 15:18 配置主机名参考 Hadoop 1.2.1 集群安装一 配置JDK环境参考Hadoop1.2.1集群安装二 配置hadoop A:下载解压hadoop

2014-07-31 15:39:52

阅读数:4859

评论数:0

hadoop 2.4.1 集群安装一

配置主机名参考 Hadoop 1.2.1 集群安装一 配置JDK环境参考Hadoop1.2.1集群安装二

2014-07-31 15:18:45

阅读数:4329

评论数:0

Hadoop1.2.1集群安装三

配置hadoop 1:下载hadoop-1.2.1.tar.gz

2014-07-24 10:51:46

阅读数:1069

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭