Hadoop
wind520
这个作者很懒,什么都没留下…
展开
-
Hadoop1.2.1集群安装三
配置hadoop1:下载hadoop-1.2.1.tar.gz原创 2014-07-24 10:51:46 · 1212 阅读 · 0 评论 -
org.apache.hadoop.util.PlatformName //cgywin下Hadoop-0.21.0 错误问题
windows 7 专业版 32位 cgywin下Hadoop-0.21.0 错误问题格式化管理者,即namenode,创建HDFS执行命令$ bin/hadoop namenode -format$ bin/hadoop namenode -formatcygwin warning: MS-DOS style path detected: C:\cygwin\hadoo原创 2013-07-02 09:53:35 · 4099 阅读 · 1 评论 -
hadoop-0.21.0 在Windows环境下的部署(1)Cygwin 安装
Cygwin 安装:1:下载http://cygwin.com/setup.exehttp://www.cygwin.com/setup.exe2:运行我们看到有三种安装模式:•Install from Internet,这种模式直接从Internet安装,适合网速较快的情况;•Download Without Installing,这种模式只从网上下载Cygwin原创 2013-07-02 11:59:07 · 2890 阅读 · 2 评论 -
hadoop 2.4.1 集群安装二
hadoop 2.4.1 集群安装一分类: Hadoop Linux 云计算 2014-07-31 15:18 配置主机名参考 Hadoop 1.2.1 集群安装一配置JDK环境参考Hadoop1.2.1集群安装二配置hadoopA:下载解压hadoop原创 2014-07-31 15:39:52 · 5213 阅读 · 0 评论 -
大数据架构师基础:hadoop家族,Cloudera产品系列等各种技术
大数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm,impala,让我们都反映不过来。为了能够更好的架构大数据项目,这里整理一下,供技术人员,项目经理,架构师选择合适的技术,了解大数据各种技术之间的关系,选择合适的语言。我们可以带着下面问题来阅读本文章:1.hadoop都包含什么技术2.Cloudera公司与hadoop的关系是什么,都有什么产品转载 2014-07-16 13:51:17 · 2233 阅读 · 0 评论 -
在centos6.4 编译64位的hadoop 2.4.1
yum install svnyum install autoconfautomake libtool cmakeyum install ncurses-develyum install openssl-develyum install gcc*原创 2014-08-01 11:57:12 · 4580 阅读 · 3 评论 -
Hadoop1.2.1集群安装二
1:安装JDK下载好jdk-7u45-linux-x64.gz或从其它电脑copy过去[jifeng@feng01 ~]$ scp -r ./jdk-7u45-linux-x64.gz jifeng@jifeng01:/home/jifengThe authenticity of host 'jifeng01 (10.3.7.214)' can't be establis原创 2014-07-23 23:10:04 · 1167 阅读 · 0 评论 -
hadoop-0.21.0 在Windows环境下的部署(2)Hadoop配置
1:下载本来想传到csdn上的,但是最大只支持70M的文件,还是网上找吧2:解压在C:\cygwin\hadoop3:配置hadoop/conf下需要配置的文件:1.hadoop-env.sh修改JDK的路径 export JAVA_HOME# Set Hadoop-specific environment variables here.# The only r原创 2013-07-02 16:00:13 · 3266 阅读 · 0 评论 -
hadoop 2.4.1 集群安装一
配置主机名参考 Hadoop 1.2.1 集群安装一配置JDK环境参考Hadoop1.2.1集群安装二原创 2014-07-31 15:18:45 · 4820 阅读 · 0 评论 -
hadoop-1.1.2 在Windows环境下的部署
1:先安装Cygwin 参考http://blog.csdn.net/wind520/article/details/92230032:下载 3:解压在C:\cygwin\hadoop14:配置hadoop1/conf下需要配置的文件:1).hadoop-env.sh2).core-site.xml3).hdfs-site.xml4).mapred-si原创 2013-07-03 15:59:32 · 2775 阅读 · 0 评论 -
编译hadoop的eclipse插件hadoop-eclipse-plugin-1.2.1.jar
1.下载后hadoop-1.1.2.tar.gz文件,里面包含源代码,并解压到E:\hadoop\hadoop-1.2.12.原创 2014-08-22 17:08:51 · 11100 阅读 · 2 评论 -
Hadoop1.1.2 Eclipse 插件编译
可以直接下载我编译好的插件hadoop-eclipse-plugin-1.1.2http://download.csdn.net/detail/wind520/57843891:方法一: copy src\contrib\build-contrib.xml 到src\contrib\eclipse-plugin目录下,然后修改<!-- Licensed to原创 2013-07-19 17:51:34 · 3926 阅读 · 1 评论 -
centos安装Hue 3.7.0
Hue 是运营和开发Hadoop应用的图形化用户界面。Hue程序被整合到一个类似桌面的环境,以web程序的形式发布,对于单独的用户来说不需要额外的安装。原创 2014-10-18 23:02:00 · 7091 阅读 · 4 评论 -
centos安装Ambari
参考:https://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+1.6.1+from+Public+Repositories原创 2014-10-17 23:45:40 · 14986 阅读 · 2 评论 -
安装flume1.5
1:下载wget http://mirrors.hust.edu.cn/apache/flume/1.5.0/apache-flume-1.5.0-bin.tar.gz原创 2014-10-20 11:29:30 · 5106 阅读 · 1 评论 -
hadoop-1.1.2 在centos环境下的部署
环境:虚拟机CentOS6.4Java:默认的 OpenJDK1.7.0.9下载hadoop1.1.2 http://download.csdn.net/detail/wind520/5693609[jifeng@localhost bin]$ ./hadoop namenode -format13/07/12 17:56:14 INFO na原创 2013-07-12 18:08:21 · 1614 阅读 · 0 评论 -
Hadoop命令大全
1、列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help2、显示关于某个命令的详细信息 $ bin/hadoop fs -help command-name3、用户可使用以下命令在指定路径下查看历史日志汇总 $ bin/hadoop job -history output-dir这条命令会显示作业的细节信息,失败和终止的任务细节。转载 2013-07-02 16:09:45 · 1152 阅读 · 0 评论 -
Hadoop 1.2.1 集群安装一
1:安装linux2:修改机器名原创 2014-07-23 17:56:09 · 1058 阅读 · 0 评论 -
Hadoop的版本介绍
0.20.x版本最后演化成了现在的1.0.x版本0.23.x版本最后演化成了现在的2.x版本hadoop 1.0 指的是1.x(0.20.x),0.21,0.22hadoop 2.0 指的是2.x,0.23.xCDH3,CDH4分别对应了hadoop1.0 hadoop2.0如何选择Hadoop版本当前Hadoop版本比较混乱原创 2014-07-14 11:00:03 · 11549 阅读 · 0 评论 -
MapReduce实现join操作
前阵子把MapReduce实现join操作的算法设想清楚了,但一直没有在代码层面落地。今天终于费了些功夫把整个流程走了一遭,期间经历了诸多麻烦并最终得以将其一一搞定,再次深切体会到,什么叫从计算模型到算法实现还有很多路要走。数据准备首先是准备好数据。这个倒已经是一个熟练的过程,所要做的是把示例数据准备好,记住路径和字段分隔符。准备好下面两张表:(1)m_ys_lab转载 2014-08-19 16:51:36 · 1091 阅读 · 0 评论 -
centos6.4 使用 HDFS C API
centos6.4 32位1:配置HADOO原创 2014-08-06 15:52:36 · 1773 阅读 · 0 评论 -
Sqoop 1.99.3 & hadoop-1.2.1 安装配置
1:解压[jifeng@jifeng01 ~]$ tar zxf sqoop-1.99.3-bin-hadoop100.tar.gz [jifeng@jifeng01 ~]$ lsapache-ant-1.9.4 hbase-0.94.21.tar.gz sqoop-1.99.3-bin-hadoop100apache-ant-1.原创 2014-08-17 22:25:49 · 5975 阅读 · 2 评论 -
Hadoop中Namenode单点故障的解决方案及详细介绍
正如大家所知,NameNode在Hadoop系统中存在单点故障问题,这个对于标榜高可用性的Hadoop来说一直是个软肋。本文讨论一下为了解决这个问题而存在的几个solution。1. Secondary NameNode原理:Secondary NN会定期的从NN中读取editlog,与自己存储的Image进行合并形成新的metadata image优点:Hadoop较早的转载 2014-08-08 14:34:06 · 3058 阅读 · 1 评论 -
WARNING : There are about 34 missing blocks. Please check the log or run fsck.
'jifeng01:9000'Started:Sat Sep 06 22:41:47 CST 2014Version:1.2.1, 1503152Compiled:Mon Jul 22 15:23:09 PDT 2013 by mattfBrowse the filesystem jifeng01:9000 Log原创 2014-09-06 23:06:04 · 6891 阅读 · 0 评论 -
Hadoop计算中的Shuffle过程
Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce,Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job性能调优的工作,需要深入代码研究MapReduce的运行机制,这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火,所以在这里我尽转载 2014-09-18 22:23:46 · 1208 阅读 · 0 评论 -
ERROR Streaming result set com.mysql.jdbc.RowDataDynamic@1d5a7f6 is still active. No statements may
[jifeng@jifeng02 sqoop]$ bin/sqoop import --connect jdbc:mysql://10.X.X.X:3306/lir --username dss --password 123123 --table bb_month --hive-import -m 100Warning: /home/jifeng/sqoop/../hcatalog does n原创 2014-09-08 01:37:37 · 11456 阅读 · 3 评论 -
Win系统下用Eclipse中运行远程hadoop MapReduce程序出现Permission denied错误
八月 23, 2014 9:12:31 下午 org.apache.hadoop.util.NativeCodeLoader WARNING: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable八月 23, 2014 9:12:31 下午 or原创 2014-08-23 22:39:56 · 8386 阅读 · 0 评论 -
Hadoop Pig学习笔记 各种SQL在PIG中实现
我这里以Mysql 5.1.x为例,Pig的版本是0.8 同时我将数据放在了两个文件,存放在/tmp/data_file_1和/tmp/data_file_2中.文件内容如下: tmp_file_1:Txt代码 zhangsan 23 1 lisi 24 1 wangmazi 30 1 meinv转载 2014-09-09 09:15:56 · 1049 阅读 · 0 评论 -
map-reduce的八个流程
下面讲解这八个流程 Inputformat——》map——》(combine)——》partition——》copy&merge——》sort——》reduce——》outputformatFileSplit:文件的子集--文件分割体0. 简介:这篇文档描述在hadoop中map和reduce操作是怎样具体完成的。如果你对Google的MapReduce各式模式不熟悉,请先参阅Ma转载 2014-08-15 12:32:04 · 1026 阅读 · 0 评论 -
Pig 0.12.1安装和使用
1 :安装解压,配置环境变量,验证 pig安装是否成功[jifeng@jifeng02 ~]$ tar zxf pig-0.12.0.tar.gz [jifeng@jifeng02 ~]$ vi .bash_profile# .bash_profile# Get the aliases and functions . ~/.bashrcfi# User spe原创 2014-08-16 23:09:34 · 1910 阅读 · 0 评论 -
中国大数据专业公司
1. 上海星环信息科技 http://www.transwarp.cn/2. 广州巨杉软件 http://www.sequoiadb.com/3. 北京红象云腾系统技术公司4.天云融创数据科技 http://www.beagledata.com/5.成都数联铭品 http://www.bbdservice.com/持续更新中...原创 2015-10-04 10:01:28 · 1492 阅读 · 0 评论