hapoop
jiutianhe
这个作者很懒,什么都没留下…
展开
-
Hadoop-1.1.2部署在RedHat Linux 5上常见错误及解决方案
遇到的问题:1、在hadoop conf下执行命令: hadoop-daemon.sh start datanode,无法启动hadoop datanode:[hadoop@master conf]$ hadoop-daemon.sh start datanodeWarning: $HADOOP_HOME is deprecated.starting datanod转载 2013-09-10 09:24:03 · 840 阅读 · 0 评论 -
hadoop2.2.0在windows上安装
Good news for Hadoop developers who want to use Microsoft Windows OS for their development activities. Finally Apache Hadoop 2.2.0 release officially supports for running Hadoop on Microsoft Windows a转载 2013-12-30 20:28:12 · 10164 阅读 · 5 评论 -
win7 安装hadoop2.2.0
想了解hadoop,所以就下了最新的文件,搭建相关的环境,以下为自己在win7上搭建hadoop的相关步骤。 1、下载hadoop,用winRAR解压。(路径不能有空格) 2、安装java,此处就不做讲解了。(java路径不能有空格) 3、配置hadoop的环境变量HADOOP_HOME=”HADOOP的安装目录”原创 2013-12-31 09:57:23 · 13061 阅读 · 14 评论 -
windows安装storm
一:安装JDK.下载地址:地址一 地址二配置java环境变量 JAVA_HOME、Path、CLASSPATH三个值分别为(按照自己安装状况设置,此处供参考):D:\java\jdk17%JAVA_HOME%/bin;%JAVA_HOME%/jre/bin.;%JAVA_HOME%/lib/dt.jar;%JAVA_HOME%/lib/tools.jar转载 2014-11-17 16:24:14 · 2371 阅读 · 0 评论 -
在centos6.4 编译64位的hadoop 2.4.1
1.下相关包yum install svnyum install autoconfautomake libtool cmakeyum install ncurses-develyum install openssl-develyum install gcc*2:下载和解压mavenw转载 2014-11-11 16:50:18 · 1273 阅读 · 0 评论 -
从零教你如何获取hadoop2.4源码并使用eclipse关联hadoop2.4源码
我们如果想搞开发,研究源码对我们的帮助很大。不明白原理就如同黑盒子,遇到问题,我们也摸不着思路。所以这里交给大家一.如何获取源码二.如何关联源码一.如何获取源码1.下载hadoop的maven程序包(1)官网下载这里我们先从官网上下载maven包hadoop-2.4.0-src.tar.gz。官网下载地址对于不知道怎么去官网下载,可以查看:新手指导:转载 2014-09-12 18:50:46 · 12011 阅读 · 0 评论 -
win7如何安装maven、安装protoc
一、安装mvaven包1.首先我们下载maven包apache-maven-3.2.1.zip链接:http://pan.baidu.com/s/1jG9QhWa 密码:vmee2.配置maven(1)解压到E盘 (2)进入环境变量 (3)配置环境变量配置M2_HOME变量名:M转载 2014-09-12 18:44:55 · 2341 阅读 · 1 评论 -
Hadoop2.4.0 Eclipse插件制作及问题记录
参考hadoop2x-eclipse-plugin说说我的整个制作过程吧:想导入到eclipse中制作,但是导入进去之后觉得麻烦就算了,直接在win7 64位、JDK1.6、ANT1.8的环境下以命令行运行依葫芦画瓢,设置eclipse的目录和hadoop的目录,在没有修改任何文件的情况下直接运行D:\SDK\hadoop2x-eclipse-plugin-ma转载 2014-09-12 18:47:32 · 960 阅读 · 0 评论 -
Hadoop集群配置(最全面总结)
通常,集群里的一台机器被指定为 NameNode,另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\官方地址:(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html)1 先决条件确转载 2013-08-25 21:53:08 · 984 阅读 · 1 评论 -
Hadoop MapReduce 减小数据倾斜的性能损失
Reduce数据倾斜一般是指map的输出数据中存在数据频率倾斜的状况,也就是部分输出键的数据量远远大于其它的输出键。问题需要减小reduce端数据倾斜的性能损失。讨论用一系列的方法减小数据倾斜的风险,例如使用自定义的分区器,使用map端连接等。方案在这个方案中将讨论多个减轻reduce数据倾斜的性能损失的方法。方法1:抽样和范围分转载 2014-07-28 15:44:02 · 1588 阅读 · 0 评论 -
hadoop2.2.0 centos 编译安装详解
转载地址:http://blog.csdn.net/w13770269691/article/details/16883663搭建环境:Centos x 6.4 64bit1、安装JDK我这里用的是64位机,要下载对应的64位的JDK,下载地址:http://www.oracle.com/technetwork/cn/java/javase/down转载 2013-12-30 22:01:49 · 2921 阅读 · 0 评论 -
关于学习Hadoop中未总结的资料
1)Cygwin相关资料 (1)Cygwin上安装、启动ssh服务失败、ssh localhost失败的解决方案 地址:http://blog.163.com/pwcrab/blog/static/16990382220107267443810/ (2)windows2003+cygwin+ssh 地址:http://wenku.baidu.com/view转载 2013-12-30 13:39:04 · 1622 阅读 · 0 评论 -
Hadoop 2.2.0 (YARN)搭建笔记
最近工作需要,摸索着搭建了Hadoop 2.2.0(YARN)集群,中间遇到了一些问题,在此记录,希望对需要的同学有所帮助。 本篇文章不涉及hadoop2.2的编译,编译相关的问题在另外一篇文章《hadoop 2.2.0 源码编译笔记》中说明,本篇文章我们假定已经获得了hadoop 2.2.0的64bit发行包。 由于spark的兼容问题,我们后面使用了转载 2013-12-30 13:38:08 · 17279 阅读 · 0 评论 -
【MongoDB for Java】Java操作MongoDB
开发环境:System:WindowsIDE:eclipse、MyEclipse 8Database:mongoDB开发依赖库:JavaEE5、mongo-2.5.3.jar、junit-4.8.2.jarEmail:hoojo_@126.comBlog:http://blog.csdn.net/IBM_hoojohttp://hoo转载 2013-09-16 18:07:50 · 890 阅读 · 0 评论 -
ubuntu13.04下安装jdk eclipse ADT
ubuntu13.04下安装jdk eclipse ADT#tar zxvf jdk-7u21-linux-x64.tar.gz#sudo mv jdk1.7.0_21/ /usr/bin/jvm#gedit .bashrc添加:export JAVA_HOME=/usr/bin/jvmexport JRE_HOME=${JAVA_HOME}/jre exp转载 2013-09-14 20:23:05 · 1070 阅读 · 0 评论 -
Hadoop的shuffle过程
Hadoop的shuffle过程就是从map端输出到reduce端输入之间的过程,这一段应该是Hadoop中最核心的部分,因为涉及到Hadoop中最珍贵的网络资源,所以shuffle过程中会有很多可以调节的参数,也有很多策略可以研究。这里没有对shuffle做深入的分析,也没有读源代码,只是根据资料和使用的一些理解。map端map过程的输出是写入本地磁盘而不是HDFS,但是一开始数原创 2015-03-24 15:33:32 · 867 阅读 · 2 评论