Hadoop 安装
hechenghai
已经不走技术路线了,可能没法回到大家的问题了,抱歉!
展开
-
Apache Spark探秘:利用Intellij IDEA构建开发环境
http://dongxicheng.org/framework-on-yarn/apache-spark-intellij-idea/前段时间写了几篇使用Eclipse构建Spark源码阅读和开发环境的文章。经过一段时间的试用,发现Eclipse在Scala支持方面很不完善,体验非常差,因此转而使用Intellij IDEA,本文介绍如何使用Intellij IDEA构建转载 2015-04-11 13:41:39 · 556 阅读 · 0 评论 -
Yarn简单介绍及内存配置
转载地址:http://blog.chinaunix.net/uid-28311809-id-4383551.html在这篇博客中,主要介绍了Yarn对MRv1的改进,以及Yarn简单的内存配置和Yarn的资源抽象container。我么知道MRv1存在的主要问题是:在运行时,JobTracker既负责资源管理又负责任务调度,这导致了它的扩展性、资源利用率低等问题。之所以存在这样的转载 2015-07-17 13:44:28 · 448 阅读 · 0 评论 -
spark1.3.1安装
1、 下载scala2.11.4版本 下载地址为:http://www.scala-lang.org/download/2.11.4.html 2、 解压和安装: 将源文件放到/opt/hadoop下,复制到/usr/local下面,解压tar -zxvf scala-2.11.4.tgz 3、 编辑~/.bash_profile文件增加SCALA_HOME环境变量配置,原创 2015-07-14 14:05:51 · 984 阅读 · 1 评论 -
Nutch 2.x+Hadoop 2.5.2+Hbase0.94.26(续)
转载地址: http://www.cnblogs.com/mactech/p/4236694.html上周以为搞定了Nutch 2.x+Hadoop 2.5.2+Hbase0.94.26的整合,于是这周开始真正执行nutch抓取tieba的数据:nutch inject /urls -crawlId tieba谁知道报错:java.la转载 2015-07-12 20:32:14 · 1067 阅读 · 0 评论 -
Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
http://blog.chinaunix.net/uid-20577907-id-3613584.html这是Hadoop学习全程记录第2篇,在这篇里我将介绍一下如何在Eclipse下写第一个MapReduce程序。 新说明一下我的开发环境: 操作系统:在windows下使用wubi安装了ubuntu 10.10 hadoop版本:hadoop-0.20.2.tar.转载 2015-06-13 15:26:11 · 781 阅读 · 0 评论 -
Hadoop2伪分布式安装
Hadoop2伪分布式安装: 1、Java环境变量配置 在.bash_profile文件中加入如下环境变量: ####################JAVAHOME#################### exportJAVA_HOME=/usr/lib/jvm/jre-1.6.0-openjdk.x86_64 exportJRE_HOME=$JAVA_H原创 2015-04-04 12:34:51 · 364 阅读 · 0 评论 -
Nutch2.x+Hadoop 2.5.2+Hbase0.94.26(续2)
转载地址: http://www.cnblogs.com/mactech/p/4239163.html1.执行bin/nutch generate -topN 5 -crawlId tieba的时候,出现以下错误java.lang.Exception: java.lang.ClassCastException: org.apache.avro.generic.Gene转载 2015-07-12 20:33:48 · 834 阅读 · 0 评论 -
Call to localhost/127.0.0.1:9000 failed on connection exception:java.net.ConnectException
http://www.360doc.com/content/13/0414/11/10072361_278155612.shtml使用 jps发现NameNode进程没有正确运行,停止服务,重新格式化namenode,hadoop namenode -formatstart-all.shNameNode进程已运行转载 2015-06-13 21:17:49 · 6041 阅读 · 0 评论 -
Ubuntu14.04 (x64) 下hadoop2.5.0单节点安装与测试
Ubuntu14.04 (x64) 下hadoop2.5.0单节点安装与测试详情见原文地址:http://jeyzhang.com/173/在Ubuntu14.04(x64)下对hadoop2.5.0源码包进行编译后,就可以进行hadoop的安装与配置了。下面介绍一下如何进行hadoop2.5.0的单节点安装及测试验证,整个过程很简单,不用担心。1. 创建用户组和用户为了便于ha转载 2015-06-12 15:04:34 · 518 阅读 · 0 评论 -
在节点之间导出和导入 DOCKER 镜像
注:本文由JAMES.COYLE在 2014-6-16 编写,原文地址为 EXPORT AND IMPORT A DOCKER IMAGE BETWEEN NODESDocker 背后的驱动力之一就是通过所有的 Docker 使服务器 能创建一个一致的环境,并且能创建一个能运行在任何 Docker 服务器上的合适的模板或是镜像。因此,Docker 能非常完美的支持,能非转载 2015-07-01 19:56:36 · 554 阅读 · 0 评论 -
Ubuntu14.04 (x64) 下hadoop2.5.0的编译
Ubuntu14.04 (x64) 下hadoop2.5.0的编译详情见原文地址:http://jeyzhang.com/154/1. 前言2. 操作系统及版本说明Ubuntu14.04 64位。如果你的操作系统是32位的,可以跳过这篇,因为只有64位的linux系统需要进行hadoop的编译。> 如何查看linux系统的位数1234转载 2015-06-12 09:59:17 · 931 阅读 · 0 评论 -
hadoop2.5.2eclipse插件编译
最近在搞hadoop,所以编译hadoop-eclipse插件是少不了的 !先说下我的编译环境:hadoop: hadoop-2.5.2OS:ubuntu 14.4 64位(虚拟机)eclipse: eclipse-jee-luna-SR1-linux-gtk-x86_64.tar.gz1.下载源码:https://github.com/winghc/hadoop2x-ec转载 2015-06-13 11:33:15 · 880 阅读 · 0 评论 -
Hadoop2.6集群环境虚拟机中搭建网络配置
Hadoop2.6集群环境搭建(HDFS HA+YARN)原来4G内存也能任性一次。准备工作:1、笔记本4G内存 ,操作系统WIN7 (屌丝的配置)2、工具VMware Workstation3、虚拟机:CentOS6.4共四台虚拟机设置:每台机器:内存512M,硬盘40G,网络适配器:NAT模式 选择高级,新生成虚机Mac地址(克隆转载 2015-06-27 14:37:30 · 777 阅读 · 0 评论 -
Alex 的 Hadoop 菜鸟教程: 第19课 华丽的控制台 HUE 安装以及使用教程
转载地址: http://blog.csdn.net/nsrainbow/article/details/43677077声明本文基于Centos 6.x + CDH 5.xHUEHadoop也有web管理控制台,而且还很华丽,它的名字叫HUE。通过HUE可以管理Hadoop常见的组件。下面用一幅图说明HUE能管理哪些组件除了Oo转载 2015-07-17 16:27:24 · 1319 阅读 · 1 评论