Hadoop旅程
帮助初学者少走弯路。
礼彬fly
这个作者很懒,什么都没留下…
展开
-
(3-1)hadoop-2.6.0伪分布笔记
//查看主机名[root@i-love-you ~]# hostnamei-love-you//修改主机名[root@i-love-you ~]# vim /etc/sysconfig/network//IP与主机名绑定[root@i-love-you ~]# vim /etc/hosts//查看防火墙状态[root@i-love-you ~]# chk原创 2015-03-29 18:27:31 · 1568 阅读 · 0 评论 -
hadoop启动关闭脚本
//start-hadoop.sh#!/bin/shhadoop_home=/usr/local/hadoop$hadoop_home/sbin/hadoop-daemon.sh start namenode$hadoop_home/sbin/hadoop-daemon.sh start datanode$hadoop_home/sbin/yarn-daemon.sh start re原创 2015-03-28 13:17:07 · 1854 阅读 · 0 评论 -
Hadoop-2.6.0集群HA搭建
Hadoop-2.6.0集群HA搭建 1、安装克隆四台虚拟机准备4台虚拟机192.168.1.2 hadoop000 NameNode192.168.1.3 hadoop111 NameNode、DataNode、JournalNode192.168.1.4 hadoop222 Da原创 2015-02-25 22:11:53 · 3568 阅读 · 0 评论 -
Hadoop-2.6.0集群搭建
Hadoop-2.6.0集群搭建 1、用到的软件和IP设置:1.1、jdk和hadoop版本:hadoop-2.6.0.tar.gzjdk-8u25-linux-x64.gz1.2、统一用户名hadoop001.3、集群IP与主机名:192.168.1.2 hadoop00192.168.1.3 hadoop11192.168.1.4 hadoop221原创 2015-02-25 21:12:27 · 2692 阅读 · 3 评论 -
Hadoop-2.6.0伪分布--安装配置hbase
Hadoop-2.6.0伪分布--安装配置hbase1、用到的hadoop与hbase: 2、安装hadoop:具体安装看这篇博文:http://blog.csdn.net/baolibin528/article/details/42939477 hbase所有版本下载http://archive.apache.org/dist/hbase/3、原创 2015-01-27 00:31:55 · 4993 阅读 · 1 评论 -
Hadoop-2.6.0 Eclipse运行代码案例
Hadoop-2.6.0 Eclipse运行代码案例1、创建eclipse安装目录 eclipse : 复制安装解压eclipse:解压完毕截图: 解压后的eclipse : Eclipse打开界面: 2、把 hadoop-eclipse-plugin-2.6.0.jar 拷到 eclipse里的plugins 目录里面去:原创 2015-01-22 23:33:24 · 2331 阅读 · 0 评论 -
hadoop-2.6.0伪分布运行WordCount
hadoop-2.6.0运行WordCount 1、启动Hadoop: 2、创建file 文件夹: 这个是建在本地硬盘上的:进入该目录:创建两个 txt 文件:结果如下:3、在HDFS上创建输入文件夹目录 input :把本地硬盘上创建的文件传进input 里面:查看结果: 4、Hadoop自带的运原创 2015-01-22 16:35:05 · 2465 阅读 · 0 评论 -
Hadoop2.6.0伪分布环境搭建
Hadoop2.6.0伪分布环境搭建用到的软件:一、安装jdk:1、要安装的jdk,我把它拷在了共享文件夹里面。 (用优盘拷也可以)2、我把jdk拷在了用户文件夹下面。(其他地方也可以,不过路径要相应改变)3、执行复制安装解压命令: 解压完毕: 查看解压的文件夹:4、配置 环境变量:写入如下5行代码:使配置生效:原创 2015-01-21 00:18:39 · 5157 阅读 · 10 评论 -
Hadoop2.0源码包简介
Hadoop2.0源码包简介1、解压源码包: 2、目录结构:hadoop-common-project:Hadoop基础库所在目录,如RPC、Metrics、Counter等。包含了其它所有模块可能会用到的基础库。 hadoop-mapreduce-project:MapReduce框架的实现,在第一代MR即MRv1中,MapReduce由编程模型(map/redu原创 2015-01-08 16:30:29 · 1485 阅读 · 0 评论 -
Hadoop2.0源代码阅读
Hadoop2.0源代码阅读 1、拷贝软件,我用的软件如下图所示:2、安装jdk。创建java文件夹,并把jdk安装包拷进去。对jdk进行解压。解压完成之后以及jdk安装的目录情况。 配置jdk环境变量。使配置文件有效并验证jdk 版本。 验证java命令。验证javac命令。 3、安装Maven原创 2015-01-08 14:10:41 · 1902 阅读 · 2 评论 -
Hadoop-2.0 目录简介
Hadoop-2.0 目录简介一、目录结构将下载的压缩包解压:解压后文件夹如下: 二、各文件夹目录结构1、bin:Hadoop2.0的最基本管理脚本和使用脚本所在目录。这些脚本是sbin目录下管理脚本的基础实现,我们可以直接用这些脚本管理和使用Hadoop。2、etc:这个目录里的文件只要接触过Hadoop的人都很熟悉。Hadoop配置文件目录。首先是从Ha原创 2015-01-07 16:54:04 · 1123 阅读 · 0 评论 -
Hadoop集群动态增加一个节点
Hadoop集群动态增加一个节点 现在已经有一个hadoop cluster,并且两个slave节点为hadoop1、hadoop2,现在要动态增加一个新slave节点hadoop3。 1、配置新节点的环境 IP地址、主机名、防火墙、SSH、JDK、Hadoop 2、把新节点的hostname配置到主节点的slaves文件中hadoop0hadoop1hado原创 2015-02-21 21:55:14 · 1404 阅读 · 0 评论 -
轻松搭建hadoop-1.2.1集群(3)--配置hadoop集群软件
轻松搭建hadoop-1.2.1集群(3)--配置hadoop集群软件 1、开始安装JDK和Hadoop:对jdk和hadoop进行解压:如果JDK是bin文件增加可执行权限:chmod u+x jdk-6u45-linux-x64.bin解压完毕: 2、对解压的软件文件夹改名: 3、在hadoop0主机上进行配置:配置JDK原创 2015-02-21 00:25:16 · 2082 阅读 · 0 评论 -
轻松搭建hadoop-1.2.1集群--快速配置SSH免密码登陆
vmware快速配置SSH互相免密码登陆 1、启动三个准备好的Linux虚拟机系统: 2、在Windows的cmd里面ping通VMWare网卡IP: 在Windows的cmd里面ping通hadoop0: 在Windows的cmd里面ping通hadoop1: 在Windows的cmd里面ping通hadoop2:原创 2015-02-21 00:18:40 · 2829 阅读 · 0 评论 -
把Hadoop源码关联到eclipse中
把Hadoop源码关联到eclipse中 ant下载地址:http://archive.apache.org/dist/ant/binaries/hadoop 下载地址:http://archive.apache.org/dist/hadoop/core/所有版本JDK下载地址: http://www.oracle.com/technetwork/java/archive原创 2015-02-16 20:32:21 · 1465 阅读 · 0 评论 -
轻松搭建hadoop-1.2.1伪分布
轻松搭建hadoop-1.2.1伪分布 以CentOS为例: CentOS虚拟机安装:http://blog.csdn.net/baolibin528/article/details/32918565网络设置:http://blog.csdn.net/baolibin528/article/details/43797107PieTTY用法:http://blog.csdn.原创 2015-02-16 12:59:22 · 1642 阅读 · 0 评论 -
hadoop2.0 wordcount代码讲解
hadoop2.0 wordcount代码讲解本代码从hadoop-2.6.0里面拷贝出来的。完整代码如下:/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * di原创 2015-02-02 21:25:02 · 1789 阅读 · 0 评论 -
通过Web了解Hadoop活动
通过Web了解Hadoop活动 本文举例环境为hadoop-1.2.1 伪分布环境。 1、查看HDFS里的input目录: 2、运行wordcount 作业: 部分过程: 3、查看jobtracker: 往下翻: 4、点击完成的作业:原创 2015-02-01 21:02:55 · 678 阅读 · 0 评论 -
hadoop-1.2.1集群安装zookeeper-3.4.5
hadoop-1.2.1集群安装zookeeper-3.4.5 1、 查看集群各主机名: 2、解压到 /home/hadoop 及一般用户权限目录下面: 3、在zookeeper-3.4.5 目录下创建文件夹data4、data里面创建文件myid: 5、在zookeeper-3.4.5 目录conf里,把zoo_sample.cfg原创 2015-02-11 22:53:45 · 931 阅读 · 0 评论 -
hadoop一代集群运行代码案例
hadoop一代集群运行代码案例一、 启动hadoop 进入hadoop的bin目录二、建立数据文件,并上传至hdfs 1、 在文件目录为 /home/hadoop 下建立文件夹 file,并在file里面建立文件hadoop_02cd /home/hadoopmkdir file cd file2、写入数据:数原创 2014-09-25 19:49:27 · 1327 阅读 · 0 评论 -
hadoop-1.2.1集群配置搭建
hadoop-1.2.1集群配置搭建1、在 hadoop的conf 文件夹里面可以查看所有配置文件:2、需要配置的文件: 2.1 配置hadoop-env.sh: 2.2 配置core-site.xml: 2.3 配置hdfs-site.xml: 2.4 配置mapred-site.xml: 2.5 配置 ma原创 2015-02-03 13:50:35 · 869 阅读 · 0 评论 -
搭建集群jdk安装配置
搭建集群jdk安装配置 1、创建java文件夹,并把jdk安装包拷贝进去:2、解压3、删除安装包: 4、修改权限:5、配置环境变量:具体内容:使配置生效: 6、查看java 版本不是自己安装的版本:7、修改默认的jdk版本:8、选择自己使用的jdk 版本: Sla原创 2015-02-03 14:03:39 · 1491 阅读 · 1 评论 -
CentOS虚拟机间SSH无密码登陆配置
CentOS虚拟机间SSH无密码登陆配置一、网络IP设置:1、用的是VirtualBox,网络用的桥接: 2、IP等相关设置: 3、查看主机名: 4、ifconfig 命令查看: 5、编辑主机:用了三台机器: 6、ping 测试:IP地址: ping 测试:主机名:7、在这里可原创 2015-02-01 21:24:18 · 2460 阅读 · 0 评论 -
Zookeeper伪分布安装
Zookeeper伪分布安装 1、解压: 2、进入Zookeeper安装目录的 conf 文件夹下,复制一份zoo_sample.cfg为zoo.cfg 3、编辑zoo.cfg 文件:去掉没用的: 4、在 zookeeper 下创建文件夹 data: 5、在data 文件夹下创建 myid 文件:是这样的:别这样,创建的原创 2015-02-11 23:01:50 · 919 阅读 · 0 评论 -
hadoop-1.2.1伪分布配置hbase-0.98.0
hadoop-1.2.1伪分布配置hbase-0.98.0 1、 可以查看hadoop-1.2.1 与hbase-0.98.0 版本是否兼容:打开hbase的压缩包: 2、解压完毕,查看 hbase/conf 里面的配置文件: 3、编辑 hbase-env.sh 文件: 4、进行配置:一共三处:Jdk和hadoop:Hbase用自己的原创 2015-02-04 21:12:03 · 1077 阅读 · 0 评论 -
Eclipse运行wordcount步骤
Eclipse运行wordcount步骤 第一步:建立工程,导入代码。第二步:建立文件写入数据(以空格分开),并上传到hdfs上。1、创建文件并写入数据:2、上传hdfs在hadoop权限下就行:命令: hadoop fs -put 新建的文件路径 input目录 如: hadoop fs -put /home/hadoop原创 2014-06-25 13:53:32 · 4361 阅读 · 2 评论 -
CentOS 6.5 伪分布安装
CentOS 6.5 伪分布安装软件准备 jdk-6u24-linux-i586.bin 、hadoop-1.2.1.tar.gz、hadoop-eclipse-plugin-1.2.1.jar 、 Eclipse-jee-indigo-SR2-linux-gtk.tar.gz假设: 所有软件压缩包都放在 /home/hadoop 文件夹下。 1、JD原创 2014-06-25 13:23:48 · 1271 阅读 · 0 评论