《深入理解大数据-大数据处理与编辑实践》hadoop1.2.1安装

最新推荐文章于 2021-10-24 16:35:50 发布
最新推荐文章于 2021-10-24 16:35:50 发布
阅读量807 收藏
点赞数
分类专栏： 笔记和书评 原创
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mashang123456789/article/details/53097507
版权

【第一部分】《深入理解大数据》一书的源代码 

http://download.csdn.net/detail/heming621/9423291

http://hadoop.apache.org/

https://www.zhihu.com/question/19795366

http://mooc.guokr.com/course/2194/%E5%A4%A7%E6%95%B0%E6%8D%AE%E7%B3%BB%E7%BB%9F%E5%9F%BA%E7%A1%80/

http://download.csdn.net/album/detail/3466/1/1

【第二部分】安装hadoop1.2.1安装

【1】安装java程序
jdk-6u45-linux-i586-rpm.rar 解压后为 jdk-6u45-linux-i586-rpm.bin
安装执行 ./jdk-6u45-linux-i586-rpm.bin
安装成功后目录为 /usr/java/jdk1.6.0_45
A22811459:/usr/java/jdk1.6.0_45 # pwd
/usr/java/jdk1.6.0_45
A22811459:/usr/java/jdk1.6.0_45 # ls
COPYRIGHT  LICENSE  README.html  THIRDPARTYLICENSEREADME.txt  bin  include  jre  lib  man  src.zip

【1.2】在系统中/etc/profile添加java路径，便于调用
#set java
export JAVA_HOME=/usr/java/jdk1.6.0_45
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

【1.3】让配置生效
# source /etc/profile

【1.4】查看java版本，说明安装成功
A22811459:/usr/java/jdk1.6.0_45 # java -version
java version "1.6.0_45"
Java(TM) SE Runtime Environment (build 1.6.0_45-b06)
Java HotSpot(TM) Server VM (build 20.45-b01, mixed mode

【1.5】可以写一个简单的java程序进行编译运行，进一步确保java安装成功
HelloWel.java

public class HelloWel {
       public static void main(String[] args)
       {
          System.out.println("JAVA OK");    
       }    
}

编译和运行
# javac HelloWel.java
# java HelloWel
JAVA OK
至此可百分百确保Java安装没有问题，java路径(后面会用到)为 /usr/java/jdk1.6.0_45


【2】hadoop1.2.1安装 参考《深入理解大数据》
【2.1】创建hadoop用户
#groupadd hadoop-user
#useradd -g hadoop-user hadoop
#passwd hadoop

【2.2】配置SSH
#ssh-keygen -t rsa
# cd /root/.ssh/
#cp id_rsa.pub authorized_keys
#ssh localhost
查看结果
# ls
authorized_keys  id_rsa  id_rsa.pub  known_hosts

【2.3】配置hadoop环境
hadoop系统版本 hadoop-1.2.1.tar.gz
解压后linux目录为 /home/longhui/hadoop/hadoop-1.2.1/

【2.3.1】配置 conf/hadoop-env.sh 配置JAVA_HOME对应的路径
export JAVA_HOME=/usr/java/jdk1.6.0_45

【2.3.2】配置三个xml文件
【1】core-site.xml配置
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://A22811459:9000</value>
</property>
</configuration>
【备注】
临时文件夹为/tmp/hadoop，配置成功后该目录下会生成两个文件夹dfs  mapred，并且/tmp目录下会生成一些pid文件
A22811459:/tmp # ls hadoop
hadoop/                            hadoop-root-jobtracker.pid         hadoop-root-secondarynamenode.pid
hadoop-root-datanode.pid           hadoop-root-namenode.pid           hadoop-root-tasktracker.pid
【2】hdfs-site.xml
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/longhui/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/longhui/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
【备注】
配置成功后/home/longhui/hadoop/dfs/name下会生成一些文件current  image  in_use.lock  previous.checkpoint
/home/longhui/hadoop/dfs/data生成blocksBeingWritten  current  detach  in_use.lock  storage  tmp
【3】mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>A22811459:9001</value>
</property>
<property>
<name>mapreduce.cluster.local.dir</name>
<value>/home/longhui/hadoop/mapred/local</value>
</property>
<property>
<name>mapreduce.jobtracker.system.dir</name>
<value>/home/longhui/hadoop/mapred/system</value>
</property>
</configuration>
【4】由于主机名为A22811459，所以就不是localhost，并且/etc/hosts文件中也要修改下
127.0.0.1       A22811459


【2.3.3】在/etc/profile中添加hadoop路径并# source /etc/profile 生效
#set hadoop
export HADOOP_HOME_WARN_SUPPRESS=1
export HADOOP_HOME=/home/longhui/hadoop/hadoop-1.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

【2.3.4】格式化HDFS文件系统
执行 bin/hadoop namenode -format 或直接hadoop namenode -format 接着输入Y
# hadoop namenode -format
16/12/15 12:59:50 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = A22811459/127.0.0.1
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 1.2.1
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013
STARTUP_MSG:   java = 1.6.0_45
************************************************************/
Re-format filesystem in /home/longhui/hadoop/dfs/name ? (Y or N) Y
16/12/15 12:59:52 INFO util.GSet: Computing capacity for map BlocksMap
16/12/15 12:59:52 INFO util.GSet: VM type       = 32-bit
16/12/15 12:59:52 INFO util.GSet: 2.0% max memory = 932118528
16/12/15 12:59:52 INFO util.GSet: capacity      = 2^22 = 4194304 entries
16/12/15 12:59:52 INFO util.GSet: recommended=4194304, actual=4194304
16/12/15 12:59:53 INFO namenode.FSNamesystem: fsOwner=root
16/12/15 12:59:53 INFO namenode.FSNamesystem: supergroup=supergroup
16/12/15 12:59:53 INFO namenode.FSNamesystem: isPermissionEnabled=true
16/12/15 12:59:53 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100
16/12/15 12:59:53 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
16/12/15 12:59:53 INFO namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0
16/12/15 12:59:53 INFO namenode.NameNode: Caching file names occuring more than 10 times
16/12/15 12:59:53 INFO common.Storage: Image file /home/longhui/hadoop/dfs/name/current/fsimage of size 110 bytes saved in 0 seconds.
16/12/15 12:59:53 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/home/longhui/hadoop/dfs/name/current/edits
16/12/15 12:59:53 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/home/longhui/hadoop/dfs/name/current/edits
16/12/15 12:59:53 INFO common.Storage: Storage directory /home/longhui/hadoop/dfs/name has been successfully formatted.
16/12/15 12:59:53 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at A22811459/127.0.0.1
************************************************************/
【备注】如果警告Warning: $HADOOP_HOME is deprecated. 
解决方法：在/etc/profie中添加一行，然后让配置生效# source /etc/profile，再运行bin/hadoop namenode -format就不会报错
export HADOOP_HOME_WARN_SUPPRESS=1
【2.3.5】启动hadoop环境  注停止时stop-all.sh
# start-all.sh
starting namenode, logging to /home/longhui/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-root-namenode-A22811459.out
localhost: starting datanode, logging to /home/longhui/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-root-datanode-A22811459.out
localhost: starting secondarynamenode, logging to /home/longhui/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-root-secondarynamenode-A22811459.out
starting jobtracker, logging to /home/longhui/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-root-jobtracker-A22811459.out
localhost: starting tasktracker, logging to /home/longhui/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-root-tasktracker-A22811459.out

【2.3.6】使用jps查看集群状态，除jps进程外，另外五个进程缺一不可。如下说明正常启动了
# jps
2352 TaskTracker
1940 DataNode
1802 NameNode
2465 Jps
2211 JobTracker
2106 SecondaryNameNode

【3】运行第一个自带的测试用例：计算PI的值
A22811459:/home/longhui/hadoop/hadoop-1.2.1 # hadoop jar hadoop-examples-1.2.1.jar pi 2 5
Number of Maps  = 2
Samples per Map = 5
Wrote input for Map #0
Wrote input for Map #1
Starting Job
16/12/15 14:06:04 INFO mapred.FileInputFormat: Total input paths to process : 2
16/12/15 14:06:04 INFO mapred.JobClient: Running job: job_201612151254_0001
16/12/15 14:06:05 INFO mapred.JobClient:  map 0% reduce 0%
16/12/15 14:06:10 INFO mapred.JobClient:  map 100% reduce 0%
16/12/15 14:06:18 INFO mapred.JobClient:  map 100% reduce 33%
16/12/15 14:06:19 INFO mapred.JobClient:  map 100% reduce 100%
16/12/15 14:06:19 INFO mapred.JobClient: Job complete: job_201612151254_0001
16/12/15 14:06:19 INFO mapred.JobClient: Counters: 30
16/12/15 14:06:19 INFO mapred.JobClient:   Job Counters
16/12/15 14:06:19 INFO mapred.JobClient:     Launched reduce tasks=1
16/12/15 14:06:19 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=6864
16/12/15 14:06:19 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
16/12/15 14:06:19 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
16/12/15 14:06:19 INFO mapred.JobClient:     Launched map tasks=2
16/12/15 14:06:19 INFO mapred.JobClient:     Data-local map tasks=2
16/12/15 14:06:19 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=8661
16/12/15 14:06:19 INFO mapred.JobClient:   File Input Format Counters
16/12/15 14:06:19 INFO mapred.JobClient:     Bytes Read=236
16/12/15 14:06:19 INFO mapred.JobClient:   File Output Format Counters
16/12/15 14:06:19 INFO mapred.JobClient:     Bytes Written=97
16/12/15 14:06:19 INFO mapred.JobClient:   FileSystemCounters
16/12/15 14:06:19 INFO mapred.JobClient:     FILE_BYTES_READ=50
16/12/15 14:06:19 INFO mapred.JobClient:     HDFS_BYTES_READ=478
16/12/15 14:06:19 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=160889
16/12/15 14:06:19 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=215
16/12/15 14:06:19 INFO mapred.JobClient:   Map-Reduce Framework
16/12/15 14:06:19 INFO mapred.JobClient:     Map output materialized bytes=56
16/12/15 14:06:19 INFO mapred.JobClient:     Map input records=2
16/12/15 14:06:19 INFO mapred.JobClient:     Reduce shuffle bytes=56
16/12/15 14:06:19 INFO mapred.JobClient:     Spilled Records=8
16/12/15 14:06:19 INFO mapred.JobClient:     Map output bytes=36
16/12/15 14:06:19 INFO mapred.JobClient:     Total committed heap usage (bytes)=377028608
16/12/15 14:06:19 INFO mapred.JobClient:     CPU time spent (ms)=3100
16/12/15 14:06:19 INFO mapred.JobClient:     Map input bytes=48
16/12/15 14:06:19 INFO mapred.JobClient:     SPLIT_RAW_BYTES=242
16/12/15 14:06:19 INFO mapred.JobClient:     Combine input records=0
16/12/15 14:06:19 INFO mapred.JobClient:     Reduce input records=4
16/12/15 14:06:19 INFO mapred.JobClient:     Reduce input groups=4
16/12/15 14:06:19 INFO mapred.JobClient:     Combine output records=0
16/12/15 14:06:19 INFO mapred.JobClient:     Physical memory (bytes) snapshot=376963072
16/12/15 14:06:19 INFO mapred.JobClient:     Reduce output records=0
16/12/15 14:06:19 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=1132392448
16/12/15 14:06:19 INFO mapred.JobClient:     Map output records=4
Job Finished in 15.585 seconds
Estimated value of Pi is 3.60000000000000000000

【4】

【4.1】输入服务器IP：50070端口，这里可以看到HDFS的管理情况。，可查看如下html界面
http://10.17.35.xxx:50070/dfshealth.jsp

NameNode 'A22811459:9000'

Started:Thu Dec 15 13:00:10 GMT+08:00 2016
Version:1.2.1, r1503152
Compiled:Mon Jul 22 15:23:09 PDT 2013 by mattf
Upgrades:There are no upgrades in progress.

Browse the filesystem
Namenode Logs

Cluster Summary

11 files and directories, 13 blocks = 24 total. Heap Size is 57.69 MB / 888.94 MB (6%)
Configured Capacity:273 GB
DFS Used:40 KB
Non DFS Used:260.77 GB
DFS Remaining:12.23 GB
DFS Used%:0 %
DFS Remaining%:4.48 %
Live Nodes:1
Dead Nodes:0
Decommissioning Nodes:0
Number of Under-Replicated Blocks:0

NameNode Storage:

Storage DirectoryTypeState
/home/longhui/hadoop/dfs/nameIMAGE_AND_EDITSActive

This is Apache Hadoop release 1.2.1

【4.2】 50030端口可以看到Map/Reduce的管理情况

A22811459 Hadoop Map/Reduce Administration

State: RUNNING
Started: Thu Dec 15 12:54:23 GMT+08:00 2016
Version: 1.2.1, r1503152
Compiled: Mon Jul 22 15:23:09 PDT 2013 by mattf
Identifier: 201612151254
SafeMode: OFF

Cluster Summary (Heap Size is 51.56 MB/888.94 MB)

Running Map TasksRunning Reduce TasksTotal SubmissionsNodesOccupied Map SlotsOccupied Reduce SlotsReserved Map SlotsReserved Reduce SlotsMap Task CapacityReduce Task CapacityAvg. Tasks/NodeBlacklisted NodesGraylisted NodesExcluded Nodes
00110000224.00000

Scheduling Information

Queue NameStateScheduling Information
defaultrunningN/A
Filter (Jobid, Priority, User, Name)
Example: 'user:smith 3200' will filter by 'smith' only in the user field and '3200' in all fields

Running Jobs

none

Completed Jobs

JobidStartedPriorityUserNameMap % CompleteMap TotalMaps CompletedReduce % CompleteReduce TotalReduces CompletedJob Scheduling InformationDiagnostic Info
job_201612151254_0001Thu Dec 15 14:06:04 GMT+08:00 2016NORMALrootPiEstimator100.00%
22100.00%
11NANA

Retired Jobs

none

Local Logs

Log directory, Job Tracker History
This is Apache Hadoop release 1.2.1































































mashang123456789
关注
专栏目录
大数据处理和编程实践Hadoop
大数据学习博客
05-17 990
Hadoop是Apache开源组织的一个分布式计算开源框架，在很多大型网站上都已经得到了应用，如亚马逊、Facebook和Yahoo等等。对于我来说，最近的一个使用点就是服务集成平台的日志分析。服务集成平台的日志量将会很大，而这也正好符合了分布式计算的适用场景(日志分析和索引建立就是两大应用场景)。 当前没有正式确定使用，所以也是自己业余摸索，后续所写的相关内容，都是一个新手的学习过程，难免会有...
深入理解大数据
02-20
大数据处理与编程实践，本书从hadoop reduce并行计算技术与系统的基本远离剖析着手，介绍并实践了一系列较为复杂的机器学习和数据挖掘并行化算法
hadoop1.2.1安装配置
tydldd
01-21 138
环境：ubuntu13 使用的用户为普通用户。如：用户ru jdk安装略 1、安装ssh (1) sudo apt-get install openssh-server  (2)配置ssh面密码登录 $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub &gt;&gt; ~/.ssh/author...
配置Hadoop1.2.1
conglu3007的博客
06-07 81
1.从Apache官网上下载1.2.1，地址：http://apache.dataguru.cn/hadoop/common/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz 2.拷贝文件到虚拟机下（v...
Hadoop大数据平台实践
weixin_34128237的博客
04-03 272
　　课程介绍当前，Hadoop技术发展如日中天，各种开源项目不断涌现，并且在社区的推动下蓬勃发展。越来越多的公司和企业开始利用Hadoop技术搭建自己的大数据平台并且基于大数据平台实现了各式各样的大数据应用。在实际使用过程中，很多的客户对大数据的感觉是“听起来很棒，看起来很美，用起来很难”。那么开源的软件离企业级的大数据产品到底有远呢? 本课程带领您从另一个角度全面审视大数...
hadoop1.2.1安装部署文档
03-13
- **Hadoop 设计思想**：Hadoop 的设计初衷是为了实现大规模数据处理的需求，通过分布式计算的方式提高数据处理的效率。其核心是分布式文件系统 HDFS 和分布式计算框架 MapReduce。 - **Hadoop 框架组成**：主要包括...
hadoop-1.2.1-api
06-13
Hadoop作为开源的分布式计算平台，是大数据处理的基础，其API则为开发者提供了与Hadoop生态系统交互的工具。 一、Hadoop简介 Hadoop是由Apache基金会开发的一个开源项目，主要由两个核心组件构成：HDFS（Hadoop ...
hadoop-1.2.1-安装配置手册(含安装介质)
01-01
Hadoop是一款开源软件框架，主要用于分布式存储和处理大规模数据集。通过本手册的学习，您将了解如何从零开始搭建一个基本的Hadoop集群。 #### 二、安装前准备 1. **下载安装介质**： - 下载地址：`...
Hadoop1.2.1集群安装教程
"Hadoop1.2.1集群安装教程" Hadoop是一个开源的分布式计算框架，主要用于处理和存储海量数据。在本教程中，我们将详细阐述如何在Red Hat Enterprise Linux Server release 6.4上安装配置Hadoop1.2.1版本的集群。 ...
hadoop-eclipse-plugin-1.1.2
09-03
除了基本的MapReduce开发，Hadoop Eclipse Plugin还可以与其他插件结合，例如使用m2eclipse（Maven Eclipse Integration）来管理依赖，或者与Pig、Hive等大数据工具集成，实现更复杂的数据分析任务。 总结来说，...
深入理解大数据 大数据处理与编程实践 完整版
10-30
深入理解大数据 大数据处理与编程实践 完整版 带目录
深入理解大数据大数据处理与编程实践+完整版.pdf
07-25
《深入理解大数据大数据处理与编程实践》，很不错的资料，希望对你的工作学习有所帮助。
深入理解大数据大数据处理与编程实践 完整版.pdf
02-07
深入理解大数据大数据处理与编程实践 完整版.pdf深入理解大数据大数据处理与编程实践 完整版.pdf
【完整版】深入理解大数据 大数据处理与编程实践 pdf 523页 高清扫描版Part1
03-02
【完整版】深入理解大数据 大数据处理与编程实践 pdf 523页 高清扫描版 pdf版本，没加任何密码，纯手工扫描版。 文件有100MB，所以分成两个分卷，全部下载以后，放在一起才能解压。
深入理解大数据及大数据发展趋势.pptx
02-20
详细介绍大数据趋势与发展、大数据处理技术、运营商与大数据、大数据应用场景、华为大数据及数据挖掘解决方案
大数据实践（一）--Hadoop单机搭建（Ubuntu）
cgl_dong的博客
05-18 208
大数据实践（一）–Hadoop单机搭建（Ubuntu） 前置环境及工具： Ubuntu 16 VirtualBox Hadoop 2.7.3 xftp6 jdk1.8 文章目录大数据实践（一）--Hadoop单机搭建（Ubuntu）1、VirtualBox环境准备001、设置网卡002、更新apt-get(最好更新)003、下载vim（可略去）004、下载ssh005、配置本地ssh登录服务2、Hadoop环境准备001、上传jdk以及hadoop002、解压并配置环境变量（略去）003、修改读写权限（
运用Hadoop平台处理数据
m0_61601582的博客
10-24 632
学习目标： 运用Hadoop处理五个文件 学习内容： 1、 搭建 Hadoop环境 2、 安装eclipse 3、 运用Hadoop处理文件 学习时间： 1、 周一至周五晚上 7 点—晚上9点 2、 周六上午 9 点-上午 11 点 3、 周日下午 3 点-下午 6 点 学习产出： 大家好丫，我是honey!最近的专业课上得我怀疑人生，感觉难到了极点。下面是我搞了一下午才明白一点的运用我们前面搭建的Hadoop平台来处理数据。 1.安装好所需软件 安装VPN 下载Hadoop2.7.1.
大数据开发-深入理解大数据Lambda架构
Hoult丶吴邪
03-14 299
1.大数据处理的挑战 缕一缕it的发展，第一阶段是各大系统各大平台的出现，解决的是线下搬到线上的效率问题，而下一个阶段是数据时代，处理这些各大平台积累的数据，积累的数据，一般比较大，大数据做的是什么，大规模的数据处理，主要是离线为主，所以就出现了hadoop的三大基础组件，分别解决大数据存储，计算，大表存储，这个阶段基本解决了大数据的计算，也即可以编写出程序，完成大数据的大规模运算，后面又出现了实时处理，第一个出现的就是storm，可以处理实时的单个数据，这样就展现了最新的数据，但是同时也看到了，如果既想要
hadoop1.2.1安装
kdpujie的专栏
12-12 1386
1，   实验环境：                           虚拟机3台，  系统：ubuntu12.04      名称：master、data01、data02 2，   用addgrou/adduser命令在每个节点行，增加hadoop用户组和grid用户                 3，  vi /etc/hosts文件，增加ip和主机映射关系          
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值