Hadoop安装（一）---安装前准备

最新推荐文章于 2024-04-24 10:00:00 发布
最新推荐文章于 2024-04-24 10:00:00 发布
阅读量3.1k 收藏 36
点赞数 5
分类专栏： Hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45944880/article/details/107480502
版权

Hadoop安装---前期准备

Hadoop的安装方式有三种模式：单机模式（Standalone Mode）、伪分布式模式（Pseudo- Distributed Mode）、完全分布式模式（Fully-Distributed Mode）。在安装Hadoop之前，需要搭建环境，以下内容为安装Hadoop之前所需要进行的配置。

建议配置

个人搭建Hadoop环境，建议计算机配置如下：

  • 64位Windows操作系统
  • 处理器：四核2GHz及以上
  • 系统内存：8GB或更高
  • 磁盘空间：100 GB的剩余空间

采用的软件安装包如下：

  • 虚拟机版本：VMware® Workstation 15.5 Pro
  • Ubuntu安装镜像文件：ubuntu-16.04.4-desktop-amd64.iso
  • XShell 6.0
  • JDK安装包：jdk-8u212-linux-x64.tar.gz
  • Hadoop安装包：hadoop-2.7.3.tar.gz

一、安装虚拟机

1、下载VMware安装包。到VMware® Workstation Pro官网，选择对应的版本进行下载，这里选择的版本是VMware® Workstation 15.5 Pro。
2、安装VMware。双击安装文件，按提示操作至安装完成。
3、新建虚拟机。打开VMware软件，选择【创建新的虚拟机】,
Alt
选择【自定义（高级）】选项，点击【下一步】,
Alt
选择【虚拟机硬件兼容性】，默认即可，看个人需要，这里我选的是Workstation 10.x，点击【下一步】,
Alt
选择【稍后安装操作系统】，点击【下一步】，
Alt
选择客户机操作系统，选择【Linux（L）】，点击【下一步】,
Alt
设置虚拟机名称，【浏览】可选择虚拟机的安装位置，最好选择一个有空余空间的磁盘分区来安装，点击【下一步】,
Alt
设置处理器配置，按个人需求选择，点击【下一步】，
Alt
分配虚拟机内存（建议大于或等于1024MB），然后单击【下一步】，
Alt
设置网络类型，选择【使用网络地址转换（NAT）】，点击【下一步】，
Alt
选择I/O控制器类型，默认选项【LSI Logic(L)】，点击【下一步】，
Alt
选择磁盘类型，默认选项【SCSI(S)】，点击【下一步】，

最低0.47元/天 解锁文章
cc彩虹
关注
  • 5
    点赞
  • 踩
  • 36
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
安装Hadoop前的准备工作
长夜漫漫，无心睡眠
02-17 3425
学习环境：Vmware15+centOS6.5+ 1.克隆从机slave 右键主机master-->管理-->克隆-->下一步-->下一步-->创建完整克隆-->给从机命名并选择存放位置-->完成 2.配置master和slave的ip（静态IP，这样以后登录后IP就不会变化，方便操作） 分别到每个机器下执行ifconfig查看各自的ip,广播地址...
hadoop-2.4.1安装软件包以及教程jdk.zip
10-25
1.准备Linux环境 1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -> apply -> ok 回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv4 -> 设置windows的IP：192.168.1.100 子网掩码：255.255.255.0 -> 点击确定 在虚拟软件上 --My Computer -> 选中虚拟机 -> 右键 -> settings -> network adapter -> host only -> ok 1.1修改主机名 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### 1.2修改IP 两种方式： 第一种：通过Linux图形界面进行修改（强烈推荐） 进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -> method选择为manual -> 点击add按钮 -> 添加IP：192.168.1.101 子网掩码：255.255.255.0 网关：192.168.1.1 -> apply 第二种：修改配置文件方式（屌丝程序猿专用） vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE="eth0" BOOTPROTO="static" ### HWADDR="00:0C:29:3C:BF:E7" IPV6INIT="yes" NM_CONTROLLED="yes" ONBOOT="yes" TYPE="Ethernet" UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c" IPADDR="192.168.1.101" ### NETMASK="255.255.255.0" ### GATEWAY="192.168.1.1" ### 1.3修改主机名和IP的映射关系 vim /etc/hosts 192.168.1.101 itcast 1.4关闭防火墙 #查看防火墙状态 service iptables status #关闭防火墙 service iptables stop #查看防火墙开机启动状态 chkconfig iptables --list #关闭防火墙开机启动 chkconfig iptables off 1.5重启Linux reboot 2.安装JDK 2.1上传alt+p 后出现sftp窗口，然后put d:\xxx\yy\ll\jdk-7u_65-i585.tar.gz 2.2解压jdk #创建文件夹 mkdir /home/hadoop/app #解压 tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app 2.3将java添加到环境变量中 vim /etc/profile #在文件最后添加 export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585 export PATH=$PATH:$JAVA_HOME/bin #刷新配置 source /etc/profile 3.安装hadoop2.4.1 先上传hadoop的安装包到服务器上去/home/hadoop/ 注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop 伪分布式需要修改5个配置文件 3.1配置hadoop 第一个：hadoop-env.sh vim hadoop-env.sh #第27行 export JAVA_HOME=/usr/java/jdk1.7.0_65 第二个：core-site.xml <!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 --> fs.defaultFS hdfs://weekend-1206-01:9000 <!-- 指定hadoop运行时产生文件的存储目录 --> hadoop.tmp.dir /home/hadoop/hadoop-2.4.1/tmp 第三个：hdfs-site.xml hdfs-default.xml (3) <!-- 指定HDFS副本的数量 --> dfs.replication 1 第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml) mv mapred-site.xml.template mapred-site.xml vim mapred-site.xml <!-- 指定mr运行在yarn上 --> mapreduce.framework.name yarn 第五个：yarn-site.xml <!-- 指定YARN的老大（ResourceManager）的地址 --> yarn.resourcemanager.hostname weekend-1206-01 <!-- reducer获取数据的方式 --> yarn.nodemanager.aux-services mapreduce_shuffle 3.2将hadoop添加到环境变量 vim /etc/proflie export JAVA_HOME=/usr/java/jdk1.7.0_65 export HADOOP_HOME=/itcast/hadoop-2.4.1 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile 3.3格式化namenode（是对namenode进行初始化） hdfs namenode -format (hadoop namenode -format) 3.4启动hadoop 先启动HDFS sbin/start-dfs.sh 再启动YARN sbin/start-yarn.sh 3.5验证是否启动成功 使用jps命令验证 27408 NameNode 28218 Jps 27643 SecondaryNameNode 28066 NodeManager 27803 ResourceManager 27512 DataNode http://192.168.1.101:50070 （HDFS管理界面） http://192.168.1.101:8088 （MR管理界面） 4.配置ssh免登陆 #生成ssh免登陆密钥 #进入到我的home目录 cd ~/.ssh ssh-keygen -t rsa （四个回车） 执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥） 将公钥拷贝到要免登陆的机器上 ssh-copy-id localhost
Windows下安装Hadoop（手把手包成功安装）
tttzzzqqq2018的博客
07-26 1万+
【实操】Windows下安装Hadoop（手把手包成功安装）
Xshell7免费版下载及安装（详细教程）
最新发布
2301_77836489的博客
04-24 3616
Xshell7免费版下载及安装（详细教程）
Hadoop集群环境配置及安装配置（详细过程包含安装包）
热门推荐
2202_75347029的博客
07-07 3万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
hadoop全分布式-脚本一键安装
09-14
将文件中的hadoop配置文件、自动安装脚本，自己下载的jdk、hadoop文件放于同一目录下，（注jdk、hadoop文件名中要包含关键字jdk、hadoop），然后运行脚本。详细请看说明。
hadoop安装前的准备工作
OnTheRoad_ING的博客
03-02 425
一、域名映射 编辑 vi /etc/hosts 名称和ip地址根据自己的灵活改变 其他俩台虚拟机也同样修改。 二、免密登录 在 ~/ 输入 ssh-keygen（注意没有空格） 把每个虚拟机(~/.ssh/)下的id_rsa.pub（公钥）都j集中存储到一台虚拟机(~/.ssh/authorized_keys)里。如图所示。 然后在scp到每台虚拟机。 验证 ssh 主机名 如果可...
Hadoop安装前的准备工作
qq_41395106的博客
08-27 960
一、Hadoop安装前的准备工作 1、安装centOS操作系统（参考发的大数据工具中的Linux文件夹下的安装文档） 2、使用下发的大数据工具中的SSH_SFTP工具进入系统中，新建两个目录 mkdir /tools ---->用于存放软件包 mkdir /training ---->用于安装软件 3、安装JDK (*) ...
hadoop安装前的准备
weixin_42057754的博客
06-08 675
在安装hadoop之前需要做的准备            1.伪分布式安装部署                        在一台机器上安装部署HDFS和YARN服务。                        相关服务器都数据java进程，就是启动jvm服务。             2.规划Linux系统的目录结构                        以系统/opt目录为主安装...
Hadoop-2.0.0-cdh4.3.0安装手册.
11-07
1 环境准备 3 1.1 主机 3 1.2 用户 3 1.3 程序包 4 1.4 hosts 4 1.5 SSH互信 4 1.6 基础环境 7 2 程序安装 7 2.1 zookeeper 7 2.1.1 第一步：解压 7 2.1.2 第二步：修改zoo.cfg 7 2.1.3 第三步：创建myid 9 2.1.4 第...
ubuntu15.10下hadoop2.7.2的安装与配置详解
01-10
网上和很多书上都有不少的hadoop在linux系统下的安装教程，但是尝试过的读者会发现，就算是按照这些教程一步步的操作，还是会在某个地方出错，主要原因是版本问题。尤其是书上的版本一般都较老，所以并不建议对着书...
hadoop-2.2编译安装详解
12-01
一，准备环境 1.1 分别设置三台节点ip地址（固定） 此步骤所有节点都要操作 vi /etc/sysconfig/network-scripts/ifcfg-eth0 1.2 修改三台节点主机名 此步骤所有节点都要操作 vi /etc/sysconfig/network ...
搭建hadoop-完全分布式模式
01-07
文章目录搭建简单的Hadoop完全分布式模式分析首先设置集群规划虚拟机准备设置静态ip与主机名，设置用户为超级用户配置java环境hadoop安装配置集群配置core-site.xmlHDFS 配置文件YARN 配置文件MapReduce 配置文件这...
大数据-week01为安装hadoop进行前期准备
dfndsf的博客
07-13 115
实验目的 为了安装hadoop的部署与配置，得要先做好准备工作 实验内容 1.安装虚拟机，并且配置好Ubuntu16.0; 2.创建用户 3.更新APT 4.安装SSH 5.安装Java的环境 详细实验内容与操作情况 1.安装虚拟机，并且配置好Ubuntu16.0 1)下载虚拟机 2)下载Ubuntu16.0的映像文件 3)...
Hadoop安装的前期准备(liunx克隆安装等)
没有合适的昵称
07-09 1736
虚拟机的克隆 克隆三个虚拟机 在三个虚拟机中分别创建hadoop-jrq账号 克隆的虚拟机需要单独更改ip,更改ip方法百度,不再重复写 修改每台机器名称 vi /etc/sysconfig/network HOSTNAME=master HOSTNAME=slave1 HOSTNAME=slave2 增加ip和机器名称的映射关系 vi /etc/hosts，类似于如下： 129.23.2....
hadoop 安装前须知
博客 小站
04-26 377
hadoop在安装前，咱们需要知道一下几点。  1.hadoop运行模式 单机（本地）模式：这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。适用于开发过程中运行MapReduce程序，（非常少用的一种模式）。　伪分布式模式
Hadoop安装准备
Python_XTyyds的博客
12-09 906
Hadoop安装准备
hadoop安装datax
09-23
DataX-On-Hadoop是DataX针对Hadoop调度环境实现的版本，它使用hadoop的任务调度器，将DataX任务调度到hadoop执行集群上执行。这样用户的hadoop数据可以通过MR任务批量上传到MaxCompute等，而不需要额外安装和部署DataX软件包，也不需要准备执行集群。同时，用户可以享受到DataX已有的插件逻辑、流控限速、鲁棒重试等功能。 关于hadoop安装DataX，具体有两个步骤： 1. 下载DataX软件包，并解压缩到某一个目录下。 2. 配置DataX的json文件，指定任务的读写源及目的地，并根据需要添加相关插件。 这样，就可以通过hadoop的任务调度器将DataX任务调度到hadoop执行集群上执行了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值