Linux下从零配置Hadoop环境

最新推荐文章于 2024-05-06 11:18:17 发布
最新推荐文章于 2024-05-06 11:18:17 发布
阅读量106 收藏
点赞数
分类专栏： 大数据 文章标签： Linux Hadoop 安装教程 JDK 环境配置
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014292402/article/details/115407308
版权

Linux下从零配置Hadoop环境

一、必要准备
1、一个装好Linux系统的虚拟机
2、Oracle JDK安装包
3、Hadoop程序包

二、操作步骤
1、首先安装oracle jdk，具体步骤可以参考这里
确保输入

java --version

有java版本提示
在这里插入图片描述
2、安装hadoop
首先下载hadoop包，我这里是3.1.4版本
在这里插入图片描述
解压到本地
在这里插入图片描述
然后配置hadoop环境
在hadoop安装目录下，输入

cd etc/hadoop

sudo vi hadoop-env.sh

把刚刚的jdk地址加进去，加个java_home就行了
然后按下esc，输入 :wq 退出
在这里插入图片描述
此时，在当前目录下，输入

./bin/hadoop version

就会弹出hadoop版本信息
在这里插入图片描述

小杰s
关注
专栏目录
Linux-Hadoop部署
Pythonwudud的博客
11-30 1023
在伪分布式模式下， Hadoop程序的守护进程都运行在一台节点上，该模式主要用于调试Hadoop分布式程序的代码，以及程序执行是否正确。在完全分布式模式下，Hadoop的守护进程分别运行在由多个主机搭建的集群上，不同节点担任不同的角色，在实际工作应用开发中，通常使用该模式构建企业级Hadoop系统。由于Hadoop是由Java语言开发的，Hadoop集群的使用依赖于Java环境，因此安装Hadoop集群之前，需要先安装并配置好JDK。(-r：recursive - 递归)在配置Hadoop时，常用的就是。
从CentOS到Hadoop（Linux CentOS 7 安装配置Hadoop伪分布过程详解）
ADwenwen的博客
07-31 4605
目录 零、前言 一、虚拟机安装及CentOS系统配置 二、CentOS系统及网络配置 三、SSH无密码登录 四、Java安装及环境配置 五、Hadoop0.20.0伪分布环境安装 六、运行示例 七、参考与感谢 零、前言 （一）、前言 最近在做wikipedia的东西，需要大规模处理数据，因此就需要使用hadoop工具操作。一开始想安装的linux版本是ubuntu 14和ha...
Linux下安装配置Hadoop
weixin_30336061的博客
10-09 100
一. 安装配置JDK 1.安装JDK apt-get install openjdk-7-jdk 2.配置java环境变量 vim /etc/profile 然后输入以下代码 export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386 export JRE_HOME=$JAVA_HOME/jre export HAD...
Linux环境配置Hadoop
skyanddream的博客
04-25 507
ubantu16配置Hadoop2.85 设置ssh免密码登录 sudo apt-get install openssh-server #安装SSH server $ ssh localhost #登陆SSH，第一次登陆输入yes $ exit #退出登录的ssh loc...
Linux下，Hadoop环境的安装配置
weixin_34342992的博客
06-02 75
1）安装Ubuntu或其他Linux系统： 　　 a)为减少错误，集群中的主机最好安装同一版本的Linux系统，我的是Ubuntu12.04。 b)每个主机的登陆用户名也最好都一样，比如都是hadoop，不然到最后启动hadoop时会出现不管你密码是否输入正确，都会提示权限不够的错误，如果你之前装系统时没注意到这个问题，可以之后在每个主机上都新建一个用户hadoop来实现，...
Linux安装配置hadoop
qq_43540354的博客
05-02 3322
安装配置hadoop 1.到 《官网》 下载Hadoop 2.使用cd /usr命令，进入到usr目录下 并使用mkdir hadoop命令，创建一个hadoop目录，使用ls查看是否创建成功（一般没毒的话，应该都会创建成功） 4.将下载好的文件上传到linux环境中，准确说是上一步建好的hadoop目录下，方法有三： (1)可以使用XShell的sudo rz的命令上传，但是有的可能会出现“传输失败”，如果失败了可以换换使用sudo rz -be进行上传 (2)使用XShell配套的xftp进行上
从零开始Hadoop安装和配置.docx
04-26
本文将详细介绍如何从零开始搭建Hadoop环境，包括所需软件及基本配置。 ##### 必备软件清单： 1. **VMware**：虚拟机软件，用于模拟多台服务器环境。 2. **CentOS-7-x86_64**：操作系统镜像，适合搭建Hadoop集群。 ...
Linux里的Hadoop环境必备包.rar
07-12
本文将向您展示如何从零开始在 Linux 上搭建 Hadoop，以及如何配置 Hadoop 的必备文件。 一、选择 Linux 发行版 选择正确的 Linux 发行版是为 Hadoop 集群配置环境的重要一步。Ubuntu、CentOS、Debian 等都是常见的...
Hadoop集群环境配置及安装配置（详细过程包含安装包）_hadoop安装与配置
最新发布
2401_84181501的博客
05-06 684
如果无法修改请看另外一篇文章修改每台节点的hosts文件命令为sudo vim /etc/hosts ，依次添加node1，node2，node3。
linux下的hadoop安装及配置详解
07-13
linux下的hadoop安装及配置详解
Linux下Hadoop配置和使用
01-05
一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。
Linux-Hadoop集群配置
Pythonwudud的博客
11-30 1409
一个名称节点（namenode）——老大，在master虚拟机上；三个数据节点（datanode）——小弟，在master、slave1与slave2虚拟机上。查看slave1和slave2上的进程，只有NodeManager和DataNode。可以不用设置名称节点的目录、数据节点的目录以及辅助名称节点。在slave1虚拟机上查看分发的hadoop。在slave2虚拟机上查看分发的hadoop。）在master虚拟机上，三个节点管理器（查看master虚拟机上的进程。查看slave1虚拟机上的进程。
Linux中Hadoop的安装与配置
weixin_54354021的博客
11-27 4599
linux中hadoop的安装步骤
Linux安装Hadoop及其环境配置
相互学习 共同进步
06-16 2691
使用的是Hadoop的伪分布式，因此需要配置的文件如下：hadoop-env.sh、core-site.xml、mapred-site.xml、hdfs-site.xml、yarn-site.xml。指定datanode从节点（根目录/etc/hadoop/slaves文件，每个节点配置信息占一行）指定DataNode从节点（修改etc/hadoop/slaves文件，每个节点配置信息占一行）指定ResourceManager老大节点所在计算机节点（修改yarn-site.xml），即可查看相关信息。
linux下配置hadoop环境（超详细提供软件）
qq_40905284的博客
03-24 327
linux下配置hadoop环境 安装和卸载java（软件地址会放到文章最后） 1.卸载： rpm -qa | grep java | xargs sudo rpm -e --nodeps 2.软件压缩包一般放在/opt/software目录下。软件放在/opt/module目录下 3.配置环境变量：/etc/profile文件 #JAVA_HOME export JAVA_HOME=/op...
Linux环境下Hadoop的配置
weixin_38425605的博客
07-14 321
进入安装的目录 查看etc/hadoop下的文件信息 配置文件的修改尽量不要在原来的文件上修改，拷贝一份原来的文件 cp mapred-site.xml.template mapred-site.xml Hadoop文件的配置 hadoop-env.sh 配置JAVA_HOME的路径 # Licensed to the Apache Software Foundation (ASF) under one # or more contributor license agreements. See t
Linux系统上Hadoop的配置
koko创作
10-27 902
1、免密登录 ①cd.ssh ②ls ③ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa ④ls （多了两个文件 id_rsa、id_rsa.pub） ⑤cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ⑥cat authorized_keys ⑦ssh root@116.63.69.99 ""ls / （发现不需要密码了！） ...
【详细版】Linux系统中搭建Hadoop
weixin_55928290的博客
11-01 4236
修改core-site.xml文件，分别指定hdfs 协议文件系统的通信地址及hadoop 存储临时文件的目录。进入/opt/server/hadoop-3.3.4/etc/hadoop 目录下，修改以下配置。进入 ~/.ssh 目录下，查看生成的公匙和私匙，并将公匙写入到授权文件。Hadoop 3中不允许使用root用户来一键启动集群，需要配置启动用户。进入 ${HADOOP_HOME}/sbin/ 目录下，启动 YARN。切换/opt/tools目录下，rz上传Hadoop安装包。
VM环境下Hadoop详细配置教程：从零开始
本篇文档是关于在VMware环境下详细配置Hadoop的教程，它介绍了如何在Window 7宿主机上通过虚拟机Ubuntu部署和管理Hadoop分布式系统。Hadoop主要包括HDFS（分布式文件系统）、MapReduce（分布式计算框架）和HBase...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值