搭建Hadoop开发环境（全过程）

最新推荐文章于 2024-05-14 04:13:44 发布
最新推荐文章于 2024-05-14 04:13:44 发布
阅读量6.1k 收藏 88
点赞数 8
文章标签： hadoop 虚拟机
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fgdwa/article/details/116044716
版权

文章目录

一、VMware环境准备

1.安装VMware

在官网下载安装包安装好VMware，输入密钥，激活软件（密钥可以在网上可以在网上搜索）
在这里插入图片描述
新建虚拟机
在这里插入图片描述
在这里插入图片描述
选择Linux操作系统和centos7版本
在这里插入图片描述
给虚拟机命名
在这里插入图片描述
配置虚拟机磁盘 设置虚拟机最大磁盘大小20GB
在这里插入图片描述
在自定义硬件中给虚拟机安装centos-7-x86-64-minimal-1708.ios映像文件
在这里插入图片描述
在这里插入图片描述
查看虚拟机信息 完成安装！开始安装centos
在这里插入图片描述
配置虚拟机
在这里插入图片描述
在这里插入图片描述
设置root密码 创建用户
在这里插入图片描述

完成安装
输入刚刚设置的用户名 密码就可以登录了
在这里插入图片描述

2.配置网络

获取root
在这里插入图片描述
关闭防火墙

systemctl status firewalld //查看防火墙

在这里插入图片描述

systemctl stop firewalld //停止防火墙
systemctl disable firewalld //彻底关闭防火墙

在这里插入图片描述

关闭selinux防火墙：

vi /etc/sysconfig/selinux

先把SELINUX改为disable
按“i”进入编辑模式 更改之后按esc键退出编辑模式 然后输入“：wq”保存后退出
在这里插入图片描述

通过配置ip地址 网关 子网掩码 ，主机虚拟网卡VMware network adapter vmware8 连接到vmnet8虚拟机交换机上，然后VMware虚拟机NET模式借助虚拟NET设备和虚拟HDCP服务器，使得虚拟机可以联网
设置VMware Network Adapter VMnet8 的ipv4
在这里插入图片描述
设置VMware网络
在这里插入图片描述
在这里插入图片描述

vi /etc/sysconfig/network-scripts/ifcfg-ens33 //设置VMware主机IP地址

在这里插入图片描述
改为：
在这里插入图片描述
BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.100.10
NETMASK=255.255.255.0
GATEWAY=192.168.100.20
DNS1=8.8.8.8

BOOTPROTO:是获取的ip地址类型，static和none为静态地址。dhcp为静止获取IP地址。
ONB:设置网卡是否在Linux系统启动时激活，一般设置为yes
IPADDR=本机IP地址
NETMASK:子网掩码
GATEWAY:网关
DNS1:首选DNS服务器

service network restart //重启网络

通过ping baidu.com检测外网环境
ping 虚拟机ip地址检测内部网络环境
在这里插入图片描述

二、配置Java Hadoop环境

1.xftp连接虚拟机

最低0.47元/天 解锁文章
谢的微光
关注
  • 8
    点赞
  • 踩
  • 88
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
开发环境搭建与Hadoop的配置
YTLDSS的博客
03-18 3901
1.虚拟机的创建 1.1.Vmware的安装 将Vmware软件安装包下载至电脑，解压并点击安装软件 1.2.虚拟机的创建 点击 创建新的虚拟机 创建虚拟机，命名为ubuntu，选择ubuntu镜像文件，设置虚拟机硬盘容量等 打开虚拟机时遇到问题： 解决办法：禁用hyper-v相关服务，失败，将Vmware软件升级至16.1.1版本，可正常启动虚拟机 1.3.VMware tools的安装 在VMware界面点击虚拟机，选择 安装VMware tools,ubuntu界面出现VMware toolsDV
Hadoop环境搭建
美国梦中国心
06-29 6498
Hadoop是一个由Apache基金会所创建的分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题，从广义上来说hadoop是数据存储分包器，可以存储大量的数据。
Hadoop环境搭建（全网最详细，保姆级教程）
m0_52931616的博客
07-08 2万+
搭建hadoop单机伪分布式环境
2024年最全Hadoop环境搭建_hadoop搭建(1)，2024年最新高薪程序员必会
最新发布
e846815793的博客
05-14 767
还是在/opt/hadoop/hadoop/etc/hadoop目录下(也就是上个文件所在的目录)，有一个叫 mapred-site.xml.template的文件，把它复制到/opt/hadoop/hadoop/etc/hadoop目录下(也就是mapred-queues.xml.template文件所在的目录)重命名为mapred-site.xml，命令如下。该文件设置的是Hadoop运行时需要的环境变量。按照上述操作方法，将其他的虚拟机更改主机名字，对应的slave0,slave1都修改。
【大数据】hadoop运行环境搭建（搭建如此简单）
YG15165的博客
07-07 3243
首先准备好工具。下载好最新的VMware Workstation，CentorOS 7运行Linux，建议Linux桌面标准版，且创建好一个用户模板机一定要按照步骤做好准备，避免遗漏，否则一台一台改超级麻烦。搭建hadoop运行环境！！
Hadoop环境搭建（保姆级教学）
R.W.Y的博客
06-03 7992
HADOOP环境搭建过程详解
Hadoop环境搭建(基础环境、伪分布式、完全分布式、Hive)
weixin_64753201的博客
08-07 823
数据仓库之父比尔·恩门（Bill Inmon）于1990年提出数据仓库，主要功能是通过资讯系统的联机事务，组织处理（OLTP）经年累月所累积的大量资料。数据仓库理论所特有的资料储存架构，可以帮助系统有效使用各种分析方法如联机分析处理（OLAP）、数据挖掘（Data Mining）对数据进行分析整理，进而支持如决策支持系统（DSS）、主管资讯系统（EIS），帮助决策者能快速有效的自大量资料中，分析出有价值的资讯，以利决策拟定及快速回应外在环境变动，帮助建构商业智能（BI）。
大数据教程之搭建Hadoop集群.zip_大数据环境搭建hadoop
01-09
标题中的“大数据教程之搭建Hadoop集群.zip_大数据环境搭建hadoop”暗示了这是一个关于如何在大数据环境中构建Hadoop集群的教程。Hadoop是Apache软件基金会的一个开源项目，主要用于处理和存储海量数据，其分布式...
Hadoop环境搭建.pdf
12-04
总的来说，搭建Hadoop环境是一个涉及操作系统配置、Java环境设置、Hadoop软件部署和集群配置的复杂过程。每个步骤都需要仔细执行，以确保Hadoop能够正确无误地运行在分布式环境中，为大数据处理提供强大的支持。
基于CentOS7平台的Hadoop安装及环境搭建全教程.zip
03-13
在这个过程中，我们将涉及到安装 Java 开发工具（JDK）、配置 Hadoop 配置文件、初始化 HDFS 以及启动 Hadoop 服务等一系列步骤。 首先，安装基础环境。由于 Hadoop 是用 Java 编写的，因此我们需要在 CentOS 7 上...
hadoop平台的搭建
03-02
在IT领域，Hadoop是一个...综上所述，搭建Hadoop平台是一个涉及多方面知识和技术的过程，包括环境准备、组件安装、配置调整以及集群管理。理解这些知识点有助于更好地构建和管理Hadoop集群，以应对大数据处理的需求。
hadoop伪分布式搭建(超级详细)
10-11
本篇文章将详细介绍如何在个人计算机上搭建Hadoop的伪分布式环境，以模拟一个单节点的Hadoop集群。我们将基于提供的hadoop-2.2.0版本进行操作，并参考名为“hadoop2.2.0伪分布式搭建.txt”的指南文件。 首先，我们...
Hadoop集群环境配置及安装配置（详细过程包含安装包）
热门推荐
2202_75347029的博客
07-07 3万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
Hadoop生态系统环境搭建（Hadoop全分布式、Zookeeper集群、Mysql、Hive集群、Hbase集群、Redis集群、ElasticSearch集群）
helloWorld的博客
10-17 3166
Hadoop集群搭建，四台主机。安装了JDK、Hadoop、MySQL、Hive、Hbase、Redis、ElasticSearch、CDH。文章包含详细安装启动命令以及Web的UI界面
Hadoop集群环境搭建（超详细）
ZIYE_190的博客
03-17 2936
Hadoop集群环境搭建
hadoop 相关环境搭建
bswsf的专栏
06-16 2152
备注。因为beeline一直报错，最有一怒之下把hive的lib下所有jar都拷贝到hadoop的share\hadoop\common\lib各软件的相关命令最好到各自安装目录或者bin目录下执行，防止初始化目录的时候位置不对。
最新Hadoop环境搭建流程
log1119的博客
08-13 3860
本文介绍了Hadoop环境搭建的基本流程，供学习参考和自检使用
Hadoop概述、运行环境搭建、运行模式
顺其自然~专栏
07-13 2406
Sqoop 是一款开源的工具，主要用于在Hadoop、Hive 与传统的数据库（MySQL）间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL，Oracle 等）中的数据导进到Hadoop 的HDFS 中，也可以将HDFS 的数据导进到关系型数据库中。：Flume 是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume 支持在日志系统中定制各类数据发送方，用于收集数据。：它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。
hadoop完全分布式集群搭建全过程
03-16
Hadoop完全分布式集群搭建全过程如下： 1. 安装Java环境：Hadoop是基于Java开发的，因此需要先安装Java环境。 2. 下载Hadoop：从官网下载Hadoop的最新版本。 3. 配置Hadoop环境变量：将Hadoop的bin目录添加到系统...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值