Hadoop-基础配置

于 2021-12-12 15:19:10 发布
阅读量1.7k 收藏
点赞数 1
文章标签： hadoop 大数据 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52560904/article/details/121887101
版权

首先最重要的是本地电脑上有VM（我的电脑上centOS7）、Moba。我们先网络配置、连接MObaxterm。

1、在虚拟机上修改主机名

Hostnamectl set -hostname Hadoop101<自己编写的主机名>

1-1、修改ip地址

vi /etc/sysconfig/network-scripts/ifcfg-ens33

修改为静态获取IP   BOOTPROTO=”static”

添加IP地址  IPADDR=192.168.1.100

添加网关   GATEWAY=192.168.1.2

添加子网掩码  NETMASK=255.255.255.0

添加域名解析器  DNS1=192.168.1.2

1-2、修改ip地址与主机名的映射

vi /etc/hosts

添加对应的IP和相对应的主机名

192.168.1.100 Hadoop100

192.168.1.101 Hadoop101

最低0.47元/天 解锁文章
耿佳鑫
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HADOOP的搭建和配置（一）基础环境配置
m0_58092229的博客
12-27 3695
第1章平台的基础环境配置 实验一：基础环境配置 实验任务一：Linux基础环境配置 步骤一：查看ip [root@VM-M-01594949483071~]# ip a [root@VM-M-01594949481966~]# ip a [root@VM-M-01594949480907~]# ip a 步骤四：修改主机名 [root@VM-M-01594949483071~]#hostnamectlset-hostnamemaster [root@VM-M-015...
Hadoop安装与配置（超详细，适合新手）
最新发布
m0_75142388的博客
04-15 1003
Hadoop的安装与配置，超详细，适合新手们，觉得有帮助，记得收藏哦！
hadoop基本配置信息
weixin_30569033的博客
01-10 105
获取默认配置：引自http://www.cnblogs.com/ggjucheng/archive/2012/04/17/2454590.html 配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版...
Hadoop基本配置
m0_60924418的博客
12-06 340
1.三台主机 192.168.137.11 master MAC地址不同 192.168.137.12 master MAC地址不同 192.168.137.13 master MAC地址不同 1.1主机配置： 1.1.1 IP地址 查看IP地址： # ip addr #vi /etc/sysconfig/network-scripts/ifcfg-ens33(后面这个数字看自己的电脑上显示的) 重启网卡： #service net...
Hadoop---在window下的安装配置----基于cygwin的
weixin_34067980的博客
08-27 81
1.下载hadoop安装包 可以到这个网站上下载http://www.apache.org/dist//hadoop/core/如果下载不下来自己到网上找找很多的。选一个版本下载。我用的是hadoop-0.20.2。 2.解压到一个目录下。随便选择按个目录。建议直接选择一个根目录。随后进行配置。这里配置的是伪分布式了。需要配置四个文件。都在conf目录下。分别为：hadoop-env...
大数据 hadoop-3.1.3 linux 安装包
06-25
在这个针对Linux系统的安装包中，我们将探讨Hadoop的基础知识、安装步骤以及在Linux环境下的配置和操作。 Hadoop由Apache软件基金会开发，它主要由两个核心组件构成：Hadoop Distributed File System (HDFS) 和 ...
hadoop-2.6.0.tar.gz&hadoop-2.6.0-cdh5.16.2.tar.gz
02-17
Apache Hadoop 2.6.0是Hadoop生态系统中的一个里程碑，它在2.4.0的基础上进行了一系列优化，提升了系统的稳定性和可扩展性。在这个版本中，YARN（Yet Another Resource Negotiator）作为资源管理器得到了进一步强化...
hadoop-3.1.3.tar.gz
12-06
《Hadoop 3.1.3在CentOS7上的安装与配置详解》 Hadoop，一个由Apache基金会所开发的分布式系统基础架构，是大数据处理领域的重要工具。本文将详细阐述如何在CentOS7操作系统上安装和配置Hadoop 3.1.3版本，旨在帮助...
hadoop-3.3.6.tar.gz - hadoop 3.3.6 安装包
07-19
Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序。适用于用户进行大数据处理和存储的需求。下载后请按照官方文档进行安装和配置。
hadoop-xml配置
04-14
HDFS是Hadoop的基础，提供了高容错性和可扩展性的分布式存储。`hdfs-site.xml`中的一些关键配置包括`dfs.replication`，它定义了数据块的副本数量，确保数据的冗余和容错；`dfs.blocksize`则是HDFS中每个数据块的...
hadoop 基础配置
木木的博客
07-10 133
1.hadoop-env.sh配置heap堆栈大小.2.配置yarn nodemanager 资源
hadoop 基本配置
A code monkey's Zone
05-07 293
hadoop day01: 一、安装jdk, 配置环境变量 安装hadoop， 修改配置文件 1、修改 hadoop 下的etc目录中的hadoop-env.sh, 添加java 的支持 export $JAVA_HOME=/usr/java/jdk6 2、修改 core-site.xml 中在configuration 节点下添加两个属性 fs.de
Hadoop基础之---配置
数据时代--收集，存储，处理，分析，挖掘，检索，展现
08-21 1409
Hadoop基础之---配置 话说Hadoop的配置文件是相当多的，这里列出一些注意的，常用的。 为什么要这么多配置，，配置就是为了方便配置，废话。因为很多时候代码里面写了很多Magic Number或者固定的路径或者固定的策略，而不同的环境，不同的需求可能会与默认的不同，所以需要修改，就放到配置文件里面，这样就可以随心所欲的设置了，而不用重新修改代码编译。 1.hadoop-env
Hadoop学习（一）_基本配置
weixin_43901822的博客
09-18 96
1：配置网络环境 vi + /etc/sysconfig/network-scripts/ifcfg-eth0 注释掉HWADDR 把ONBOOT改为yes 把BOOTPROTO改为static 2：做一个重启 service network restart 3：关闭防火墙 service iptables stop 4：修改一下下面的一个状态 vi /etc/selinux/config ...
2-hadoop基础配置2
W_SRB的专栏
06-18 724
hadoop的   存储：     hdfs   运算：     MapReduce: map(抽取, 映射)+reduce(化简) hadoop部署配置： 1.独立模式    默认就是独立模式    hadoop fs -ls / 列出的文件和Linux本身的文件一模一样，文件系统使用本地库文件，不是分布式文件系统 2.伪分布模式：模拟一个集群   2.1 基础配置
一、Hadoop基础环境的配置
Ms_Yilen的博客
03-21 489
Hadoop基础环境配置1.创建普通用户并获得管理员权限2.配置网络环境3.设置免密登陆4.jdk 安装5.hadoop的安装 1.创建普通用户并获得管理员权限 如果在安装系统时，没有添加普通用户，首先我们需要添加普通用户 （在日后的linux系统使用中，我们会尽量少的使用root用户，因为root用户具有最高权限，而linux是多用户多终端登录使用，每个用户或用户组有各自的任务和职能，而这里对...
Hadoop入门基础配置（二）
qq_42595261的博客
10-22 394
Hadoop入门基础配置&lt;二&gt; 版权声明： 本文为博主学习整理原创文章，如有不正之处请多多指教。 未经博主允许不得转载。https://blog.csdn.net/qq_42595261/article/details/83280268 HDFS界面介绍 在linux内部可以通过curl http://hadoop01:50070查看是否启动成功 在windows上面直接访...
hadoop配置大全（hadoop集群，hive，sqoop，ntp集群，hbase集群）
婲落ヽ红颜谇的博客
07-03 451
Hadoop Hadoop伪分布式 基本环境搭建 0. Vmware中网卡 桥接(bridge),NAT 桥接：宿主机 ，虚拟机 在网络上 ，等同的 ，相互都具有独立的ip地址 NAT模式:宿主机（192.168.0.3）虚拟机 （192.168.0.3） 宿主机 可以与 虚拟机 构建一个 虚拟的网络 便于实验 测试 虚拟的IP地址 1. if...
hadoop-spark配置文档1
08-08
"这篇文档是关于在Hadoop集群中配置Spark环境的教程，主要涵盖了基础环境配置、Namenode的格式化以及相关的配置文件参数设置。" 在搭建Hadoop和Spark集群时，基础环境配置是至关重要的第一步。SSH配置允许节点间的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值