Hadoop的详细配置（持续更新）

最新推荐文章于 2024-01-04 16:51:05 发布
最新推荐文章于 2024-01-04 16:51:05 发布
阅读量1.1k 收藏 6
点赞数
文章标签： linux java 大数据 数据库 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_53683186/article/details/111473583
版权

文章目录

一、大数据（持续更新）

1. 前言

1.0作者感言

​ 我水平有限，大数据仍在学习中，但学习日志会不断更新，知识是个积累的过程，这个博客算是记录我学习的过程，而非盈利性的教程。如果你们有更好的办法或者意见，欢迎评论。

1.1选择Typora

​ 众所周知，计算机是一门过程性知识非常多的学科，我们需要一款工具来记录下我们的知识，Typora是一个非常好的选择，支持多种代码块，画面简约，编写方便，启动快速。

1.1.1 选择PicGo(APP)的原因

​ 由于我们的图片在本地，上传md文件到CSDN的时候，CSDN不支持本地相对路径上传图片，会提示失败，这是就需要一个网络中转站，先把我们的图片上传到这个中转站里面，那么我们的图片地址就成了一个网络地址，CSDN就会自动加载

1.1.2 下载PicGo并配置

​ 1. 偏好设置

image-20201221092607056

  1. 下载PicGo

    image-20201221092252129

  2. 这里注意不要选择带beta的版本，因为不稳定，容易崩溃

image-20201221092339773
  1. 我选择了
image-20201221092446324 image-20201221092507818
  1. 我们这里选择腾讯云COS，不选Github，因为Github服务器不在中国，所以会有下载上传缓慢的情况image-20201221093642930
  2. 创建对象存储桶（访问权限设置为 公开读私有写 ，提高安全性）

image-20201221094202723

存储桶名称对应“设置存储空间名”

所属地域对应“确认存储区域”

存储桶名称后面的一串数字对应“设定APPID”

  1. 最后授予PicGo密匙

    image-20201221094633318
  2. image-20201221094659399
  3. image-20201221094717295
  4. image-20201221094807895
1.1.3 开始写博客，记录自己学习的点点滴滴
1.1.4 附件下载地址

链接：https://pan.baidu.com/s/1oA1iDFWGUCYC6Sjk5OzVeQ
提取码：s8h9
复制这段内容后打开百度网盘手机App，操作更方便哦–来自百度网盘超级会员V1的分享

1.2 为什么用Linux？

众所周知，Linux最强的服务器操作系统，并且在一定程度上比windows安全。而大数据框架Hadoop也是运行在服务器之上，所以Linux是最优选。

2.下载VMware并安装Linux

注：附件在前言1.1.4

  1. image-20201221102000203

  2. image-20201221100351783
  3. image-20201221100404641
  4. image-20201221100426341
  5. image-20201221100442781
  6. image-20201221100623285
  7. image-20201221100633392

  8. 如果你的电脑是16G内存可以选择2GB，如果你的电脑是8G，则选择1G内存image-20201221100647760

  9. image-20201221100705383
  10. image-20201221100755639
  11. image-20201221100804995
  12. image-20201221100819952
  13. image-20201221100831213
  14. image-20201221100838090

  15. 完成image-20201221100846823

  16. image-20201221101243984
  17. image-20201221102346631

  18. 开启虚拟机image-20201221102045871

  19. 默认image-20201221102403420

  20. 跳过，选skipimage-20201221102451982

  21. image-20201221102538432
  22. image-20201221102612974
  23. image-20201221102643441
  24. image-20201221102659642
  25. image-20201221102720881
  26. image-20201221102813036
  27. image-20201221102829799
  28. image-20201221102855145
  29. image-20201221102914078
  30. image-20201221102938257
  31. image-20201221103007771

  32. 耐心等待image-20201221103047162

  33. 这里重启即可image-20201221104145766

  34. image-20201221104346153
  35. image-20201221104452815

3. 安装VMwareTools

VMwareTools可以让虚拟机和Windows10之间共享粘贴板

  2. image-20201221105044376

  3. 控制台输入以下两条指令

    cd /opt
mkdir module software

  4. 解压到第3步创建的module文件夹中image-20201221105528514

  5. cd /opt/module/vmware-tools-distrib

    ./vmware-install.pl

    然后一路回车采用默认设置

  6. 这里不要着急，不要按ctrl+C，否则会中断，系统也会崩溃，耐心等待image-20201221110107983

  7. 这里同样不要着急，不要跳过或者关闭窗口image-20201221110323185

  8. 安装成功如图所示image-20201221110444480

  9. 重启即可生效

4.配置网络，确保能上网

4.1 vim /etc/sysconfig/network-scripts/ifcfg-eth0

如果你是选择了NAT，那么你的Linux配置好了就能上网，但是需要再配置/etc/sysconfig/network-scripts的ifcfg-eth0，以确保ssh远程登录成功

关键配置如下

BOOTPROTO=static
ONBOOT=yes

配置完成保存，重启即可生效

4.2 配置主机名与Ip的映射

vim /etc/hosts

输入ifconfig指令查询的ip地址

输入hostname指令查询的主机名

如图

image-20201221114826355

5. 配置SSH连接

终端输入以下指令查看ip地址

ifconfig

image-20201221112625964

此处端口号（port）不要改，否则会出错image-20201221112742510

选yes即可image-20201221112912066

6. 配置SSH免密登录

  1. 关闭防火墙

    chkconfig iptables off

  2. 终端输入

ssh-keygen -t rsa

  1. 回车image-20201221113419211

  2. 先用ssh登录一遍，这步目的是为了生成.ssh文件

    ssh localhost
image-20201221113533796

  1. 传递公钥

    ssh-copy-id machine110

    第一次会让你输入密码，第二次就不用了

  2. 成功之后如图

    image-20201221115514539

7. 配置hadoop和java环境变量

7.1卸载自带的Java

7.1.1检查自带的Java
7.1.1.1指令解析

rpm命令
-q 　使用询问模式，当遇到任何问题时，rpm指令会先询问用户。
-a 　查询所有套件。
grep命令用于查找文件里符合条件的字符串。

rpm -qa |grep java
rpm -qa |grep jdk
rpm -qa |grep gcj

如果没有输入提示信息表示没有安装

7.1.2卸载Java

方法一：批量卸载

rpm -qa | grep java | xargs rpm -e --nodeps

方法二：单个卸载

rpm -e 安装包的名字

7.2解压附件安装包

7.2.1解压指令解析

-z或–gzip或–ungzip 通过gzip指令处理备份文件。
-x或–extract或–get 从备份文件中还原文件。
-v或–verbose 显示指令执行过程。
-f<备份文件>或–file=<备份文件> 指定备份文件。
-C<目的目录>或–directory=<目的目录> 切换到指定的目录。

  1. image-20201221120041689
tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

7.3配置/etc/profile

  1. 终端输入
vim /etc/profile
  1. 按 “i” 进入编辑模式，加入以下代码
export JAVA_HOME=/opt/module/jdk1.8.0_144
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

  1. ESC退出编辑模式，按"wq"进行保存

  2. 重新加载配置文件

    source /etc/profile

  3. 检查是否配置正确

    java -version
hadoop version

8.克隆虚拟机

8.1为什么要克隆虚拟机？

读者如果亲自配置过虚拟机，你会知道配置的过程是非常繁琐的，而且是非智力的劳动。在实际工作当中，你可能要配置3个节点以上，不可能一个一个配置，当你一个主机配置好后，选择克隆会省下很多功夫。

从安全方面上说，克隆可以防止数据丢失，相当于备份，以免系统崩溃又要从头再来的情况。

image-20201221133205969

附：更新在下一篇，欢迎读者移步我的主页查看

李南想做条咸鱼
关注
Hadoop集群环境配置及安装配置（详细过程包含安装包）_hadoop安装与配置
2401_84181501的博客
05-06 694
如果无法修改请看另外一篇文章修改每台节点的hosts文件命令为sudo vim /etc/hosts ，依次添加node1，node2，node3。
Hadoop集群环境配置及安装配置（详细过程包含安装包）_hadoop安装与配置(1)
最新发布
2401_84181368的博客
04-30 809
在首台虚拟机创建完成后，可以通过克隆的方式快速创建其他虚拟机。1.右键虚拟机名称，点击管理，选择克隆选项2.点击克隆后，点击下一页3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。4.选择克隆类型，一般为完整克隆5.设置克隆虚拟机的名称以及存放位置6.设置完成后点击完成，克隆结束。
hadoop配置
01-25
hadoop的安装配置过程详细介绍，本人也是初学者，和大家分享一下
hadoop详细配置
weixin_30872337的博客
06-07 106
详见fenghaootong-github hadoop详细配置 hadoop基础知识 java JDK配置 下载JDK 解压jdk到/usr/local/目录下 配置环境变量 节点规划 主机名称 IP地址 功能 hadoop1 192.168.75.111 NameNode...
HADOOP的配置
weixin_52449548的博客
01-04 1573
hadoop的配置详解
Hadoop的配置
m0_67392661的博客
08-16 2206
第一个 dfs.replication data副本的数量 第二个 dfs.name.dir namenode的数据存放地址。1. 配置主机名 /etc/sysconfig/network hostname=master master是主节点的意思。2.拷贝公钥 ssh-copy-id -i ~/.ssh/id_rsa.pub root@master。export HADOOP_HOME=/hadoop的安装地址。在 hadoop安装目录 下的 etc/hadoop。...
hadoop 配置文件
06-20
Hadoop配置文件是确保系统正常运行和优化性能的核心要素。本篇将深入探讨Hadoop配置文件的相关知识点，包括它们的作用、主要配置文件及其内容、以及如何根据实际需求进行调整。 一、Hadoop配置文件的作用 Hadoop...
hadoop分布计算配置.pptx
10-21
本文将详细介绍Hadoop的分布式计算配置，帮助读者理解并掌握Hadoop集群的搭建与管理。 首先，配置Hadoop的核心文件`core-site.xml`是整个Hadoop系统的基础。在这个文件中，`hadoop.tmp.dir`属性定义了Hadoop运行时...
cdhproject：hadoop各组件使用，持续更新
02-03
【标题】"cdhproject：hadoop各组件使用，持续更新" 这个项目“cdhproject”专注于Hadoop生态系统的各个组件的使用方法，且强调了持续更新，这意味着它可能包含了最新的技术发展和优化策略。Hadoop是大数据处理的...
hadoop基本配置信息
weixin_30569033的博客
01-10 118
获取默认配置：引自http://www.cnblogs.com/ggjucheng/archive/2012/04/17/2454590.html 配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版...
Hadoop基本配置
m0_60924418的博客
12-06 356
1.三台主机 192.168.137.11 master MAC地址不同 192.168.137.12 master MAC地址不同 192.168.137.13 master MAC地址不同 1.1主机配置： 1.1.1 IP地址 查看IP地址： # ip addr #vi /etc/sysconfig/network-scripts/ifcfg-ens33(后面这个数字看自己的电脑上显示的) 重启网卡： #service net...
修改 jupyter notebook的默认文件夹位置
qq_43339956的博客
12-06 176
1. 首先要找到配置文件位置 　　打开Anaconda Prompt，输入命令：jupyter notebook --generate-config     然后执行。 2. 打开上一步生成的配置文件 　　C:\Users\Administrator\.jupyter\jupyter_notebook_config.py  　　实际上，C:\Users\Administrator就是Jupyter notebook的默认路径 3. 在jupyter_notebook_
Hadoop配置
习惯一个人面对所有
11-30 234
解压Hadoop安装包 [whzy@master software]$ cp hadoop-2.7.3.tar.gz ~/ [whzy@master ~]$ tar -xvf hadoop-2.7.3.tar.gz 检查是否是否成功 配置环境 配置环境变量hadoop-env.sh whzy@master hadoop]$ vi hadoop-env.sh 将export JAVA_HOM...
Hadoop安装配置详解及实践指南
对Hadoop的配置和管理是一个持续的过程，随着集群规模的扩大和业务需求的变化，需要不断地对Hadoop集群进行优化和调整。" 请注意，由于提供的文件信息不完整，无法从文件列表中直接提取与Hadoop安装与配置相关的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

李南想做条咸鱼

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值