2024年Java最全基于VM搭建伪分布式Hadoop(1),2024程序员进阶宝典

分享

1、算法大厂——字节跳动面试题

2、2000页互联网Java面试题大全

3、高阶必备,算法学习

本文已被CODING开源项目:【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友,可以点击这里获取

Hadoop下载:https://hadoop.apache.org/releases.html

JDK下载:https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

VM下载:https://www.vmware.com/products/workstation-pro/workstation-pro-evaluation.html

SCP 命令请参考我的另一篇文章:

《Hadoop 高并发集群 与 开发环境部署》第6.2 小节其中的 :3)通过 scp 传输 host 文件

虚拟机安装Centos此处不详细描述

Centos国内源


请参考我的另一篇文章:

《基于Docker实现Hadoop完全分布式部署》 第2.1 小节

基础工具安装


请参考我的另一篇文章:

《基于Docker实现Hadoop完全分布式部署》 第2.2 小节

准备开发工具


Mysql 安装

请参考我的另一篇文章:

《Hadoop 高并发集群 与 开发环境部署》第5.1 小节

Java 安装

请参考我的另一篇文章:

《Hadoop 高并发集群 与 开发环境部署》第5.2 小节

Python3 安装

请参考我的另一篇文章:

《Hadoop 高并发集群 与 开发环境部署》第5.3 小节

Scala 安装

请参考我的另一篇文章:

《Hadoop 高并发集群 与 开发环境部署》第5.4 小节

Hadoop部署

=======================================================================

core-site.xml


hadoop.tmp.dir

/tmp

io.file.buffer.size

131072

fs.defaultFS

hdfs://localhost:8020

hdfs-site.xml

最后总结我的面试经验

2021年的金三银四一眨眼就到了,对于很多人来说是跳槽的好机会,大厂面试远没有我们想的那么困难,摆好心态,做好准备,你也可以的。

另外,面试中遇到不会的问题不妨尝试讲讲自己的思路,因为有些问题不是考察我们的编程能力,而是逻辑思维表达能力;最后平时要进行自我分析与评价,做好职业规划,不断摸索,提高自己的编程能力和抽象思维能力。

BAT面试经验

实战系列:Spring全家桶+Redis等

其他相关的电子书:源码+调优

面试真题:

本文已被CODING开源项目:【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友,可以点击这里获取

.(img-IaZXBm19-1714885807486)]

本文已被CODING开源项目:【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友,可以点击这里获取

  • 13
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,下面是搭建分布式Hadoop环境的步骤: 1. 安装Java Hadoop需要Java环境,所以需要先安装Java。 ``` sudo apt-get update sudo apt-get install default-jdk ``` 2. 安装Hadoop 下载Hadoop安装包并解压: ``` wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz tar -xzvf hadoop-2.10.1.tar.gz sudo mv hadoop-2.10.1 /usr/local/hadoop ``` 3. 配置Hadoop环境变量 打开hadoop-env.sh文件进行编辑: ``` sudo nano /usr/local/hadoop/etc/hadoop/hadoop-env.sh ``` 将以下内容添加到文件的末尾: ``` export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64 export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 保存并退出。 4. 配置Hadoop 打开core-site.xml文件进行编辑: ``` sudo nano /usr/local/hadoop/etc/hadoop/core-site.xml ``` 将以下内容添加到文件的末尾: ``` <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 保存并退出。 打开hdfs-site.xml文件进行编辑: ``` sudo nano /usr/local/hadoop/etc/hadoop/hdfs-site.xml ``` 将以下内容添加到文件的末尾: ``` <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value> </property> </configuration> ``` 保存并退出。 5. 格式化Hadoop文件系统 运行以下命令来格式化Hadoop文件系统: ``` hdfs namenode -format ``` 6. 启动Hadoop 运行以下命令来启动Hadoop: ``` start-all.sh ``` 7. 检查Hadoop状态 运行以下命令来检查Hadoop状态: ``` jps ``` 如果一切正常,你应该看到以下进程: ``` NameNode SecondaryNameNode DataNode ResourceManager NodeManager ``` 这样,分布式Hadoop环境就搭建完成了。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值