Hadoop安装教程

已于 2022-10-29 09:19:12 修改
阅读量3k 收藏 7
点赞数 1
分类专栏： bigdata 文章标签： linux hadoop
于 2022-10-29 09:11:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_55853133/article/details/127582872
版权

虚拟机安装

0）安装模板虚拟机

IP地址192.168.140.10、主机名称bigdata10、内存1G、硬盘50G

1.1配置电脑

1.2 安装系统（CentOS7）

1.3 网络配置

对安装好的VMware进行网络配置，方便虚拟机连接网络，本次设置建议选择NAT模式，需要宿主机的Windows和虚拟机的Linux能够进行网络连接，同时虚拟机的Linux可以通过宿主机的Windows进入互联网。

1.4 虚拟机网络IP修改地址配置

1）修改网络IP地址为静态IP地址，避免IP地址经常变化，从而方便节点服务器间的互相通信。

vi /etc/sysconfig/network-scripts/ifcfg-eno*

2）以下项必须修改，有值的按照下面的值修改，没有该项的则需要增加。

BOOTPROTO="static"  #IP的配置方法[none|static|bootp|dhcp]（引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议）
ONBOOT="yes"   #系统启动的时候网络接口是否有效（yes/no）
IPADDR=192.168.140.10  #IP地址
GATEWAY=192.168.140.2      #网关
NETMASK=255.255.255.0     #子网掩码
DNS1=8.8.8.8            #域名解析器
DNS1=114.114.114.114

3）修改IP地址后的结果如图所示，执行“:wq”命令，保存退出

4）执行systemctl restart network命令，重启网络服务。如果报错，则执行“reboot”命令，重启虚拟机

systemctl restart network

5）使用ifconfig命令查看当前IP

ifconfig
或者 ip a （最小安装未安装ifconfig）

6）保证Linux系统ifcfg-eno*文件中IP地址、虚拟网络编辑器地址和Windows系统VM8网络IP地址相同

1.5 修改主机名和hosts文件

1）修改主机名称

vi /etc/hostname
bigdata10

2）配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts

 vi /etc/hosts
添加如下内容
192.168.140.10 bigdata10
192.168.140.11 bigdata11
192.168.140.12 bigdata12

3）重启克隆机bigdata11【可以等一会配置完hadoop,java再克隆】

reboot

4）修改windows的主机映射文件（hosts文件）【方便使用xshell】

（1）如果操作系统是window7，可以直接修改

（a）进入C:\Windows\System32\drivers\etc路径

（b）打开hosts文件并添加如下内容，然后保存

192.168.140.10 bigdata10
192.168.140.11 bigdata11
192.168.140.12 bigdata12

（2）如果操作系统是window10，先拷贝出来，修改保存以后，再覆盖即可

（a）进入C:\Windows\System32\drivers\etc路径

（b）拷贝hosts文件到桌面

（c）打开桌面hosts文件并添加如下内容

192.168.140.10 bigdata10
192.168.140.11 bigdata11
192.168.140.12 bigdata12

（d）将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件

1）bigdata10虚拟机配置

（本文Linux系统全部以CentOS-7-x86_64-DVD-1511.iso为例）

（1）使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况

ping www.baidu.com
PING www.baidu.com (14.215.177.39) 56(84) bytes of data.
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=1 ttl=128 time=8.60 ms
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=2 ttl=128 time=7.72 ms

（2）安装epel-release

注：Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的）

 yum install -y epel-release

（3）注意：如果Linux安装的是最小系统版，还需要安装如下工具；如果安装的是Linux桌面标准版，不需要执行如下操作

Ø net-tool：工具包集合，包含ifconfig等命令

yum install -y net-tools

Ø vim：编辑器

yum install -y vim

2）关闭防火墙，关闭防火墙开机自启

systemctl stop firewalld
systemctl disable firewalld.service

注意：在企业开发时，通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安全的防火墙

3）创建lxq用户，并修改lxq用户的密码

useradd lxq
passwd lxq

4）配置lxq用户具有root权限，方便后期加sudo执行root权限的命令

vim /etc/sudoers

修改/etc/sudoers文件，在%wheel这行下面添加一行，如下所示：

## Allow root to run any commands anywhere
root  ALL=(ALL)   ALL
 
\## Allows people in group wheel to run all commands
%wheel ALL=(ALL)    ALL
lxq  ALL=(ALL)   NOPASSWD:ALL

注意：lxq这一行不要直接放到root行下面，因为所有用户都属于wheel组，你先配置了lxq具有免密功能，但是程序执行到%wheel行时，该功能又被覆盖回需要密码。所以lxq要放到%wheel这行下面。

5）在/opt目录下创建文件夹，并修改所属主和所属组

（1）在/opt目录下创建module、software文件夹

mkdir /opt/module
mkdir /opt/software

（2）修改module、software文件夹的所有者和所属组均为lxq用户

chown lxq:lxq /opt/module 
chown lxq:lxq /opt/software

（3）查看module、software文件夹的所有者和所属组

cd /opt/
ll
总用量 12
drwxr-xr-x. 2 lxq lxq 4096 5月 28 17:18 module
drwxr-xr-x. 2 root  root  4096 9月  7 2017 rh
drwxr-xr-x. 2 lxq lxq 4096 5月 28 17:18 software

6）卸载虚拟机自带的JDK

注意：如果你的虚拟机是最小化安装不需要执行这一步。

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

Ø rpm -qa：查询所安装的所有rpm软件包

Ø grep -i：忽略大小写

Ø xargs -n1：表示每次只传递一个参数

Ø rpm -e –nodeps：强制卸载软件

7）重启虚拟机

reboot

hadoop安装

2) 在bigdata10安装JDK，hadoop

1）卸载现有JDK

注意：安装JDK前，一定确保提前删除了虚拟机自带的JDK。详细步骤见问文档3.1节中卸载JDK步骤。

Hadoop下载地址：[Index of /dist/hadoop/common/hadoop-3.1.3]

2）用XShell传输工具将JDK导入到opt目录下面的software文件夹下面

3）在Linux系统下的opt目录中查看软件包是否导入成功

ls /opt/software/

4）解压JDK,Hadoop到/opt/module目录下

tar -zxvf jdk-8u351-linux-x64.tar.gz -C /opt/module/
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

5）配置JDK,Hadoop环境变量

（1）新建/etc/profile.d/my_env.sh文件

sudo vim /etc/profile.d/my_env.sh
添加如下内容

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_351
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP_HOME：
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

（2）保存后退出

:wq

（3）source一下/etc/profile文件，让新的环境变量PATH生效

source /etc/profile

6）测试JDK是否安装成功

 java -version
java version "1.8.0_212"
​
hadoop version
Hadoop 3.1.3

注意：重启（如果java -version,Hadoop命令都能用就不用重启虚拟机）

sudo reboot

3) 克隆虚拟机

1）利用模板机bigdata10，克隆两台台虚拟机：bigdata11 bigdata12

注意：克隆时，要先关闭bigdata10（一般集群克隆两台就好，高可用最好克隆四台）

2）修改克隆机IP

3）修改克隆机主机名

4）重启克隆机bigdata11

reboot

5）修改windows的主机映射文件（hosts文件）

4) 编写集群分发脚本xsync

如果下面报错，先安装命令：

yum install -y xsync

（a）在/home/lxq/bin目录下创建xsync文件

cd /home/lxq
mkdir bin
cd bin
vim xsync

在该文件中编写如下代码

#!/bin/bash
​
#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi
​
#2. 遍历集群所有机器
for host in bigdata10 bigdata11 bigdata12
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送
​
    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)
​
                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

（b）修改脚本 xsync 具有执行权限

chmod +x xsync

（c）测试脚本

xsync /home/lxq/bin

（d）将脚本复制到/bin中，以便全局调用

sudo cp xsync /bin/

（e）同步环境变量配置（root所有者）

 sudo ./bin/xsync /etc/profile.d/my_env.sh

注意：如果用了sudo，那么xsync一定要给它的路径补全。

让环境变量生效

source /etc/profile

5) SSH无密登录配置

（1）生成公钥和私钥

[lxq@bigdata10 .ssh]$ pwd
/home/lxq/.ssh


ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

（2）将公钥拷贝到要免密登录的目标机器上

ssh-copy-id bigdata10
ssh-copy-id bigdata11
ssh-copy-id bigdata12

6）配置集群

（1）核心配置文件

配置core-site.xml

cd $HADOOP_HOME/etc/hadoop
 vim core-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
​
<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata10:8020</value>
    </property>
​
    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>
​
    <!-- 配置HDFS网页登录使用的静态用户为lxq -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>lxq</value>
    </property>
</configuration>
​

（2）HDFS配置文件vim

配置hdfs-site.xml

 vim hdfs-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
​
<configuration>
    <!-- nn web端访问地址-->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>bigdata10:9870</value>
    </property>
    <!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>bigdata11:9868</value>
    </property>
</configuration>
​

（3）YARN配置文件

配置yarn-site.xml

vim yarn-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
​
<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!-- 开启日志聚集功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <!-- 设置日志聚集服务器地址 -->
    <property>  
        <name>yarn.log.server.url</name>  
        <value>http://bigdata10:19888/jobhistory/logs</value>
    </property>
    <!-- 设置日志保留时间为7天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>bigdata11</value>
    </property>
    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>
​

（4）MapReduce配置文件

配置mapred-site.xml

vim mapred-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
​
<configuration>
    <!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!-- 历史服务器端地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>bigdata10:10020</value>
    </property>
    <!-- 历史服务器web端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>bigdata10:19888</value>
    </property>
</configuration>

(5）在集群上分发配置好的Hadoop配置文件

xsync /opt/module/hadoop-3.1.3/etc/hadoop/

(6）去11,12上查看文件分发情况

cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

7) 群起集群

1）配置workers

 vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在该文件中增加如下内容：

bigdata10
bigdata11
bigdata12

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

同步所有节点配置文件

xsync /opt/module/hadoop-3.1.3/etc

2）启动集群

（1）如果集群是第一次启动，需要在bigdata10节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。）

hdfs namenode -format

（2）启动HDFS

[lxq@bigdata10 hadoop-3.1.3]$ sbin/start-dfs.sh

（3）在配置了ResourceManager的节点（bigdata11）启动YARN

[lxq@bigdata11 hadoop-3.1.3]$ sbin/start-yarn.sh

（4）Web端查看HDFS的NameNode

（a）浏览器中输入：http://bigdata10:9870
（b）查看HDFS上存储的数据信息

（5）Web端查看YARN的ResourceManager

（a）浏览器中输入：http://bigdata11:8088
（b）查看YARN上运行的Job信息

8) 编写Hadoop集群常用脚本

1）Hadoop集群启停脚本（包含HDFS，Yarn，Historyserver）：myhadoop.sh

cd /home/lxq/bin
vim myhadoop.sh

Ø 输入如下内容

#!/bin/bash
​
if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi
​
case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="
​
        echo " --------------- 启动 hdfs ---------------"
        ssh bigdata10 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh bigdata11 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh bigdata10 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="
​
        echo " --------------- 关闭 historyserver ---------------"
        ssh bigdata10 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh bigdata11 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh bigdata10 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

Ø 保存后退出，然后赋予脚本执行权限

chmod +x myhadoop.sh

2）查看五台服务器Java进程脚本：jpsall

cd /home/lxq/bin
vim jpsall

Ø 输入如下内容

#!/bin/bash
​
for host in bigdata10 bigdata11 bigdata12
do
        echo =============== $host ===============
        ssh $host jps 
done

Ø 保存后退出，然后赋予脚本执行权限

chmod +x jpsall

3）分发/home/lxq/bin目录，保证自定义脚本在三台机器上都可以使用

xsync /home/lxq/bin/

常见错误及解决方案

1）防火墙没关闭、或者没有启动YARN

INFO client.RMProxy: Connecting to ResourceManager at bigdata10/192.168.140.10:8032

2）主机名称配置错误

3）IP地址配置错误

4）ssh没有配置好

5）root用户和lxq两个用户启动集群不统一

6）配置文件修改不细心

7）不识别主机名称

java.net.UnknownHostException: bigdata11: bigdata11
at java.net.InetAddress.getLocalHost(InetAddress.java:1475)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:146)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
解决办法：
（1）在/etc/hosts文件中添加192.168.140.11 bigdata11
（2）主机名称不要起hadoop hadoop000等特殊名称

8）DataNode和NameNode进程同时只能工作一个。

原因是在Linux的根目录下/tmp目录中存在启动的进程临时文件，将集群相关进程删除掉，再重新初始化集群。

9）执行命令不生效，粘贴Word中命令时，遇到-和长–没区分开。导致命令失效

解决办法：尽量不要粘贴Word中代码。

10）jps发现进程已经没有，但是重新启动集群，提示进程已经开启。

原因是在Linux的根目录下/tmp目录中存在启动的进程临时文件，将集群相关进程删除掉，再重新启动集群。

11）jps不生效

原因：全局变量hadoop java没有生效。解决办法：需要source /etc/profile文件。

12）8088端口连接不上

cat /etc/hosts

注释掉如下代码

#127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1     bigdata10

热心市民小吕1213
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop-2.7.7 linux安装包
12-05
此文件为hadoop-2.7.7.tar.gz，可在linux下直接进行安装，如在windows上安装，则需要hadooponwindows-master.zip，用windows-master里的文件替换解压好后hadoop的bin和etc即可。 Hadoop 2.7.7是一款开源的分布式计算框架，由Apache基金会所开发。它的核心组件包括分布式文件系统HDFS和离线计算框架MapReduce。Hadoop 2.7.7支持完全分布式集群部署，具有高可靠性、高可扩展性、高容错性等特性。此外，该版本还提供了数据节点数据存储的节点位置定义功能，允许用户根据实际情况确定磁盘的挂载目录并进行分割。总的来说，Hadoop 2.7.7是一款适用于处理大规模数据的可靠工具。
hadoop的官网下载和各版本下载方法
热门推荐
leileihhxx的博客
12-27 7万+
不想看具体分析可以直接点击链接下载。 1、官网：官网下载 2、旧版本下载(官方的archive地址)：旧版本下载 3、清华大学开源软件镜像站下载(速度较快，只有新版本)：清华大学开源软件镜像站 具体流程： 先贴出hadoop官方地址~ hadoophttps://hadoop.apache.org/ 一般来说，Apache的开源软件后缀都是apache.org。hive的官网是Hivehttps://hive.apache.org/ Zookeeper也一样，网址：zookeep
Hadoop集群环境配置及安装配置（详细过程包含安装包）_hadoop安装与配置
最新发布
2401_84167086的博客
05-10 1436
4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。加载新时区：sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
【开发环境】安装 Hadoop 运行环境 ( 下载 Hadoop | 解压 Hadoop | 设置 Hadoop 环境变量 | 配置 Hadoop 环境脚本 | 安装 winutils )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
08-03 1万+
一、下载 Hadoop 二、解压 Hadoop 三、设置 Hadoop 环境变量 四、配置 Hadoop 环境脚本 五、安装 winutils 六、重启电脑 七、验证 Hadoop 安装效果
【大数据】下载hadoop与jdk
m0_51011320的博客
05-31 2649
如果使用apt-get install xxx这种方式安装的话，会把配置文件打散，可执行文件在/bin 目录，配置文件在/etc目录，这样的话hadoop找不到对应的文件，就无法运行。传输后可以直接在虚拟机中看到，将文件移动到到下载里面。此时再用 ssh localhost 命令，无需输入密码就可以直接登陆了，如下图所示。安装之前有个小问题，就是之前我们安装软件，直接是apt-get install xxx。输入java -version指令查看jdk是否安装成功，也是查看jdk版本号的代码。
Hadoop下载安装(物理机)
RedStone618的博客
07-06 1980
将hadoop-2-7.4.tar.gz包上传到/root/export/software目录。
Hadoop安装教程_单机_伪分布式配置_Hadoop2.6.0_Ubuntu14.04_给力星.html
03-02
网上找的，适合于原生Hadoop2，包括Hadoop 2.6.0, Hadoop 2.7.1 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，相信按照步骤来，都能顺利安装并运行Hadoop。
hadoop安装教程
12-25
在centOS7系统上安装hadoop2.7.2 压缩包中包含除虚拟机外，安装hadoop2.7.2的所有软件，和hadoop安装教程。 http://pan.baidu.com/s/1nuAaKy9 密码：nwiu
hadoop 安装教程
02-03
hadoop 集群安装,安装过程，centos6.4,hadoop1.1.1,vmware
kerberos Hadoop 安装教程
11-30
kerberos Hadoop 安装教程， 通过自己亲手实践，得出来的文档
史上最详细的hadoop安装教程（含坑点）
m0_67391377的博客
08-28 3万+
最近因为需要所以要安装hadoop，但是网上怎么说呢，就是很混乱，各种资料，各种安装方法，总体来说都不是很有效果，经过了3天的挣扎，收集资料，才完成了部署。输入jps看到上述四个即完成启动。...
hadoop环境新手安装教程
ytz201201的博客
02-15 2457
这一步需要对hadoop下的 core-site.xml、hadoop-env.sh、hdfs-site.xml、mapred-site.xml、yarn-site.xml等文件进行配置。这里我用了3台虚拟机，1台改为master，另外2台分别改为node1和node2。（3）IP地址改写，这里需要修改虚机的配置，选择NAT模式，DHCP选择想要的网段就行。这里根据每台虚机的ip选择相应的hostname就行。7、环境的配置已经改完了。（2）hadoop安装包：我的是hadoop-3.3.1。
Hadoop下载与安装
m0_62002589的博客
10-15 4022
介绍：Hadoop是一个开源软件框架，用于在商用硬件集群上存储数据和运行应用程序。它为任何类型的数据提供海量存储，巨大的处理能力以及处理几乎无限的并发任务或作业的能力。 第一步:前期需要准备的材料: ① Hadoop-3.0.0下载 从http://archive.apache.org/dist/hadoop/core/下载Hadoop-3.0.0，下载二进制压缩包文件：hadoop-3.0.0.tar.gz (https://blog.csdn.net/mr_yuntuo/article/detai
Hadoop集群环境配置及安装配置（详细过程包含安装包）
2202_75347029的博客
07-07 3万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
hadoopHDFS上传和下载(超级详细)
互联网知识分享
07-18 3179
HDFS采用了一种分布式的数据存储模型，将大文件切分成多个数据块，然后将这些数据块分布式地存储在一组物理节点上。8）HDFS的上传和下载操作是Hadoop框架的核心功能之一，它提供了高效且可靠的大规模数据存储和访问能力。通过上述代码示例和原理解释，您应该能够理解HDFS的上传和下载过程，并可以在实际应用中使用HDFS进行文件的上传和下载操作。下载操作涉及从多个HDFS节点获取数据块，并将这些数据块组合成完整的文件。上传操作涉及将数据切分为适当的数据块，并将这些数据块分布式地复制到HDFS集群的不同节点上。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值