基于OSS存储搭建Hadoop集群

最新推荐文章于 2023-08-07 16:32:11 发布
最新推荐文章于 2023-08-07 16:32:11 发布
阅读量796 收藏 1
点赞数 1
文章标签： 大数据 运维 java
原文链接：https://yq.aliyun.com/articles/277304
版权

简介

本文以Ubuntu操作系统为例，介绍基于Aliyun OSS的hadoop-3.0.0-beta1的集群环境搭建过程，示例的集群环境包括1个master和2个slave节点（slave1和slave2）。
请参考官方文档。

操作账户默认使用root账户

注意：为了方便用户操作，减少错误发生，本文假定所有操作都是使用root账户；
如果使用非root，请根据自己的实际情况进行操作步骤的修订。

在各个节点上操作目录均为/home/hadoop目录

所有下载软件包的存放和操作目录为：/home/hadoop

Java安装目录（$JAVA_HOME）为：/home/hadoop/jdk1.8.0/

Hadoop安装目录（$HADOOP_HOME）为：/home/hadoop/hadoop-3.0.0-beta1/

搭建Hadoop集群

设置集群所有节点的主机名

对所有节点设置主机名

在master节点上执行命令修改hostname： hostname master

在slave1节点上执行命令修改hostname： hostname slave1

在slave2节点上执行命令修改hostname： hostname slave2

对所有节点检查hostname是否修改成功：

在master节点上执行命令 hostname 返回 master。

在slave1节点上执行命令 hostname 返回 slave1。

在slave2节点上执行命令 hostname 返回 slave2。

对所有节点（master和slave）配置/etc/hosts

在各个节点上打开文件：vim /etc/hosts

在文件最后添加如下内容，注意下面的IP地址要替换为实际环境的局域网IP地址：

192.168.1.1    master
192.168.1.2    slave1
192.168.1.3    slave2
对所有节点验证互联正确无误

在master节点上执行命令 ping slave1 和 ping slave2，均正常ping通。

在slave1节点上执行命令 ping master 和 ping slave2，均正常ping通。

在slave2节点上执行命令 ping master 和 ping slave1，均正常ping通。

在所有节点上安装JAVA

在所有节点上创建Hadoop操作目录/home/hadoop 
mkdir /home/hadoop
cd /home/hadoop
在所有节点下载安装JAVA

下载JDK jdk-8u144-linux-x64.tar.gz（可以根据实际情况来选择具体的JDK版本，本文以144为例）, 将下载的JDK压缩包放到/home/hadoop目录中，执行命令cd /home/hadoop进入目录。

解压JDK tar -xzvf jdk-8u144-linux-x64.tar.gz

更改文件夹的名称：mv /home/hadoop/jdk1.8.0_144 /home/hadoop/jdk1.8.0，确保Java放置在/home/hadoop/jdk1.8.0这个固定目录中，方便下文操作。

在所有节点配置$JAVA_HOME环境变量

打开文件 vim /etc/profile

在文件末尾添加如下内容：

export JAVA_HOME=/home/hadoop/jdk1.8.0/
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

使配置生效 : source /etc/profile

验证配置是否生效 :
执行命令java -version，返回正确版本。
执行命令which java，返回正确结果：/home/hadoop/jdk1.8.0/bin/java。

在所有节点上安装SSH，并配置SSH无密码登录

在所有节点安装SSH

查看是否已经安装SSH : ps -e | grep ssh

如果没有安装ssh，则执行该命令进行安装 : apt-get install openssh-server

验证ssh是否安装成功 :

ssh localhost
exit
在master节点上生成公钥，并配置从master无密码验证登录所有节点

在master节点进入~/.ssh/目录并生成公钥，并将id_rsa.pub内容复制到所有节点的authorized_keys文件中。

注意：若某个节点没有~/.ssh/目录，请先执行一次ssh localhost。执行ssh-keygen命令时遇到提示信息，如果要求输入y或yes的则输入y或yes，其他的提示可以默认敲回车。

cd ~/.ssh/
ssh-keygen -t rsa

cp  ~/.ssh/id_rsa.pub  ~/.ssh/authorized_keys

scp ~/.ssh/id_rsa.pub root@slave1:~/.ssh/authorized_keys

scp ~/.ssh/id_rsa.pub root@slave2:~/.ssh/authorized_keys
在master节点上验证SSH配置正确无误

在master节点执行如下命令，不再提示输入密码，说明SSH配置OK了。

ssh master 
exit

ssh slave1 
exit

ssh slave2 
exit

在master节点上安装Hadoop

Hadoop-3.0.0-beta1官方下载地址: http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.0.0-beta1/

在master节点进入操作目录： cd /home/hadoop/

下载 wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.0.0-beta1/hadoop-3.0.0-beta1.tar.gz

解压 tar -xzvf hadoop-3.0.0-beta1.tar.gz

验证 ls /home/hadoop/hadoop-3.0.0-beta1，返回Hadoop目录的文件列表。

在master节点上配置Hadoop环境

在master节点上进行Hadoop基本配置

在master节点上配置$HADOOP_HOME等环境变量

在master节点打开文件： vim /etc/profile

在文件末尾添加如下内容；注意：如果已经存在重复的export变量内容，则将原来的删掉：

export JAVA_HOME=/home/hadoop/jdk1.8.0/ 
export JRE_HOME=$JAVA_HOME/jre/

export HADOOP_HOME=/home/hadoop/hadoop-3.0.0-beta1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$HADOOP_HOME/share/hadoop/tools/lib/hadoop-aliyun-3.0.0-beta1.jar:$HADOOP_HOME/share/hadoop/common/hadoop-common-3.0.0-beta1.jar:$HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-3.0.0-beta1.jar

export HDFS_NAMENODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_NODEMANAGER_USER=root
export HDFS_DATANODE_USER=root
export YARN_RESOURCEMANAGER_USER=root

使配置生效： source /etc/profile

验证配置是否生效:
执行命令echo $JAVA_HOME，返回/home/hadoop/jdk1.8.0/；
执行命令echo $HADOOP_HOME，返回/home/hadoop/hadoop-3.0.0-beta1；
执行命令echo $HDFS_NAMENODE_USER，返回root；

在master节点进入HADOOP主目录，执行如下命令，创建相应文件夹。
cd    $HADOOP_HOME

mkdir $HADOOP_HOME/tmp
mkdir $HADOOP_HOME/hdfs
mkdir $HADOOP_HOME/hdfs/name
mkdir $HADOOP_HOME/hdfs/data
在master节点上配置文件$HADOOP_HOME/etc/hadoop/hadoop-env.sh

打开文件: vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh；

在文件相应位置增加如下内容，请替换为真实的JAVA_HOME的值：

export JAVA_HOME=/home/hadoop/jdk1.8.0/

执行如下两条命令，返回的结果内容应该是统一的，都包含/home/hadoop/jdk1.8.0/：

echo $JAVA_HOME

grep JAVA_HOME $HADOOP_HOME/etc/hadoop/hadoop-env.sh | grep -v '#' | awk -F '=' '{print $2}'
在master节点上配置文件$HADOOP_HOME/etc/hadoop/core-site.xml

打开文件: vim $HADOOP_HOME/etc/hadoop/core-site.xml

在configuration标签中添加：

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>

    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/hadoop-3.0.0-beta1/tmp</value>
    </property>
在master节点上配置文件$HADOOP_HOME/etc/hadoop/hdfs-site.xml

打开文件: vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml

在configuration标签中添加：

    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/hadoop-3.0.0-beta1/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/hadoop-3.0.0-beta1/hdfs/data</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>master:9001</value>
    </property>
在master节点上配置文件$HADOOP_HOME/etc/hadoop/workers

打开文件: vim $HADOOP_HOME/etc/hadoop/workers

删除所有文件内容，根据实际节点情况，修改内容为：

slave1
slave2
在master节点上配置文件$HADOOP_HOME/etc/hadoop/mapred-site.xml

打开文件: vim $HADOOP_HOME/etc/hadoop/mapred-site.xml

在configuration标签中添加：

    <property>  
        <name>mapreduce.framework.name</name>  
        <value>yarn</value>  
    </property>  
  
    <property>  
        <name>mapreduce.application.classpath</name>  
        <value>
          /home/hadoop/hadoop-3.0.0-beta1/etc/hadoop,  
          /home/hadoop/hadoop-3.0.0-beta1/share/hadoop/common/*,  
          /home/hadoop/hadoop-3.0.0-beta1/share/hadoop/common/lib/*,  
          /home/hadoop/hadoop-3.0.0-beta1/share/hadoop/hdfs/*,  
          /home/hadoop/hadoop-3.0.0-beta1/share/hadoop/hdfs/lib/*,  
          /home/hadoop/hadoop-3.0.0-beta1/share/hadoop/mapreduce/*,  
          /home/hadoop/hadoop-3.0.0-beta1/share/hadoop/mapreduce/lib/*,  
          /home/hadoop/hadoop-3.0.0-beta1/share/hadoop/yarn/*,  
          /home/hadoop/hadoop-3.0.0-beta1/share/hadoop/yarn/lib/*,   
          /home/hadoop/hadoop-3.0.0-beta1/share/hadoop/tools/lib/*
        </value>
    </property> 

    <property>
        <name>mapreduce.map.memory.mb</name>
        <value>2048</value>
    </property>
    <property>
        <name>mapreduce.reduce.memory.mb</name>
        <value>2048</value>
    </property>
在master节点上配置文件$HADOOP_HOME/etc/hadoop/yarn-site.xml

打开文件: vim $HADOOP_HOME/etc/hadoop/yarn-site.xml

在configuration标签中添加：

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8088</value>
    </property>

在master节点上，将配置好的Hadoop文件夹从master复制到各个slave节点：slave1, slave2

前面章节已经在各个slave节点上创建hadoop工作目录：/home/hadoop；请登录各个slave节点，执行如下命令，确保/home/hadoop是一个存在的空目录：

cd /home/hadoop/
ls /home/hadoop/

前面章节已经配置好master节点可以无密码SSH登录到各个slave节点，在master节点上执行如下命令，将Hadoop文件夹复制到各个slave节点：

scp -r $HADOOP_HOME root@slave1:/home/hadoop/ 

scp -r $HADOOP_HOME root@slave2:/home/hadoop/

在master节点上启动Hadoop

在master节点上格式化hdfs

在master节点，进入hadoop主目录，格式化hdfs ：

cd    $HADOOP_HOME
bin/hdfs  namenode  -format
在master节点上启动集群

在master节点，进入hadoop主目录，启动dfs ：

cd   $HADOOP_HOME
sbin/start-all.sh
在master节点上检查dfs能够正常工作

执行如下命令，在hdfs上创建文件夹my-test-dir然后显示和删除该文件夹，均能够返回预期结果：

$HADOOP_HOME/bin/hadoop fs -mkdir /my-test-dir
$HADOOP_HOME/bin/hadoop fs -ls /
$HADOOP_HOME/bin/hadoop fs -rm -r /my-test-dir
在master节点上检查dfs的基本信息
$HADOOP_HOME/bin/hdfs  dfsadmin  -report

$HADOOP_HOME/bin/hdfs  dfsadmin  -report | grep Hostname

能够正确报告文件系统的基本信息和统计信息。

在master节点上运行wordcount验证多机环境的正确性
cd  $HADOOP_HOME 

bin/hadoop fs -rm -r /output
bin/hadoop fs -mkdir /input 
bin/hadoop fs -put $HADOOP_HOME/README.txt /input
bin/hadoop fs -ls  /input 
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-beta1.jar  wordcount  /input/README.txt  /output

bin/hadoop fs -ls  /output 
bin/hadoop fs -cat /output/part-r-00000

然后分别执行如下两条命令，如果能够返回相同的统计结果， 则说明Hadoop多机环境下已经成功运行wordcount：
$HADOOP_HOME/bin/hadoop fs -cat /output/part-r-00000 | grep hadoop | wc -l

grep hadoop $HADOOP_HOME/README.txt | wc -l

在master节点上停止集群
cd  $HADOOP_HOME
sbin/stop-all.sh

在master节点上配置Hadoop的AliyunOSS数据源

安装好Hadoop并且调试验证环境之后，可以配置AliyunOSS数据源。

在master节点上检查Aliyun的Hadoop库文件

ls  $HADOOP_HOME/share/hadoop/tools/lib 
ll  $HADOOP_HOME/share/hadoop/tools/lib/*aliyun*.jar

在目录$HADOOP_HOME/share/hadoop/tools/lib下有如下jar包：

aliyun-sdk-oss-2.8.1.jar 
hadoop-aliyun-3.0.0-beta1.jar

在master节点上配置文件$HADOOP_HOME/etc/hadoop/hadoop-env.sh

打开文件： vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

在相应位置增加如下内容：

export HADOOP_OPTIONAL_TOOLS="hadoop-aliyun"

执行如下命令，能够返回刚刚增加的文件内容：
grep HADOOP_OPTIONAL_TOOLS $HADOOP_HOME/etc/hadoop/hadoop-env.sh | grep -v '#'

在master节点上配置文件$HADOOP_HOME/etc/hadoop/core-site.xml

打开文件: vim $HADOOP_HOME/etc/hadoop/core-site.xml

在configuration标签中加入如下内容：
注意把fs.oss.endpoint、fs.oss.accessKeyId、fs.oss.accessKeySecret属性对应的<value>的值设置为自己的具体内容。

    <property>
      <name>fs.oss.endpoint</name>
      <value>YourEndpoint</value>
      <description>Aliyun OSS endpoint to connect to. </description>
    </property>

    <property>
      <name>fs.oss.accessKeyId</name>
      <value>YourAccessKeyId</value>
      <description>Aliyun access key ID</description>
    </property>

    <property>
      <name>fs.oss.accessKeySecret</name>
      <value>YourAccessKeySecret</value>
      <description>Aliyun access key secret</description>
    </property>

    <property>
      <name>fs.oss.impl</name>
      <value>org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem</value>
    </property>

    <property>
      <name>fs.oss.buffer.dir</name>
      <value>/tmp/oss</value>
    </property>

在master节点上运行wordcount验证基于AliyunOSS数据源的Hadoop环境

在master节点上重启Hadoop
cd   $HADOOP_HOME
sbin/stop-all.sh  
sbin/start-all.sh
如果能够显示bucket的内容，则表示配置AliyunOSS数据源成功，注意：bucket-hadoop需要替换为已经存在的真实的bucket名称。
$HADOOP_HOME/bin/hadoop fs -ls oss://bucket-hadoop/
$HADOOP_HOME/bin/hadoop fs -mkdir oss://bucket-hadoop/input
$HADOOP_HOME/bin/hadoop fs -ls oss://bucket-hadoop/

$HADOOP_HOME/bin/hadoop fs -put $HADOOP_HOME/README.txt oss://bucket-hadoop/input/README.txt
$HADOOP_HOME/bin/hadoop fs -ls oss://bucket-hadoop/input
运行wordcount进行验证
$HADOOP_HOME/bin/hadoop fs -rm -r oss://bucket-hadoop/output

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-beta1.jar  wordcount oss://bucket-hadoop/input/README.txt oss://bucket-hadoop/output

$HADOOP_HOME/bin/hadoop fs -cat oss://bucket-hadoop/output/part-r-00000

然后分别执行如下两条命令，如果能够返回相同的统计结果， 则说明基于OSS的Hadoop多机环境下已经成功运行wordcount：

$HADOOP_HOME/bin/hadoop fs -cat oss://bucket-hadoop/output/part-r-00000 | grep hadoop | wc -l

$HADOOP_HOME/bin/hadoop fs -cat oss://bucket-hadoop/input/README.txt | grep hadoop | wc -l

至此，基于Aliyun OSS的Hadoop多机环境已经搭建成功。

weixin_33881050
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
阿里云OSS基于java使用详解
08-18
主要介绍了阿里云OSS基于java使用详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Apache Hadoop如何支持读写OSS
m0_54883970的博客
09-01 512
2017.12.13日Apache Hadoop 3.0.0正式版本发布，默认支持阿里云OSS对象存储系统，作为Hadoop兼容的文件系统，后续版本号大于等于Hadoop 2.9.x系列也支持OSS。然而，低版本的Apache Hadoop官方不再支持OSS，本文将描述如何通过支持包来使Hadoop 2.7.2能够读写OSS。...
基于oss搭建Hadoop集群
PYTandFA的博客
09-01 892
1、搭建好Hadoop集群（建议使用最新版本的hadoop），参考：https://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-common/ClusterSetup.html?spm=a2c6h.12873639.0.0.6bad6f8c2fkacG 2、修改hadoop配置，支持oss； 1)、编辑$HADOOP_HOME/etc/hadoop/core_site.xml，添加下面的配置信息： ...
OSS中心服务器集群方案
张人杰的博客
05-12 1207
<br /><br />1、两台中心服务器，lvs负责负载均衡<br />2、每台服务器开启一定量的tcp链接，连往对方<br />3、当一台服务器接受到操作session的请求后，在本机处理，并把该请求发送至另一服务器<br />这样保证了第一台服务器上的session内容和第二太服务器上的session内容的同步（网络正常情况下的同步）。当其中一台服务器崩溃时，LVS自动把所有请求转发到另一台服务器。由于第一台服务器和第二台服务器中的session内容一致（基本一致），保证了，一台服务器崩溃后对用户没有
数据湖实操讲解【数据迁移】第一讲：高效迁移 HDFS 海量文件到 OSS
weixin_45906054的博客
05-12 3027
以下文章来源于公众号<数据湖技术圈>本期导读 ：【数据迁移】第一讲主题：高效迁移 HDFS 海量文件到 OSS讲师：扬礼，阿里巴巴计算平台事业部 EMR 开发工程师主要内容...
通过Cloudera Manager为datanode增加数据目录
FaN()
07-26 5363
CDH4安装成功后，datanode数据默认存放在/dfs目录下。如果dfs目录不是逻辑卷创建的，那么当它使用率过大时，我们需要添加数据目录1.登录Cloudera Manager : http://localhost:7180 2.点击配置—>查看和编辑 3.选择你要添加加数据目录的datanode，点击添加 4.如图，我添加了/fan目录，之后点击保存更改 5.保存后，返回实例页面，选择
hadoop-aws-2.7.3.jar
10-13
hadoop-aws-2.7.3.jar，hadoop，spark查询oss对象存储包
基于Hadoop的OSS域数据建模与采集方法研究
01-19
针对电信运营商在构建大数据中心中所面临的数据采集、建模问题，分析了OSS 域的数据现状和特点，给出了一种基于层次分类梳理的建模方法论和数据模型管理思路，可实现对OSS域数据的统一采集、集中建模和数据共享，...
ECS下OSS环境搭建流程
01-04
ECS下OSS环境搭建流程，挂载，当文件用。不费流量，过程文档
基于OSS系统的分布式报表平台应用研究
01-27
针对原有OSS承载网结构复杂、故障点多、不易维护管理等缺点，采用CORBA技术设计组建统一的基于OSS系统的报表平台。该开放式综合报表系统是一种专业化的报表生成系统，且具备极高的系统可维护性，系统在物理部署上，...
Hadoop默认支持集成OSS，作为Hadoop兼容的文件系统
weixin_34101784的博客
12-18 747
背景 2017.12.13日Apache Hadoop3.0.0正式版本发布，默认支持阿里云OSS对象存储系统，作为Hadoop兼容的文件系统。OSS是中国云计算厂商第一个也是目前唯一一个被Hadoop官方版本支持的云存储系统。这是继Docker支持阿里云存储以后，又一个更重大的里程碑。这是阿里云与社区、Intel等伙伴共同合作的成果。同时，也体现了主流...
手把手教你使用 OSS-HDFS 服务平替自建 HDFS
最新发布
阿里云云栖号
08-07 750
OSS-HDFS 服务是一款基于对象存储OSS之上的云原生数据湖3.0存储产品，基于统一的元数据管理能力，在完全兼容 HDFS 文件系统接口的同时，提供充分的 POSIX 能力支持，能更好的满足大数据和 AI 领域丰富多样的数据湖计算场景，只需要简的配置即可平替自建HDFS实现低成本、高弹性、高稳定的云上架构。
修改 Spark 支持远程访问OSS文件
半日闲的博客
02-01 1593
编译特定版本Hadoop访问OSS的Jar包 目前Hadoop trunk 分支已经包含了hadoop-aliyun模块的代码，hadoop已经默认支持aliyun oss的访问支持。但是我们公司的hadoop版本还是CDH5的分支版本，默认是没有oss支持的。 通过下载官方提供的hadoop-aliyun.jar包放到Hadoop中，发现高版本的hadoop-aliyun.jar依赖于高版本的httpclient.jar 和高版本的httpcore.jar, 高版本和低版本造成类访问冲突。 无奈之下，尝试
通过CDH5 Hadoop读取和写入OSS数据
我思，故我在！--My data life
03-21 1706
本页目录 准备工作 步骤一：增加 OSS 配置 步骤二：配置 Impala 对 OSS 的支持 验证配置 参考文档 CDH（Cloudera's Distribution, including Apache Hadoop）是众多 Hadoop 发行版本中的一种，最新版本 CDH6.0.1 中的 Hadoop3.0.0 版本已经支持 OSS。CDH5 中的 Hadoop2.6 版本不支持...
Hadoop社区支持阿里云OSS 云计算与开源融合的新里程碑
weixin_34092370的博客
10-14 135
记者从全球著名的开源软件社区Hadoop社区获悉，Hadoop支持阿里云的OSS对象存储文件系统，这是Hadoop第一次支持中国云计算服务商的对象存储文件系统。这意味着全球用户在使用Hadoop这一开源软件时，都可以无缝连接阿里云的OSS对象存储文件系统。这是继Docker支持阿里云存储以后，又一个更重大的里程碑。 OSS进入Hadoop社区后，意味着全球...
元数据性能大比拼：HDFS vs OSS vs JuiceFS
JuiceFS的博客
02-09 8774
背景 存储是大数据的基石，存储系统的元数据又是它的核心大脑，元数据的性能对整个大数据平台的性能和扩展能力非常关键。本文选取了大数据平台中 3 个典型的存储方案来压测元数据的性能，来个大比拼。 其中 HDFS 是被广为使用的大数据存储方案，已经经过十几年的沉淀和积累，是最合适的参考标杆。 以 Amazon S3 和 Aliyun OSS 为代表的对象存储也是云上大数据平台的候选方案，但它只有 HDFS 的部分功能和语义，性能也差不少，实际使用并不广泛。在这个测试中对象存储以 Aliyun OSS 为代表，其他
阿里云hadoop安装
qq_43184146的博客
07-25 393
一、JAVA安装 解压jdk安装包到指定路径 root@hadoop:~# tar -zxvf jdk1.8.0.tar.gz -C /usr 配置环境变量 root@hadoop:~# vim /etc/profile #文件底部加入 export JAVA_HOME=/usr/jdk1.8.0_151 export JRE_HOME=${JAVA_HOME}/jre export CLASS...
自己搭建oss对象存储
03-26
要搭建一个 OSS 对象存储，你需要： 1.选择一种适合你的云存储解决方案，例如 Amazon S3、Google Cloud Storage 或阿里云 OSS。 2.注册并创建一个云存储账户。 3.创建一个存储桶（bucket），存储桶是一种用于存储...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值