【大数据】ARM-服务器下安装Hadoop(单机)

1.安装部署

1.1安装环境准备

1.1.1 设置免密登录

ssh localhost
cd ~/.ssh
ssh-keygen -t rsa 
enter
enter
enter
enter

1.1.2关闭防火墙

systemctl status firewalld 查看防火墙
systemctl stop firewalld 关闭防火墙
systemctl disable firewalld 永久关闭防火墙

1.1.3删除原有的JDK

java -version
rpm -qa | grep jdk

1.2安装JDK

1.2.1配置环境变量

vim /etc/profile

export JAVA_HOME=/opt/module/jdk1.8.0_341
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile

1.2.2验证是否安装正常

java -versoin

![企业微信截图_16621091803219.png](https://img-blog.csdnimg.cn/img_convert/6ff4e34cf09cf2ed7ca50bf95567d5a0.png#clientId=u07ff871f-70e8-4&crop=0&crop=0&crop=1&crop=1&from=paste&height=319&id=ud315c82c&margin=[object Object]&name=企业微信截图_16621091803219.png&originHeight=319&originWidth=1049&originalType=binary&ratio=1&rotation=0&showTitle=false&size=8958&status=done&style=none&taskId=udad6cb0d-dcbe-4b2e-ae99-0e695876b23&title=&width=1049)

1.3安装Hadoop

1.3.1 解压

解压:tar -zxvf Hadoop-3.3.1-aarch64.tar.gz
mv hadoop-3.3.1/ hadoop

1.3.2配置变量

vim /etc/profile

export HADOOP_HOME=/opt/moduel/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

1.3.3验证环境变量

hadoop version

![企业微信截图_16621093818446.png](https://img-blog.csdnimg.cn/img_convert/5121144a28e1f40012b734d7ea0aa7b1.png#clientId=u07ff871f-70e8-4&crop=0&crop=0&crop=1&crop=1&from=paste&height=143&id=u867c60bd&margin=[object Object]&name=企业微信截图_16621093818446.png&originHeight=143&originWidth=1206&originalType=binary&ratio=1&rotation=0&showTitle=false&size=12094&status=done&style=none&taskId=u8ea17129-6d73-4e38-9dc3-245847aeb0d&title=&width=1206)

1.3.4 配置hadoop环境脚本文件中的JAVA_HOME参数

cd ${HADOOP_HOME}/etc/hadoop
分别在hadoop-env.sh、mapred-env.sh和yarn-env.sh中添加如下参数:
export JAVA_HOME=/opt/module/jdk1.8.0_341

1.3.5配置core-site.xml文件(指定NameNode节点)

vim ${HADOOP_CONF_DIR}/core-site.xml 
加入以下配置

<configuration>
 <property>
    <name>fs.default.name</name>
    <value>hdfs://10.0.1.121:9310
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
### 回答1: Hadoop是一个开源的分布式计算框架,主要用于处理大规模数据集。它的核心是HDFS(Hadoop分布式文件系统)和MapReduce计算模型。 Spark是一个快速、通用的大数据处理引擎,可以在内存中进行数据处理,比Hadoop MapReduce更快。它支持多种数据源,包括HDFS、HBase、Cassandra等。 Storm是一个分布式实时计算系统,可以处理实时数据流。它的核心是Storm集群,可以在多个节点上运行,实现高可用性和可扩展性。 Flink是一个分布式流处理框架,可以处理实时数据流和批处理数据。它的核心是DataStream API,可以进行流式计算和窗口计算。 Samza是一个分布式流处理框架,可以处理实时数据流。它的核心是Kafka和YARN,可以实现高可用性和可扩展性。 ### 回答2: 大数据框架是指一组用于处理大规模数据的软件工具。随着大数据及其分析应用的不断增长,数十个大数据框架已经随着时间而推出,其中包括hadoop、spark、storm、flink、samza等。下面将对这几种大数据框架进行详细介绍。 1. Hadoop Hadoop是一个在大数据应用领域最流行的框架。它是以Java语言开发的,是一个分布式的计算平台。通过它,用户能够处理超过普通计算机可以承受的数据量。Hadoop集群由多个计算机组成,在不同的计算机上存储和计算数据。Hadoop的主要组件包括HDFS(分布式文件系统),MapReduce计算模型(可以实现大规模数据的并行处理)。 2. Spark Spark是一个基于内存的计算框架,可以实现大数据的快速处理。与Hadoop相比,Spark运行速度更快,因为它可以在内存中执行计算任务。Spark可以通过Java、Scala和Python编写,还支持Spark SQL(基于SQL的查询),Spark Streaming(处理实时数据流)、MLlib(机器学习库)等功能模块。 3. Storm Storm也是一个实时数据处理框架。它能够实现一种“实时数据流”的处理模式,这在需要对流式数据进行实时处理和计算的场景中非常有用。Storm是一个分布式的框架,包括多个节点,支持高可靠性、水平扩展、非常灵活的拓扑连接等功能。 4. Flink Flink是一个高度可扩展、分布式的计算框架。它支持流式处理和批处理。通过内存进行数据计算,速度更快,同时也支持实时流式数据处理。Flink将传统的批量处理和流式处理集成到了一个框架中,将批量计算看成一种特殊形式的流式计算。 5. Samza Samza是一个其他不同大数据框架的组件,它是一个分布式流处理器,可以处理大量的流数据。它可以作为批处理系统的组件来使用,提供可靠的消息传递、基于字符串的状态存储、多维度流处理和都市需求等功能。Samza主要用于大规模流式数据的分析和处理,通常和其他的大数据处理框架一起使用。 总体来说,以上这几种大数据框架适用于不同的场景和需求。在实际应用时,需要根据具体情况进行选择和使用,以达到最佳的效果和效率。 ### 回答3: 大数据框架是当今大数据技术领域中越来越重要的一部分。在众多大数据框架中,Hadoop、Spark、Storm、Flink和Samza是其中最常用的框架。 Hadoop是由Apache基金会开发的开源框架,主要用于存储和处理大数据。它的核心组件包括HDFS和MapReduce。HDFS是一个分布式文件系统,通常用于存储大数据,而MapReduce是一种分布式数据处理模型,用于对大数据进行批处理。 Spark是另一个Apache开源项目,也是用于大数据处理的框架。与Hadoop不同的是,Spark使用内存计算,这意味着它可以比Hadoop更快地处理大量数据。Spark支持多种编程语言,包括Java、Scala和Python,也支持SQL查询和图形计算。 Storm是另一个Apache开源项目,主要用于流式数据处理。与Hadoop和Spark不同的是,Storm能够实时处理流数据,而不需要等待离线批处理。Storm支持容错和高可用性,并支持多种编程语言,包括Java、Scala和Clojure。 Flink是由Apache开发的开源流处理框架。与Storm类似,Flink也可以进行实时数据处理,并支持批处理模式。Flink的主要特点是低延迟和高吞吐量,同时支持复杂事件处理和机器学习。 最后,Samza也是另一个Apache开源框架,主要用于流式数据处理。与Storm和Flink不同的是,Samza的焦点是可扩展性和容错性。Samza的主要优点之一是它与Kafka集成良好,Kafka是一个分布式消息队列。 总之,Hadoop、Spark、Storm、Flink和Samza都是在大数据领域中广泛应用的重要框架。每个框架都有自己的特点和优劣,应根据具体的大数据需求和场景进行选择。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

苏书QAQ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值