hadoop 是一个免费开源软件, 可以安装在window上,但是有些麻烦。
也可以安装 在linux 上
hadoop 下载地址 :https://hadoop.apache.org/releases.html
安装前的准备工作:
1.安装jdk
Apache Hadoop 与最新版本的JDK不兼容。建议下载Java SE Development Kit版本15.0.x
(仅在未安装Java或从未设置Java路径时才执行此步骤)。
2.设置环境变量
进入设置 -> 搜索 “环境变量” -> 选择 "编辑系统变量 "选项。出现以下对话框:
选择新按钮并在变量名称中键入“JAVA_HOME”,将值设置为Java SDK的bin文件夹的路径(通常为类型:C:\Program Files\Java\jdk-15.0.1\bin)。对于用户和系统变量都执行此步骤。
正式安装:
1.上传和解压Hadoop:
使用文件传输工具将Hadoop安装包上传到目标服务器的适当目录,例如/opt目录下的software文件夹。
进入Hadoop安装包所在路径,然后解压安装文件到指定目录,如/opt/module。
- 配置环境变量:
编辑系统的环境变量文件(如bashrc或profile),添加Hadoop的bin目录到PATH环境变量中,以便系统能够识别Hadoop命令。
3.验证安装:
通过运行Hadoop的版本命令(如hadoop version)来检查Hadoop是否已正确安装并配置。
- 集群配置(可选):
如果您打算在集群环境中运行Hadoop,还需要进行额外的配置工作,包括网络配置、SSH免密登录设置、Hadoop配置文件的修改等。
- 测试Hadoop:
运行一个简单的MapReduce程序或者启动Hadoop的各个组件来测试其功能是否正常。
高级配置(可选):
根据需要设置Hadoop的安全机制、性能调优、存储和计算资源的管理等。
伪分布式和完全分布式安装:
对于学习和开发目的,您可以选择安装Hadoop的本地模式或伪分布式模式。如果需要搭建一个真正的分布式环境,那么您需要按照完全分布式安装的步骤来进行配置。
请注意,这些步骤可能会根据您所使用的Hadoop版本和操作系统有所不同。建议参考官方文档和相关教程来获取更详细的指导。此外,如果您是第一次安装Hadoop,可能需要一些Linux系统的基础知识和对Hadoop概念的基本了解。