Windows 安装Hadoop和spark

1 安装hadoop

下载hadoop
下载地址
下载之后解压,然后
下载winutils对应hadoop版本替代hadoop/bin目录

配置环境:
在路径…\hadoop-2.8.3\etc\hadoop下修改文件

(1) core-site.xml(配置默认hdfs的访问端口)

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>    
</configuration>

(2) hdfs-site.xml(设置复制数为1,即不进行复制。namenode文件路径以及datanode数据路径。)

<configuration>
    <property>
        <
  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Windows 10是一种操作系统,可以用于开发和测试HadoopSpark的本地环境。 要在Windows 10上进行HadoopSpark的开发和测试,我们可以使用一些工具和软件。 首先,我们可以使用HadoopSpark的官方网站提供的二进制文件来安装它们。我们需要下载和安装Hadoop的二进制文件,然后配置Hadoop环境变量。在Hadoop安装完成后,我们还需要配置Hadoop的核心配置文件,例如hadoop-env.sh和core-site.xml。 接下来,我们可以下载和安装Spark的二进制文件,并将其配置为与Hadoop协同工作。我们需要在Spark的配置文件中指定Hadoop的路径。我们还可以配置Spark的一些其他设置,例如内存分配和并行度等。 在安装和配置HadoopSpark之后,我们可以使用本地模式或伪分布式模式来进行开发和测试。本地模式是指将数据存储在本地文件系统上,并且不涉及集群。这使我们可以快速的进行开发和测试,但不适合处理大规模的数据。 伪分布式模式是指将数据存储在Hadoop的分布式文件系统(HDFS)上,并在本机上模拟一个分布式环境。这样,我们可以模拟真实环境的数据处理和分布式计算。在伪分布式模式下,我们可以运行Hadoop的各种任务和Spark的作业,以测试它们的性能和可靠性。 总之,使用Windows 10可以在本地开发和测试HadoopSpark环境。我们需要下载和安装HadoopSpark的二进制文件,并进行适当的配置。然后,我们可以在本地模式或伪分布式模式下进行开发和测试。这样,我们可以在一个便捷和可控的环境中进行HadoopSpark的开发和测试,以满足我们的需求。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值