Hadoop环境搭建及WordCount实验详解

本文详细介绍了如何搭建Hadoop环境,包括设置hostname、静态IP、无密钥登录、配置JDK以及搭建Hadoop环境。接着,通过WordCount实例展示了Map-Reduce分布式编程的工作流程,包括创建数据文件、上传到HDFS、运行程序和查看结果。
摘要由CSDN通过智能技术生成

Hadoop环境搭建及WordCount实验详解

一、实验内容

(1)Hadoop 环境搭建。

(2)Map-Reduce分布式编程。

二、实验步骤

1、集成环境搭建

(1)设置hostname(需要重新启动机器生效)

$ sudo vim /etc/hostname

(2)设置静态IP地址

$ ifconfig

(3)记录集群信息

     机器名     

      用户名      

        密码        

           IP地址          

     master

       jyneo

    yj810904

    192.168.50.188   

     slave1

       jyneo

    yj810904

    192.168.50.137

     slave2

       jyneo

    yj810904

    192.168.50.138

(4)配置IP地址和机器名的映射关系

$ sudo vim /etc/hosts(每台机器均需要配置)


2、设置无密钥登录

(1)建立ssh服务

在三台机器上都安装 openssh,建立 ssh 服务:

$ sudo apt-get install openssh-server</

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值