搭建hadoop前期的Linux环境的配置

原创 2015年11月23日 23:17:34
搭建hadoop集群前期的Linux环境的配置

第一步:安装vmware和centos虚拟机(此步骤省。。。)
第二步:在一个centos上进行配置
              1.配置网卡
                vim /etc/sysconfig/network-scripts/ifcfg-eth0
                 DEVICE=eth0
                 BOOTPROTO=static
                 IPADDR=192.168.1.102
                 NETMASK=255.255.255.0
                 GETEWAY=192.168.1.1
                 ONBOOT=yes
                 重启:init 6
                2.配置dns
                 vim  resolv.conf
                 namesrver 8.8.8.8
                 /etc/init.d/network restart
                3.配置主机名
                 vim /etc/sysconfig/network
                 
NETWORKING=yes    

             HOSTNAME=hadoop01

           4.修改hosts文件(说明,此处,配置集群,需要在hosts文件中去添加多个ip地址,每台机器都要一样)

                     vim /etc/hosts

                     192.168.1.111  hadoop01

                5.配置ssh免密钥登录配置

                     ssh (此步骤省掉),网上很多ssh免密钥案例

                6.进行克隆多台机器:(克隆的步骤就此省掉)

                7.克隆完需要删除一个70文件,同时也需要修改每个克隆的ip地址,主机名

                     cd /etc/udev/rule.d

                     rm -rf 70-rule.d-net.rule

                8.重启机器。init 6

                  至此,搭建集群过程环境已经基本

第四步:搭建集群2.7.1待续中。。。。。。。。。。。。








                   


    
                
 
                
                

版权声明:本文为博主原创文章,未经博主允许不得转载。

在linux中搭建hadoop开发环境

在linux中搭建hadoop开发环境 一、在windows上安装linux双系统 hadoop是运行在linux下的并行计算框架,在windows上搭建也是通过cygwin模拟linux...
  • HW_0919
  • HW_0919
  • 2016年12月27日 13:12
  • 4233

Hadoop学习之一《环境搭建及配置》

问题?Hadoop学习之环境搭建及配置
  • Mr_li13
  • Mr_li13
  • 2016年09月01日 10:49
  • 936

Linux下Hadoop2.6.0集群环境的搭建

本文旨在提供最基本的,可以用于在生产环境进行Hadoop、HDFS、Hbase分布式环境的搭建,对自己是个总结和整理,也能方便新人学习使用。...
  • beliefer
  • beliefer
  • 2016年04月11日 11:50
  • 17912

Hadoop学习笔记-Hadoop HDFS环境搭建

Hadoop HDFS环境配置
  • u012342408
  • u012342408
  • 2016年01月18日 22:14
  • 10697

Spark+Hadoop环境搭建

一、工具下载: 1、spark下载 目前最新的是2.1.1,spark 2.0开始api和之前的还是有比较多的变化,因此如果选择2.0以上版本,最好看一下api变化,下载地址:http://spark...
  • u012292247
  • u012292247
  • 2017年06月17日 11:51
  • 775

linux hadoop完全分布式集群搭建图文详解

一.前期准备 1.1 Win7官网下载hadoop包 本文使用版本hadoop-2.6.5.tar.gz 1.2 配置jdk jdk1.7:linux jdk安装和配置 1.3 centos...
  • a123demi
  • a123demi
  • 2017年04月24日 19:35
  • 1179

W10下,基于myeclipse的hadoop开发环境的配置

起因:在搭建过程中,出现Myeclipse和HDFS无法连接的问题,因为,网络上的博客都说单击finish按钮,关闭窗口,如果左侧的project explore DFS Locations下会展现h...
  • love_chenfeng
  • love_chenfeng
  • 2017年02月21日 11:57
  • 1180

Hadoop-2.7.1集群环境搭建

由于日志数据量越来越大,数据处理的逻辑越来越复杂,同时还涉及到大量日志需要批处理,当前的flume-kafka-storm-hbase-web这一套流程已经不能满足当前的需求了,所以只能另寻出路,于是...
  • u014039577
  • u014039577
  • 2015年11月13日 11:44
  • 3245

Spark 环境搭建 (hadoop之上)

1、前提是Hadoop环境已经搭建完成,ssh当然也已经配置完成,官网下载软件包: scala-2.11.0.tgz spark-2.1.0-bin-hadoop2.6.tgz 使用了两台虚...
  • beishafengjiang
  • beishafengjiang
  • 2017年02月14日 15:40
  • 1235

Hadoop2.7.2+Hbase1.2.1分布式环境搭建整理

Hadoop2.7.2+Hbase1.2.1分布式环境搭建整理
  • sinat_30569973
  • sinat_30569973
  • 2016年08月17日 17:24
  • 4787
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:搭建hadoop前期的Linux环境的配置
举报原因:
原因补充:

(最多只允许输入30个字)