大数据学习笔记（二）hadoop

一、Hadoop生态

​​

 

二、Hadoop环境的搭建

1. 准备工作

• A…新建一台虚拟机 (刚刚安装的全新系统)dt100

• B.关闭防火墙

  systemctl stop firewalld #关闭防火墙
  systemctl disable firewalld # 禁用防火墙开机启动
  

• C.创建一个普通权限的用户 “dt”

  useradd dt #新建普通用户dt
  passwd dt  #修改密码为dt
  su dt      #切换登陆到用户dt
  

• D.进入/opt文件夹新建文件夹software和module文件夹

  cd /opt #进入/opt文件夹,1.切回root 创建    2.完成E之后，使用sudo创建
  mkdir software module  #新建两个文件夹
  chown dt:dt software  moudle   #更改权限组
  

• E.将普通用户dt添加到sudoers中

  vi  /etc/sudoers      #编辑sudoers配置文件 ,需root权限
  增加一行内容
  dt ALL=(ALL)  NOPASSWD:ALL
  :wq!   #保存并退出
  

• F.改hosts

  vi /etc/hosts#   sudo   vi /etc/hosts
  192.168.x.100  dt100
  192.168.x.101  dt101
  ......
  192.168.x.109  dt109   #x是网段。
  

  或用脚本修改

  vi sethosts.sh
  #!/bin/bash
  for((i=100li<110;i++))
  do
  		echo "192.168.x.$i  dt$i" >> /etc/hosts
  done
  

  #执行脚本,需要增加权限 chmod +x sethosts
  ./sethosts.sh
  

  或py脚本 py2

  vi pysethosts.py
  #!/bin/python
  f = open('/etc/hosts','a')
  for i in range(100,110):
      f.write('192.168.x.'+str(i)+'  dt'+str(i)+'\n')
  
  f.close()
  

• G.关机，并拍摄快照，克隆3台（dt101,dt102,dt103)

• H.修改每一台机器的IP地址

  vi /etc/sysconfig/net......./ifcfg-ens33
  TYPE="Ethernet"
  BOOTPROTO='static'
  IPADDR="192.168.x.10x"
  GATEWAY="192.168.x.2"
  DNS1="192.168.x.2"
  NAME="ens33"
  DEVICES="ens33"
  ONBOOT="yes"
  
  

• I.修改每一台主机名

  vi /etc/hostname
  或
  hostnamectl set-hostname dt10x
  查看主机名
  hostname
  

2. 安装与配置

• A.将hadoop与java安装文件上传到/opt/software文件夹

• B.解压文件

  tar -zxvf 压缩包名 -C /opt/module
  

• C.配置环境变量-JAVA

  vi /etc/profile
  #JAVA_HOME
  export JAVA_HOME=/opt/module/jdk....
  export PATH=$PATH:$JAVA_HOME/bin
  :wq!
  source /etc/profile
  java -version #查看版本
  jps  #查看java进程
  

• D.配置环境变量-Hadoop

  vi /etc/profile
  #Hadoop_HOME
  export  HADOOP_HOME=/opt/module/hadoop..........
  export  PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  :wq!
  
  source /etc/profile
  hadoop version #查看hadoop版本
  

  网络不可用时，尝试关闭网络管理器，并重启网络服务器

  systemctl stop NetworkManager #关闭网络管理器
  #systemctl disable NetworkManager #每次都需要关闭的情况下，再选择禁用.
  systemctl restart network #重启网卡