Hadoop前期准备

Linux

1、安装Vmware
2、安装Centos7
3、配置ip信息
1、2步略
3、进入配置文件
如果在本地ip地址配置文件是这样的
vi /etc/sysconfig/network-scripts/ifcfg-ens33
如果配置文件是云服务器
//以下是云服务器
BOOTPROTO=dhcp  
//网络参数配置，设置ip地址问静态的，这样就可以固定自己的ip
//bootp是个协议
DEVICE=eth0
//设备号
HWADDR=52:54:00:e5:63:e1
//mac地址
ONBOOT=yes
//这个设置的是开机自启动
PERSISTENT_DHCLIENT=yes
TYPE=Ethernet
USERCTL=no
//ipaddr,ip地址
//netmask，子网掩码
//gateway，网关，默认是ip地址的，但是最后一个是2
//dns，是服务器
//netmask决定了是否属于同一个局域网
//gateway，连接着同一个路由器的电脑的网关一样
//network网卡：电脑通过网卡连接服务器
4、防火墙
启动服务
service firewalld start
设置开机自启动
systenctl disable firewalld //关掉防火墙的开启自启
5、重启网卡
service network restart
6、使用MOba Xterm客户端软件连接服务器
7、打开Moba
   选择Sesssion ——》SSH——〉输入ip，用户名为root
   输入密码连接即可

linux的根目录
1、etc目录：存放系统配置文件
2、tmp：存放临时数据，系统会定时自动清理
3、mnt：挂载目录，外设设备
4、opt：常用的软件的默认安装目录（通常我们建立apps/和software目录）
5、home：家目录，一般存放的是一般用户的信息
6、bin：里面存放的是可以直接执行的二进制文件
7、sbin：超级用户的目录，一般存放的是root用户的信息
sout(=================扩展记忆================)
8、dev：包含所有系统支持的设备文件
9、media:移动设备的存储
10、usr：存放各种共享资源的目录
11、var：可以存放各种可变长度的数据文件

帮助命令
1、man
   man ll
2、help
   help ll
3、--help
   ll --help

安装网络服务
1、yum安装
yun -y inastll net-tools.x86_64
//安装ifconfig命令
2、执行查看IP命令
ifconfig

网路类型

NAT：
三台虚拟机通过网卡直接和主机上的虚拟网卡相连
虚拟网卡和主机上的物理网卡相连
而物理网卡和路由相连
桥接模式：
三台虚拟机通过网卡直接和物理网卡相连，而虚拟网卡直接嫁接到物理网卡中

常用快捷键

ctrl+l：清屏
ctrl+c：终止当前进程
ctrl+z：挂起当前进程
tab直接补全键

Linux目录操作

1、ls：显示文件目录
   -a：显示全部
   -h：以用户可读的形式显示
   -r（recursive）：递归的显示目录包含的内容
2、cd：切换目录
   cd /：切换到操作系统的更根目录
   cd ：切换到当前用户目录
   cd ..：切换到上一个目录
   cd ./：当前目录
   说明：
   宿主目录
   宿主目录就是每个用户都有一个自己存放数据的目录
   超级用户root，其宿主目录是/root
   其他用户的宿主目录是/home/用户名
3、pwd：显示当前用户所处的目录
   pwd
4、mkdir：创建目录
   mkdir /opt/softwares
   mkdir /opt/apps
   //创建多级目录
   mkdir -p /1/2/3
5、rmdir：删除目录
   只能删除空白目录
6、rm：删除目录和文件
   -r：递归删除
   -f：强制删除
   rm -rf
7、cp/mv：拷贝文件/剪贴文件，可以改名
   cp 1.txt 2.txt
   //递归剪贴文件
   mv -f 1.txt 2.txt
8、rename
   rename 原文件名 新文件名 扫描文件
   rename 1.txt 2.txt *.txt

linux文件操作

1、touch：创建空白文件
   touch 1.txt
2、重定向
   >:覆盖
   >>：追加
   ｜：管道
   echo "nihao" > 1.txt
   ls -l | grep lixi
3、查看文件内容
   1、cat
   2、more/less：分页显示
      多用less
   3、head/tail：头/尾
      默认是查看后十行
      tail --lines=4//查看后四行
      tail -F / //随着进程的变化去查看（follow）
      如果想查看日志
      tail -F /日志所在的目录

Vim/Vi文本编辑器

vi/vim分别是unix/linux最常用的文本编辑器。
他们只有命令行操作。
1、vim -y install vim*
2、vi/vim编辑器的工作模式（普通模式、插入模式、底行模式）
   vim/vi 文件名 ——》进入普通模式
   普通模式——》iao/IAO 进入插入模式
   普通模式——》： 进入底行模式
   插入模式——》esc 进入普通模式
   底行模式——》Enter 普通模式
   普通模式——》：wq/：q/：q！退出
3、插入模式
   i：在光标前插入
   a：在光标后插入
   o：在光标当前行 的下一行开始插入
   I；在光标当前行开始插入
   A：在光标当前行末尾插入
   O：在光标当前行的上一行开始插入
4、插入模式
   ：set nu 显示行号
   ：set nonu 取消行号
   gg：快速定位到文本的第一行
   G：快速定位到文件的最后一行
   :n :跳到文本的din行
5、替换和取消命令
   u：返回上一步操作
   ctrl+r：redo，返回undo之前
   r：替换光标所在处的字符
   R：从光标处开始替换，按ESCj结束
6、删除命令
   rnr：删除n行，n，几行
   dd：一次删除一行
   D：删除光标所在行的后面的所有的内容
7、常见的快捷键
   shift+zz：保存退出
   v：进入字符可视化模式
   shift+v:进入行可视模式
   ctrl+v：进入块可视模式

查找命令

1、which ls
2、whereis ls
3、find
   1、按文件名进行查找
      find /tmp  -name "hadoop"
      //查找并删除一个文件
      find /tmp -name "hadoop" -ok rm {} \;
      find /tmp -name "hadoop" -exec rm {} \;
   2、按用户进行查找
      find /tmp -user student  
   3、按文件类型进行查找
      find /tmp  -type d
      d：目录
      f：文件
      l：链接（->）
      find /tmp -user student -type d
   4、按文件权限进行查找
      find /tmp -perm -777 -type f
      perm（权限）

文件权限

chmod（change modify）
1、给所有用户添加执行权限
   chmod +x 1.txt
2、给当前用户删除执行权限
   chmod u-x 1.txt
3、让同组用户和其他用户失去执行权限
   chmod g-x 1.txt
   chmod o-x 1.txt
4、给所有用户所有权限
   chmod 777 1.txt
5、chown（change owner）
   修改文件的所有者
   chown 用户[:用户的组] 文件名
   chown student：student 1.txt

用户和组管理

用户管理
1、添加用户
   useradd  用户名称
   -e：expire date:失效时间
2、切换用户
   su student
3、设置新用户密码
   passwd 用户名
   //下面会自动要求输入密码
4、用户修改
   usermod 
   -l：修改用户名
   usermod -l 原用户名 新用户名
5、用户删除
   userdel -r lee
6、用户文件
   超级用户：root ，UID=0（默认）
   ///UID用户账号
   普通用户：UID：500～60000
   伪用户：UID：1～499
   不能登陆的用户bin、shutdown，所以也没有宿主目录
7、用户文件：/etc/passwd
   用户名:密码位:UID:GID:备注信息:宿主目录:命令解释器
   root:x:0:0:root:/root:/bin/bash
   student:x:500:500::/home/student:/bin/bash
   //默认的GID和UID一样
   //UID=user id
   //GID=group id
8、密码文件：/etc/shadow
   用户名:加密之后的密码:最后一次修改时间:最小时间间隔：...
 student:$6$Q0GYFYkP$7H6mu9y53Vp2tYZ2qppf4Bcga660PA42QuM6n1nZX5vZczpowki7W8dJobSvJ8vTqbbx.w5UztLWdOHJ02
91//:18876:0:99999:7::
9、组管理和用户管理一样
   groupadd
   groupmod
   groupdel
10、组文件
   /etc/group
11、给普通用户授权管理员权限
    1、root用户修改/etc/sudoers
    ## Allow root to run any commands anywhere
    root    ALL=(ALL)       ALL
    student ALL=(ALL)       ALL
    2、使用sudo命令借用权限：输入student密码
    [student@localhost tmp]$ sudo vi 2.txt

系统服务管理

1、service
	Centos6						centos7
service 服务名称 stop 停止 / systemctl stop crond
service 服务名称 start 开启 / systemctl start crond
service 服务名称 restart 重启 / systemctl restart crond
service 服务名称 status 查看 / systemctl status crond
2、自动启动（systemctl enable firewalled）
   	Centos6						Centos7
chkconfig iptables on / systemctl enable firewalld
chkconfig iptables off / systemctl disable firewalld
chkconfig --list / systemctl is-enabled firewalld
3、进程管理
   1、top
   动态查看当前系统的进程，按q键才能退出
   2、ps
   显示当前系统的瞬间的进程的快照
   -e/-A: 显示所有进程，环境变量
   -f : 全格式
   -a : 显示所有用户（其他用户）的所有进程
   -u : 按照用户名和启动时间顺序来显示进程
   -x : 显示无控制终端的进程
   使用较多的是：
   ps -ef（按格式显示所有进程）
   ps -auf（按时间启动顺序全格式显示所有用户）
4、kill
   杀死一个进程
   kill -9 进程号
   9	KILL	杀死进程，即强制结束进程。
   kill -9 2846
5、df/du
   df：文件系统的磁盘空间的使用情况
   Disk free  空余硬盘
   du：显示指定文件或者目录已经使用的磁盘空间的综合
   Disk usage 硬盘使用率
   df -h 
   df -h /etc/profile
6、free
   显示当前内存和交互空间的使用情况
   free -h
7、关机命令
   reboot：重启
   shutdown：关机不关电源
   poweroff：关机关电源

网路服务

1、hostname
   查询和设置当前的主机名称
   hostname
2、绑定ip和主机名
   vi /etc/hosts
   10.206.0.4 hadoop（文件上面的内容不用修改，直接在后main加就可以了）
   service network restart //重新开启网络（）/网关
   ping hadoop//测试主机
   执行 ping 指令会使用 ICMP 传输协议，发出要求回应的信息，若远端主机的网络功能没有问题，就会回应该信息，因而得知该主机运作正常。
3、设置主机名
   vi /etc/hostname
4、ifconfig/ip addr
5、netstat
   网路状态
   -a : 显示所有的链接和端口
   -t : 显示和tcp协议相关的选项
   -u : 显示和udp协议相关的选项
   -n : 排除显示别名，能显示数字的地方都会替换数字
   -p : 显示建立相关的程序名称
   -l : 显示监听到服务端的socket的信息
   netstat -nltp

虚拟机克隆

1、修改ip地址
在vi /etc/sysconfig/...文件里
2、修改主机名
vi /etc/hostname
3、绑定ip和鹅主机名
vi /etc/hosts
192.168.49.100 hadoop1
192.168.49.101 hadoop2
4、删除一个网卡规则文件，令他重新生产。重启服务器
rm -rf /etc/udev/rules.d/70-persistent-net.rules

SSH免密登陆

1. 生成密钥对
[root@localhost home]# ssh-keygen
2、发送公钥到目标服务器（要看好在那个目录下）
[root@localhost .ssh]# ssh-copy-id localhost
3、进行远端拷贝就不需要密码了
[root@localhost ~]# scp install.log 

Linux安装工具

1、二进制安装
2、RPM安装
3、yum安装
4、C源码安装

Linux的常见压缩/解压缩的方式

1、gzip
2、bzip2
3、tar
-c : 创建一个压缩包
-x : 解压
-z : 使用gzip算法
-j : 使用bzip2算法
-v : 显示文件名和压缩比
-f : 文件名

tar -zxvf : 解压
tar -cvf : 打包
tar -cvf 2.log.gz 2.log

安装Jdk

安装mysql

安装

配置web服务器

安装redis

crontab

weget

shell