kill -9 杀进程
i / o 进入插入模式
文件夹传给文件夹,目标文件夹可以不存在can exist
hosts负责IP地址与域名快递解析的文件
name or service not know
解决:hosta加上目标主机的ip和主机名称
权限被拒绝,权限不够无法操作目标文件
permission denied
解决 :查看所属组是不是普通组
解决:加上sudo,所属组为root
输入目录不存在
解决:检查是否输入正确
没有这样的文件和目录
no such file or directory
解决:文件无法直接传入不存在的文件夹,删掉多余的
scp -r $pdir/$fname $user@$host:$pdir/$fname
2 spend 3 success ; 3 spend 2 success
scp -r user@host:pdir/fname user@host:pdir/fname
master让3给2permission denied
scp -r user1@host1:pdir/fname /pdir/fname ./当前位置
3拉2成功,2拉3成功
命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称
rsync基本语法
比scp快,只对差异文件更新
rsync -av 文件路径/名称 目的用户@主机:目的路径/名称
-a 归档拷贝
-v 显示复制过程
集群分发脚本
权限不够加绝对路径
sudo ./文件路径
home目录下新建文件夹
mkdir bin
新建文件
touch xrsync
写入
#!/bin/bash #1.判断参数个数 if [ $# -1t 1 ] then echo Not Enough arguement! exit; fi #2.遍历所有机器 for host in slave1 slave2 slave3 do echo ---------- $host ---------- #3.遍历所有目录 for file in $@ do if [-e $file] then pdir=$(cd -P $(dirname $file);pwd) fname=$(basename $file) ssh $host "mkdir -p $pdir" rsync -av $pdir/$fname $host:$pdir else echo $file does not exists! fi done done
创建密钥
ssh-keygen -t rsa
公钥 密钥
把公钥给其他服务器
ssh-copy-id 主机名
连接主机
ssh 主机名
创建软连接
ln -s 被创文件 连接文件(不能存在)
间接访问
cd -P 连接文件 ;pwd
pwd = 被创文件.pwd
查看数据
cat
IP地址配置
vim /etc/sysconfig/network-scripts/ifcfg-ens33
主机名称
vim /etc/hostname
权限
vim /etc/soduers
修改文件名字
mv 文件名 新文件名
删除文件
rm -rf 文件名/
复制文件
sudo cp 文件名 目录
新建文件
touch 文件名.扩展名
授权执行权限
chmod 777 xsync
chmod +x xsync 加root权限
新建文件夹
mkdir [-p] 文件名
-p 若目标文件夹存在则无视
获取文件夹名称
dirname
获取文件名称
basename
关闭防火墙
systemctl stop firewalld
systemctl disable firewalld.service
修改所属组和所有者
chown user:user /opt/module
卸载虚拟机自带jdk
rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps rpm -qa 查询所安装的所有rpm软件包 grep -i 忽略大小写 xargs -n1 每次只传递一个参数 rpm -e --nodeps 强制卸载软件
yum install -y epel-release
软件仓库安装
如果是最小版本系统,还需要暗转下面的 yum install -y net-tools 工具包合计:包含ifconfig等命令 yum install -y vim vim :编辑器 systemctl stop firewalld systemctl disable firewalld.service 关闭防火墙自启
1.模板虚拟机准备
安装epel-release软件仓库
yum install -y epel-release
如果是最小版本系统,还需要暗转下面的 yum install -y net-tools 工具包合计:包含ifconfig等命令 yum install -y vim vim :编辑器
关闭防火墙自启
systemctl stop firewalld systemctl disable firewalld.service
正在上传…
重新上传
配置普通用户具有root权限
vim /etc/sudoers
修改/etc/sudoers文件,在%wheel下面添加
user ALL=(ALL) NOPASSWD:ALL
NOPASSWD:登录不需要密码
在/opt目录下创建文件夹
mkdir /opt/module
mkdir /opt/software
修改所属组和所有者
chown user:user /opt/module
卸载虚拟机自带jdk
rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
重启virtual machine
reboot
利用模板机master克隆三台虚拟机
克隆前关闭模板机
2.安装jdk
用xhttp传入到/opt/software
tar -zxvf jdk -C /opt/module
tar -zxvf 安装
-C 指定路径
sudo vim /etc/profile
配置环境变量
sudo cd /etc/profile.d/
sudo vim my_file新建一个自己的文件
配置JDK
export JAVA_HOME=JDK路径
export PATH=$PATH:$JAVA_HOME/bin
export 全局变量声明
$取出变量值
:连接符
soure /etc/profile
java -version
查看是否成功
pwd 显示路径
3.安装hadoop
tar -zxvf hadoop -C /opt/module
环境配置
sudo vim /etc/profile.d/my_file.sh
export HADOOP_HOME=HADOOP路径
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
source /etc/profile
bin:hdfs存贮 mapred计算 yarn资源调度
etc:
include:头文件.h
lib:动态链接库
libexec:扩展
sbin:mr -jobhistory -daemon.sh历史服务
share: 学习提示
bin etc sbin !!!
1.Hadoop运行模式
本地模式:
数据存在linux本地,测试偶尔用
伪分布模式:
数据存在HDFS,公司中比较差钱 2m 16G 1台=》2m-1T
完全分布模式:
数据存在HDFS/多台服务器,企业里面大量使用
完全分布式配置
1.准备三台客户机(关闭防火墙,静态IP,主机名称)
2.安装JDK并配置环境变量
3.安装Hadoop并配置环境变量
4.配置集群
5.单点启动
6.配置ssh
7.群起并测试集群