Linux基础笔记

kill -9 杀进程

i / o 进入插入模式

文件夹传给文件夹,目标文件夹可以不存在can exist

hosts负责IP地址与域名快递解析的文件

name or service not know

解决:hosta加上目标主机的ip和主机名称

权限被拒绝,权限不够无法操作目标文件

permission denied

解决 :查看所属组是不是普通组

解决:加上sudo,所属组为root

输入目录不存在

解决:检查是否输入正确

没有这样的文件和目录

no such file or directory

解决:文件无法直接传入不存在的文件夹,删掉多余的

scp -r $pdir/$fname $user@$host:$pdir/$fname

2 spend 3 success ; 3 spend 2 success

scp -r user@host:pdir/fname user@host:pdir/fname

master让3给2permission denied

scp -r user1@host1:pdir/fname /pdir/fname ./当前位置

3拉2成功,2拉3成功

命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称

rsync基本语法

比scp快,只对差异文件更新

rsync -av 文件路径/名称 目的用户@主机:目的路径/名称

-a 归档拷贝

-v 显示复制过程

集群分发脚本

权限不够加绝对路径

sudo ./文件路径

home目录下新建文件夹

mkdir bin

新建文件

touch xrsync

写入

#!/bin/bash
​
#1.判断参数个数
​
if [ $# -1t 1 ]
then 
    echo Not Enough arguement!
    exit;
fi
​
#2.遍历所有机器
for host in slave1 slave2 slave3
do
    echo ---------- $host ----------
    #3.遍历所有目录
​
    for file in $@
    do
        if [-e $file]
          then
              pdir=$(cd -P $(dirname $file);pwd)
              fname=$(basename $file)
              ssh $host "mkdir -p $pdir"
              rsync -av $pdir/$fname $host:$pdir
        else 
          echo $file does not exists!
        fi
    done
done

创建密钥

ssh-keygen -t rsa

公钥 密钥

把公钥给其他服务器

ssh-copy-id 主机名

连接主机

ssh 主机名

创建软连接

ln -s 被创文件 连接文件(不能存在)

间接访问

cd -P 连接文件 ;pwd

pwd = 被创文件.pwd

查看数据

cat

IP地址配置

vim /etc/sysconfig/network-scripts/ifcfg-ens33

主机名称

vim /etc/hostname

权限

vim /etc/soduers

修改文件名字

mv 文件名 新文件名

删除文件

rm -rf 文件名/

复制文件

sudo cp 文件名 目录

新建文件

touch 文件名.扩展名

授权执行权限

chmod 777 xsync

chmod +x xsync 加root权限

新建文件夹

mkdir [-p] 文件名

-p 若目标文件夹存在则无视

获取文件夹名称

dirname

获取文件名称

basename

关闭防火墙

systemctl stop firewalld

systemctl disable firewalld.service

修改所属组和所有者

chown user:user /opt/module

卸载虚拟机自带jdk

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps rpm -qa 查询所安装的所有rpm软件包 grep -i 忽略大小写 xargs -n1 每次只传递一个参数 rpm -e --nodeps 强制卸载软件

yum install -y epel-release

软件仓库安装

如果是最小版本系统,还需要暗转下面的 yum install -y net-tools 工具包合计:包含ifconfig等命令 yum install -y vim vim :编辑器 systemctl stop firewalld systemctl disable firewalld.service 关闭防火墙自启

1.模板虚拟机准备

安装epel-release软件仓库

yum install -y epel-release

如果是最小版本系统,还需要暗转下面的 yum install -y net-tools 工具包合计:包含ifconfig等命令 yum install -y vim vim :编辑器

关闭防火墙自启

systemctl stop firewalld systemctl disable firewalld.service

正在上传…

重新上传

配置普通用户具有root权限

vim /etc/sudoers

修改/etc/sudoers文件,在%wheel下面添加

user ALL=(ALL) NOPASSWD:ALL

NOPASSWD:登录不需要密码

在/opt目录下创建文件夹

mkdir /opt/module

mkdir /opt/software

修改所属组和所有者

chown user:user /opt/module

卸载虚拟机自带jdk

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

重启virtual machine

reboot

利用模板机master克隆三台虚拟机

克隆前关闭模板机

2.安装jdk

用xhttp传入到/opt/software

tar -zxvf jdk -C /opt/module

tar -zxvf 安装

-C 指定路径

sudo vim /etc/profile

配置环境变量

sudo cd /etc/profile.d/

sudo vim my_file新建一个自己的文件

配置JDK

export JAVA_HOME=JDK路径

export PATH=$PATH:$JAVA_HOME/bin

export 全局变量声明

$取出变量值

:连接符

soure /etc/profile

java -version

查看是否成功

pwd 显示路径

3.安装hadoop

tar -zxvf hadoop -C /opt/module

环境配置

sudo vim /etc/profile.d/my_file.sh

export HADOOP_HOME=HADOOP路径

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

source /etc/profile

bin:hdfs存贮 mapred计算 yarn资源调度

etc:

include:头文件.h

lib:动态链接库

libexec:扩展

sbin:mr -jobhistory -daemon.sh历史服务

share: 学习提示

bin etc sbin !!!

1.Hadoop运行模式

本地模式:

数据存在linux本地,测试偶尔用

伪分布模式:

数据存在HDFS,公司中比较差钱 2m 16G 1台=》2m-1T

完全分布模式:

数据存在HDFS/多台服务器,企业里面大量使用

完全分布式配置

1.准备三台客户机(关闭防火墙,静态IP,主机名称)

2.安装JDK并配置环境变量

3.安装Hadoop并配置环境变量

4.配置集群

5.单点启动

6.配置ssh

7.群起并测试集群

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值