【大数据学习】之早课20181008-20181012

20181008早课

1.查看当前目录
    pwd

2.切换到上一次和上一层目录
    上一次 cd -
    上一层 cd ..

3.隐藏文件标识是什么,什么命令参数查看
    隐藏文件标识是. 
    查看是 ll -a

4.which 这个命令是找哪个环境变量里的目录配置
    $PATH

5.打印环境变量值 命令是什么
    echo

6.全局环境变量文件在哪?怎样生效
    全局环境变量在/etc/profile,生效命令是source,生效方法:source /etc/profile

7.个人环境变量文件在哪?怎样生效
    个人环境变量一般是在个人的家目录的隐藏文件.bash_profile 或 .bashrc,生效命令是source,
    生效方法:source 家目录/.bash_profile 

8.为什么我们要配置环境变量文件呢?
    相当于声明全局或者局部变量,方便引用

9.vi哪三种模式?
    命令行、编辑(插入)、尾行

10.阐述一下vi清空一个文件内容的流程
    gg dG

11.还有哪些命令可以清空一个文件
    cat /dev/null > xxx.log

12.创建文件夹命令是什么
    mkdir

13.级联创建的参数
    -p,比如mkdir -p 1 2 3

14.创建一个空的文件命令
    touch,vi

15.cp 和mv区别是什么?
    cp 是复制,可以多份; mv 是剪切,只有一份。

16.上题中,能不能都能来修改文件名称
    可以。

17.全局搜索abc字母的文件或文件夹
    find / -name '*abc*'

18.rwx分别代表数字多少
    421

19.rwxr--rwx数字多少,分别哪三组权限
    747,分别用户、用户组、其它组

20.chown和chmod分别作用什么
    chown 修改文件和文件夹的用户和用户组属性
    chmod 修改文件和文件夹的读、写、执行的属性

 

20181009早课

1.级联创建文件夹的命令参数
    mkdir -p
    
2.创建文件  你们认为有哪几种方法
    vi, touch,echo, mv,cp
    
3.重命名一般用哪个命令
    mv
    
4.说说大R参数的命令有哪些
    chown,chmod
    
5.说说小r参数的命令有哪些
    rm,scp,
    
6.查看历史命令是什么,执行第66行命令
    histort, !66

7.history命令,怎样清空
    将隐藏文件.bash_history清空。
    
8.tar解压的参数是什么
    tar -xzvf xxx
    
9.tar压缩参数是什么
    tar -czvf xxx
    
10.我们在tar解压后,要习惯做什么?
    查看一下用户和用户组是否正确

11.sudo和su什么区别?
    sudo 是临时获取root权限,su 是切换用户
    
12.su - hadoop,这个是做哪些事情
    切换到hadoop用户 ,并获取当前环境变量
    
13.window与Linux上传下载文件  我们用了哪些命令或工具?
    先 yum -y install lrzsz 安装lrzsz,才可以用rz或sz
        rz命令 本地上传文件到服务器
        sz命令 下载文件到本地
    工具:ftp
    
14.Linux与Linux之间的传输文件或文件夹是什么命令
    scp 

15.配置多台机器无密码信任关系ssh,会不会?博客有没有写?
    使用ssh工具生成密钥文件,然后把多台机器的公钥都收集到一个authority_keys文件里再群发到各个机器上,
    在hosts文件添加相应的ip机器名配置

16.a机器无密码访问b机器,请问谁给谁公钥文件
    a给b

17.如何给一个普通用户sudo 无密码权限,会不会配置,博客写了没
    /etc/sudoers, ALL=(root)  NOPASSWD:ALL
    
18.useradd添加一个用户,对应在哪个文件里有一行记录
    /etc/passwd

19.命令帮助会不会看?怎么看
    xxx --help,man xxx,一般先看usage,即使用标准,再看其它参数

20.查看文件大小哪两个命令
    ll -h

21.查看文件夹大小,哪个命令
    du -sh
    
22.查看系统负载是什么?
    top
    
23.内存和磁盘大小  命令分别是什么
    free -m
    df -g
    
24.进程pid怎么看
    ps -ef
    
25.怎样杀死pid ,杀死之前我们应该做什么?
    kill -9 xxx ,杀pid之前需要确认清楚,以免误杀。
    
26.端口号命令是什么
    netstat ,一般跟nlp 参数一起用。 
    netstat -nlp
    
27.测试IP通不通的命令是什么
    ping

28.测试IP和端口号的命令是什么
    telnet ip port,比如telnet 192.168.1.222 1521

 

20181010早课

1.MySQL部署过程的配置文件默认在哪

    /etc/my.cnf
    
2.赋予权限,%代表什么
    代表任意IP,即任意IP都可以访问。
    
3.创建DB的SQL是什么?
    create database xxx
    
4.想想,创建一个用户xxx,对xxxdb有所有权限访问且密码123456,这个SQL会不会写
    grant all privileges on xxxdb.* to xxx@'%' identified by '123456';
    
5.赋予权限完,我们最后一步要做什么?
    flush privileges

6.MySQL字段类型有哪些
    int,char,varchar,float,double等
    
7.建表的规范是什么?
    create table xxx

8.增删改查的SQL,会写不?
    insert into, delete , update ,select 
    
9.分组函数有哪些
    group by 
    
10.分组语法是什么?有什么规则
    group by 字段1,字段2 ...
    group by 后面出现的字段,在select后面也要出现。
    
11.order by默认是升序吗
    默认是升序
    
12.模糊查询第三个字母为x的  SQL怎么写
    select * from 表名 where 字段 like '__x%' ;

13.join语法哪三种
    inner join, left join, right join
    
14.我们习惯用left join  是指哪个表数据全
    是指左表数据全。
    
15.谈谈你们对子表的理解
    子表相当于临时表,以方便后续的引用操作
    
16.union和union all 是什么区别
    union 是去重,union all 是不去重
    
17.列可以别名,那么表可以做别名吗?
    可以的。

18.join语法,根据on条件后面的匹配,假如匹配不上,是不是填充Null
    是的。

19.hadoop广义来说是什么
    以hadoop软件为主的生态圈

20.hadoop狭义来说是什么
    hadoop软件
    
21.hdfs伪分布式有哪三个进程
    NN(NameNode) ,DN(DataNode), SNN(SecondaryNameNode)
    
22.NN节点是做什么的
    维护文件系统的命名空间以及文件树

23.DN节点是做什么?
    存储数据,定期发送心跳给NN,以及blockreport

24.SNN是做什么的?
    snn是合成fsimage+editlogs,两个合成的推到nn,snn定期拉去nn的fsimage和editlogs
    
25.副本放置策略,想想会不会?
    第一个副本:
    假设我提交文件的所在机器就是datanode节点,
    那么第一个块就存储在本节点上;
    如果不是,就随机挑选一台磁盘不太慢的 cpu不太繁忙的节点上;
    第二个副本:
    放置在于第一个副本的不同的机架的节点上;
    第三个副本:
    与第二个副本相同的机架的不同的节点上。
 

20181011早课
1.jps命令是来自哪里的
    jdk
    
2.jps  发现不可用信息,我们应该怎么办
    jps不可用,ps出来进程属于的用户,跳转到相应用户,如果相应用户下,没有这个进程,可以直接kill
    
3.pid文件默认存储哪里?哪个文件修改
    默认存储在/tmp目录下, 修改hadoop-env.sh文件的 export HADOOP_PID_DIR=${HADOOP_PID_DIR}

4.pid文件人为或Linux系统自动清理,那么会影响服务的正常运行吗?  那么又影响什么呢
    不影响hdfs服务正常运行和用户的读写,但影响重启。

5.面试题,hdfs的读写流程谁是output流,谁是input流
    写流程是FSDataOutputStream ,读流程是FSDataInputStream

6.hadoop fs命令等价什么命令
    hdfs dfs

7.上传下载我们习惯用什么
    上传-put 下载-get

8.hdfs dfs  -ls /   这个根目录是指Linux根目录吗?   /前面默认是不是还有一串地址?
    不是。这里的/是指hdfs上的根目录,/前面默认还有一串地址为:hdfs://你的hadoopIP地址:9000/

9.假如让你们去官网找 hadoop三个组件的配置文件 网址,你们会不会
    在官网hadoop.apache.org,单击documentation选择找对应的版本,进去后,在页面左侧栏最下方。  

11.一个文件250M,块128M 两个副本,请问实际存储多少个块  存储空间多少
    文件块为4 大小为500

12.副本放置策略,第一块放置的策略是什么
    第一个副本:
    假设我提交文件的所在机器就是datanode节点,
    那么第一个块就存储在本节点上;
    如果不是,就随机挑选一台磁盘不太慢的 cpu不太繁忙的节点上;

    第二个副本:
    放置在于第一个副本的不同的机架的节点上

    第三个副本:
    与第二个副本相同的机架的不同的节点上

13.简述SNN是干什么的
    定期合并fsimage+editlog文件为新的fsimage,推送给NN,称为检查点,checkpoint

14.NN节点维护文件系统树,不会实际存储文件有哪些块,块分布在哪些机器上。那么是谁会报告给NN节点?
    DN与NN通信,DN会定期发送心跳包给NN,每10次心跳发送一个blockReport。

拓展题  
生产上比如NN节点设置内存4G  ,那么一般来说NN节点可以维护75%的内存的文件树,说白了就是  存储文件名称。
那么当小文件特别多,这样文件名称会特别多,对NN节点内存有压力,有可能会拖垮HDFS,所以生产上一般要小文件合并
什么叫小文件合并  
比如:3个文件 都是10M的,文件名称字节加起来比如12个字节,那么合并一个大文件30M,文件名称就降低为4字节

 

20181012早课

1.pwd是什么意思
    显示当前所在路径
    
2.当我们输入一个命令,提示 not found,请问你该怎么办
    检查一下是否安装了,是否拼写错误,是否已经设置环境变量。
    
3.环境变量一般配置全局和个人,请问分别在哪,怎样生效    

   分为全局和个人,

  全局环境变量在/etc/profile,生效命令是source,生效方法:source /etc/profile

  个人环境变量一般是在个人的家目录的隐藏文件.bash_profile 或 .bashrc,生效命令是source,生效方法:source 家目      录/.bash_profile 
    
4.rm 删除文件或文件夹,我们第一步应该做什么
    删除文件先备份
    
5.kill 进程,我们第一步应该做什么
    检查一下是否有人在用,
    
6.vi编辑文件,我们第一步应该做什么
    编辑文件之前,要先备份一个文件

7.tar解压后,我们第一步应该做什么
    查看用户和用户组的权限

8.当前目录用什么表示
    ./

9.上一层目录用什么标识
    ../

10.拓展题,老板让你打开那台电脑的xxx服务的web界面,请问怎么办
    ps -ef查看进程号,netsat -nlp 查看端口号,再ping和telnet下,看看通不通。

11.   0.0.0.0  在查看端口号这个表示什么
    表示当前ip

12.简述如何使用vi清空一个txt文件
    先gg,再dG

13.命令帮助,你们觉得怎么看
    xxx --help 或 man xxx

14.哪些命令是大R参数.
    chown、chmod

15.哪些是小r命令
    scp,rm,cp

16.scp 一般使用是将文件或文件夹从本地传输到远程系统上,那么你们会不会,在本地系统上输scp,从远程系统传输文件或文件夹到本地系统上?
    scp 本地  远程 或 scp 远程 本地 都是可以的
    
17.那么多台机器配置无密码信任关系,你们博客写了没?
    使用ssh工具生成密钥文件,然后把多台机器的公钥都收集到一个authority_keys文件里再群发到各个机器上,
    在hosts文件添加相应的ip机器名配置
    
18.a机器到b机器ssh无密码信任访问,请问公钥文件谁给谁
    a给b

19.su - hadoop ,你认为执行这个会做哪些事
    切换到hadoop用户 ,并获取当前环境变量
    
20.用户执行哪些命令进入自己的家目录
    cd   cd ~  cd /home/用户名

21.切换到上一次目录和上一层目录
    cd -  cd ..

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值