大数据工作中你必须知道的基础命令集锦

最新推荐文章于 2024-05-09 23:27:22 发布

蜗牛!Destiny

最新推荐文章于 2024-05-09 23:27:22 发布

阅读量307

点赞数 1

分类专栏：环境

本文链接：https://blog.csdn.net/u013429010/article/details/83303570

版权

环境专栏收录该内容

17 篇文章 0 订阅

订阅专栏

以下是个人在工作中总结的一些简单的命令，有linux也有hadoop集群命令的操作，精力有限，肯定还有很多命令没有总结到，欢迎留言，我会定期添加新的内容

查看当前目录是什么命令？怎么表示当前path

pwd ./
切换到上一次和上一层目录?切换到当前用户的目录。

cd -
cd ..或者cd ../ 两层 cd ../../
cd ~ 或者cd
创建目录命令，连续目录的参数

mkdir
mkdir 4 5 6当前目录下创建同级目录
mkdir -p 连续目录
mv和cp什么区别

mv：用户可以使用该命令为文件或目录重命名或将文件由一个目录移入另一个目录中。

cp: 该命令的功能是将给出的文件或目录拷贝到另一文件或目录中。
vi哪三种模式

编辑,命令行,尾行
简述你们知道的vi快捷键有哪些

shift+g 光标到达最后一行
shift+$ 光标到达行位
dd 删除单行
dG 删除当前行到文件结尾部分
gg 光标到达首行
简述哪些命令可以生成一个新的文件

touch mv cp echo vi vim
追加和覆盖分别是什么表示

echo "a" >> b.txt 将字符串a追加到b.txt最后一行
echo "a" > b.txt 使用字符串a覆盖文件内容
cat “数据” > bigdata.log 这个成功吗
如果"数据"文件存在则能够执行
如果"数据"只是一个字符串则会提示no such file

cat a.txt 打印a.txt的全部内容
more a.txt 展示a.txt从头开始，使用空格向下翻页，b向上翻页

命令快捷方式设置
别名
alias cdrt=‘cd /root’ 当前窗口有效
在环境变量中设置,可以永久生效

vi /etc/profile
alias cdrt=‘cd /root’

查看历史命令是什么，执行第66行
history
!66
怎样查看命令帮助该注意什么
man python
python --help
rwx分别代表数字是什么
读写执行权限，分别代表421
rwxr–r-- 数字多少，分别代表哪三组的权限
读 r 4
写 w 2
执行 x 1
rwxr 4+2+1 = 7
r 4
默认读权限 4
744 分别代表了用户、用户组、其他用户组
```
-rw--r--r--  root  root    =》644
rw-  6表示root用户有读写权限  
r--  4表示root用户组有度权限  
r--  4表示其他用户组有读权限
```
简述哪些命令是带大R参数，反之哪些带小r参数
chown -R spark:hadoop /app #hadoop(用户):spark(用户组)
chmod -R 777 /app
rm -r
cp -r
scp -r
which xxx，找的是哪个环境变量的目录
$PATH
查看当前系统的ip

ifconfig 
hostname -i

查看某个服务是否开机启动

chkconfig --list |grep http

设置开机启动

chkconfig httpd on

telnet 某个ip的端口

yum install -y telnet
telnet 192.168.142.150 80

tail -f 与 tail -F

tail --help
-f, --follow[={name|descriptor}]
     output appended data as the file grows;
     -f, --follow, and --follow=descriptor are
     equivalent
-F   same as --follow=name --retry

tail -f 持续输出文件的新增内容，当文件消失时，停止输出
tail -F 持续输出文件的新增内容,并且一直重新尝试

设置文件显示行数

:set nu
:36    #跳转到36行
:set nonu
:/common  #搜索  n向下翻  N向上翻

Linux 与Windows上传下载数据
CRT在Linux中输入

rz   #上传到linux
sz a.txt #下载到windows
#下载路径设置    CRT -> Session Manager -> 192.168.142.150(右键) ->  Properties -> X/Y/Xmodem界面的Download

文件大小

ll -h   #当前目录下文件大小
du -sh a.txt #查看文件大小

文件夹大小

du -sh a #查看文件夹

在一个配置文件我这样写
$JAVA_HOME=/usr/java/jdk1.8
哪里不对?
那么我引用这个变量
echo $JAVA_HOME是否正确?

答：配置文件的时候不能在变量名中使用$,可以HADOOP_CONF_DIR=$HADOOP_HOME/conf 在引用时需要添加$表示引用变量
hive数据和元数据分别存储在哪
hive数据存储在hdfs，元数据存储在mysql
hive哪些SQL会触发 mr job
聚合函数
那么,什么事聚合函数：
1）一句话概括什么是聚合函数：多行合并为一行
2）常用函数：sum，count，max，min，avg。
3）group by
解压和压缩参数是什么
tar -zxvf a.tar.gz
tar -zcvf a.tar.gz a/*
zip -r a.zip a/
unzip zip
tar解压后，我们要习惯注意什么
修改名字，查看用户的权限
如何配置一个普通用户为sudo权限的无密码的
passwd hadoop设置密码
id hadoop 查看用户组
userdel hadoop 删除用户
修改/etc/sudoers 添加用户 hadoop nopassword
jepson ALL=(root) NOPASSWD:ALL

:wq! #强制保存
具体的添加用户，到用户权限，再到sudo免密，可以查看：
https://blog.csdn.net/u013429010/article/details/83069421
vi /etc/passwd huhu:x:503:504::/tmp:/bin/false #修改家目录和是否允许进入该用户 /bin/nologin
groupadd boss usermod -a -G boss hadoop #将hadoop添加到boss组 usermod -g boss hadoop #修改hadoop的主组

su - jepson 你们认为这句话做了哪些
切换用户，目录切换到当前用户的家目录下生效当前用户的环境变量

su jepson 切换用户后依旧停留在之前的目录

sudo su - jepson，这样命令可以组合使用吗？
切换用户到家目录生效环境变量
家目录出现
bin-4.1$
之类的命令行,不影响使用，但是可以通过以下命令进行修正
cp /etc/skel/.* /home/hadoop/ 将隐藏文件复制到家目录下
全局环境变量文件在哪?怎样生效
vim /etc/profile
source /etc/profile
个人环境变量文件在哪?怎样生效
临时生效，下次进入后需要再次source
vim ~/.bash_profile
source ~/.bash_profile
长期生效，下次进入后不需要再次source
vim ~/.bashrc
source ~/.bashrc
隐藏文件是什么标识开始?哪个命令参数查看?
以.开始
ll -a
ls -la
ls -l 等价于 ll
查看文件大小
ls -l -h => ll -h
查看文件时间
ls -l -rt 按时间排序
全局路径和相对路径区别是什么
全局从根目录开始,相对路径从某个位置开始
查看机器负载，内存，磁盘

top
uptime 
free -m #查看内存
df -h  #查看硬盘

当前目录搜索含有abc字母的文件或文件夹
find . -name *abc*
通过监控看到服务器CPU load 飙升800，请问你觉得你该怎么做?
使用top查看那个进程消耗的cpu多，是否为有用进程，如果没有用，直接干掉，如果有用，分析log
搜索文件包含某个字符串的行
cat a.txt | grep 22 搜索a.txt中包含22的行
cat a.txt | wc -l 统计a.txt文件的行数
grep -i 忽略大小写
打开a服务器服务xxx的web界面，请问你该怎么做
ps -ef|grep 程序名 #查看进程是否存在
netstat -nlp|grep 进程号 #根据PID查看端口号
然后进行访问
ps -ef|grep httpd|grep -v grep
高危命令哪些? 就是在做操作时，要确认清楚或备份一下
rm
kill
rm a.txt 询问确认是否删除
rm -f a.txt 不询问强制删除
rm -r -f a ==> rm -rf a 不询问删除文件夹
软连接语法是什么?
常用来区别软件版本，如：
ln -s /home/hadoop/app/python2.7/bin/python /usr/bin/python2
ln -s /home/hadoop/app/python3.6/bin/python /usr/bin/python3
那么删除软连接文件或文件夹，那么源文件还在吗
软连接相当于windows下的一个快捷方式
重命名文件名称，不生成一个新的文件命令是什么
mv
Linux远程登录另外一台Linux命令是什么
ssh 集群名/ip
Linux系统之间传输文件或文件夹命令是什么
scp/scp -r
多台机器配置无密码信任关系
具体可查看文章：
https://blog.csdn.net/u013429010/article/details/83301825
a无密码访问b，谁的公钥给谁
只需要将a的公钥发送给b，即可在a上无密码登录b
Linux中清屏命令
clear
shell文件开头
#!/bin/bash
网络安装
yum install -y httpd
service httpd status
pgrep -f http 找到所有包含http的命令
kill -9 $(pgrep -f http)
48.删除rpm包
rpm -qa |grep http 查询包名
rpq -e --nodeps 包名 卸载rpm
yum remove 包名 卸载rpm
49.修改所属用户

chown -R spark:hadoop /home/hadoop/test/
spark:hadoop spark用户和hadoop用户组

蜗牛!Destiny

关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
打赏
0
评论
大数据工作中你必须知道的基础命令集锦

以下是个人在工作中总结的一些简单的命令，有linux也有hadoop集群命令的操作，精力有限，肯定还有很多命令没有总结到，欢迎留言，我会定期添加新的内容查看当前目录是什么命令pwd切换到上一次和上一层目录cd -cd …创建目录命令，连续目录的参数mkdirmkdir -p 连续目录mv和cp什么区别mv：用户可以使用该命令为文件或目录重命名或将文件由一个目录...
复制链接

扫一扫