lsattr --文件查看属性
md5sum — 验证
vimdiff hbase-env.sh hbase_bak-env.sh ----对比文件
jmap -heap namenode进程号，查看内存进度
wget http://yum/hadoop/mysql-connector-java-5.1.40-bin.jar -O /usr/share/java/mysql-connector-java.jar—下载
hadoop fs -count -q -h hdfs://10.127.0.0/tmp/* – 查看hadoop 中目录大小
beeline -u "jdbc:hive2://10.127.0.0.meizu.mz:10000/default;principal=hive/10.127.0.0
nohup /data/logstash/bin/logstash -f /data/logstash/conf/shipper.conf > /dev/null 2>&1 &
--------------hadoopclusterID 路径--------------------
clusterID:
cd /xxx/xxx/cureent/VERSION (集群配置的路径下//cureent/VERSION 查看VERSION)
clusterID:
cat /proc/cpuinfo |grep ‘cpu cores’|wc -l —查看cpu 个数
rz –bey sz -a *.gz
route -n
---------------- ------------------------kinit--------------------------
kadmin.local --进入管理
change_password / --修改密码
getprinc / --获取凭据
[root@localhost ~]# passwd hadoop ##修改hadoop用户密码
Changing password for user hadoop.
New password: ##输入新密码
Retype new password: ##再次确认新密码
passwd: all authentication tokens updated successfully.
-------------------------------------------Linux -------------
iostat -x —查看硬盘状况（读写速率）
bash -x 脚本 —查看脚本错误、
\cp -r why1 ./why2 添加\不在提示是否需要覆盖
echo 3 > /proc/sys/vm/drop_caches --释放内存
yum install ambari-agent
which java -查看java位置
rz –bey 传送较大的文件
whoami 查看所属用户
Please set vm.max_map_count to be 2000000 under root using ‘sysctl -w vm.max_map_count=2000000’.
sysctl -w vm.max_map_count=2048000
-------------------------------------------配置DNS--------------------------------------
nslookup 主机名 IP —配置DNS
vi /etc/resolv.conf – DNS解析文件
ping: time.meizu.mz: Name or service not known --报错
10.127.0.0 time.meizu.mz 查看hosts主机
nslookup time.meizu.mz
-----------------------------------------免密登陆配置------------------------
echo “123456” | passwd --stdin 用户名 --------设置用户密码
ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
ssh localhost —测试登陆
cd /etc/ssh/ssh_config
PermitLocalCommand yes 修改为yes
添加 Port 16120 可以ssh 进入主机
chattr +i 给文件加入强制位（是本机无法自动覆盖）
chattr -i 文件 本机可以修改
ssh-keygen --找到ssh密码串 （本机）
cat ~/.ssh/id_rsa.pub
vi ~/.ssh/authorized_keys --在需要传送文件中地址配置ssh
rsync -avz -e"ssh -p 16120" kafka_2.12-3.2.3.tgz root@10.127.0.0:/data/package
--------------------------------------------------------修改主机名------------------
hostname newname
vim /etc/hostname --修改主机名字
vi /etc/sysconfig/network —修改主机名字 —reboot重启
hostnamectl set-hostname GZSB-CJB-SHH9-6-ecarx-131-35 —不需要重启
----------------------------------Nginx----------------------------
nginx -t
nginx -s reload
#重启Nginx服务
systemctl restart nginx
systemctl start nginx 启动nginx
./sbin/nginx -t -c ./conf/nginx.conf
service nginx status–启动
修改完毕后执行命令重加载 nginx 配置使之生效：sudo nginx -s reload
whereis nginx --查看nginx位置
journalctl -xe 查看报错
./nginx -s reload --重启
vi /etc/nginx/nginx.conf
server {
listen 80 default_server;
listen [::]:80 default_server;
server_name _;
root /data/DSS/ —添加 root /data/DSS/ 可以http下载目录下软件 —在/data/DSS/目录下创建软连接
http://主机ip/软连接/文件名字 下载文件
----------------------------------------端口 -yum-------------------------
telnet 10.127.0.0 80 —/etc/yum.repos.d 开通80端口
netstat -alntp | grep 8200
netstat -tnlp 查看端口
cd /etc/ssh/ssh_config
添加 Port 16120 可以ssh 进入主机
ping 8.8.8.8 查看al 通不通
telnet 10.127.0.0 3306
--------------------------------进程-------------------------------------------------------
ps -fp 452 --直接查看452pid,进程
---------------------------------配置用户的打开文件数-----------------------------------------
echo “arius soft nofile 655350” >>/etc/security/limits.conf
echo “arius hard nofile 655350” >>/etc/security/limits.conf
echo “vm.max_map_count = 655360” >>/etc/sysctl.conf
sysctl -p
vi /etc/security/limits.conf（添加以下内容）
-
soft noproc 65535 -
hard noproc 65535 -
soft nofile 65535 -
hard nofile 65535
重启生效后再次查看最大打开文件数;
sysctl -p 立即生效
-----------------------------------------------------repo--------------------------------------
/etc/yum.repos.d/ambari.repo
yum list installed 查看Yum 列表
service zabbixagent restart —重启 zabbix
--------------------------crontab添加时间--------------------------------------------------------------
/usr/sbin/ntpdate xxxx > /dev/null 2>&1 添加时间
0 */1 * * * /usr/sbin/ntpdate time.meizu.mz >> /var/log/cront.log
/var/spool/cron/root —文件方式加入
0 8 * * * /etc/security/keytab/keytab.sh --每天八点执行
--------------------------------------hdfs dfsadmin------------------------------------------
rpm -ivh --nodeps --force .rpm -----其中：–nodeps属性表示忽略任意依赖包
hdfs fsck / 坏块情况
hadoop fs -count -q -h -v hdfs:/ —查看文件大小
hdfs dfsadmin -safemode get 查看安全模式
hadoop dfsadmin -safemode leave --关闭安全模式
hdfs dfsadmin -report --大数据统计基本信息
-----------------------------------------awk-----------------------------------
test=aaa.ddd.tr
echo
t
e
s
t
∣
s
e
d
−
E
"
s
/
(
˙
[
.
]
+
)
test | sed -E "s/\.([^.]+)
test∣sed−E"s/(˙[.]+)/_gaoshu.\1/“-----------------就是把最后一个点替换为 “_gaoshu. "
var=”12345467,”
KaTeX parse error: Expected '}', got 'EOF' at end of input: …一个字符 去除字符串的首字符:{str:1}
awk '{$1=””;print $0}’ —去掉第一列
awk -F- ‘{print KaTeX parse error: Expected 'EOF', got '}' at position 3: NF}̲' -------------…((KaTeX parse error: Expected 'EOF', got '#' at position 212: …-查看返回值 sed -i '#̲dir_home#/data/…nw_host#$nw_host1#g" /etc/sysconfig/network ----在shell脚本中 需要吧’’ 替换成""
sed -i ‘/10.127.0.0/d’ /data02/b.txt ----删除10.129.2.212行
---------------------------------创建账号-------------------------------------
vi /etc/passwd —用户文件
vi /etc/group —组
vi /etc/group- --组
mkdir /home/hadoop
cp /home/hive/.bash_profile /home/hadoop/
cp /home/hive/.bashrc /home/hadoop/
userdel -r 用户
创建用户需使用 root 登录
useradd -g user_group user_name (新创建的加入到组中)
useradd dolphinscheduler
/etc/group —组信息
添加密码
echo “dolphinscheduler” | passwd --stdin dolphinscheduler
配置 sudo 免密
sed -i ‘$adolphinscheduler ALL=(ALL) NOPASSWD: NOPASSWD: ALL’ /etc/sudoers
sed -i ‘s/Defaults requirett/#Defaults requirett/g’ /etc/sudoers
修改目录权限，使得部署用户对 dolphinscheduler-bin 目录有操作权限
chown -R dolphinscheduler:dolphinscheduler dolphinscheduler-bin
---------------------------------------------curl-----------------------------------------
curl http://www.baidu.com --trace a.txt 返回到a.txt 中
tr “[a‐z]” “[A‐Z]” < $1 文件中小写转化成大写。
curl -I --silent -m 2 -s -w “%{http_code}\n” -o /dev/null 10.127.0.0:9003/metrics 2秒返回状态码
curl 10.127.0.0:9003/metrics —服务器连接集群
---------------------------mysql---------------------
skip-grant-tables --vi/etc/my.cnf 添加 flush privileges; 权限刷新。
mysql -h192.168.1.165 -uroot -p123456
service mysqld start ------重启
alter user’admin’@‘%’ IDENTIFIED BY ‘4rt5$RT%’; 修改密码
systemctl restart mysqld —mysql重启
------------------------------kafk命令------------------------------------------------
kafka机器数量计算：
2*（生产峰值速度*副本数量/100）+1
kafka --命令
./bin/kafka-topics.sh --list --bootstrap-server 10.127.0.0:9092 --查看topic
./bin/kafka-topics.sh --create --topic test_why --partitions 2 --replication-factor 3 --bootstrap-server 10.127.0.0:9092 --创建三个副本的topic
./bin/kafka-console-consumer.sh --bootstrap-server 10.127.0.0:9092 --topic test_why --消费者
./bin/kafka-console-producer.sh --broker-list 10.127.0.0:9092 --topic test_why —生产者
./bin/kafka-topics.sh --delete --topic foo3 --bootstrap-server master1:9092,master2:9092,master3:9092 - - 删除topic
./bin/kafka-server-start.sh ./config/kraft/server.properties --启动kafka
zip -r KAFKA3.zip KAFKA3
rz 本地上传服务器文件
sz 服务器下载本地文件
wget http://10.135.16.41/mysql/mysql-community-client-5.7.38-1.el7.x86_64.rpm
wget http://10.135.132.26/data01/why/release/DataSphereStudio-1.1.1.tar.gz
在 reop 目录下创建软连接
wget http://xxxx/软连接/包名字 — 软连接一定创建在源地址目录下生效（find / -name “centos” 第二个目录下，一般为/var/www/html默认目录下）
md5sum /usr/share/java/mysql-connector-java-8.0.30.jar 校验包
-----------------------------------------------------MySQL导入导出命令---------------------------------------------------------------------
https://blog.csdn.net/m0_47073109/article/details/119816362 -----mysql忘记密码 重新配置
更新字段内容：UPDATE tb_courses_new SET course_name=‘DB’,course_grade=3.5WHERE course_id=2;
导出单个数据库
mysqldump -h hostname/ip地址 -P 端口号 -u mysql用户名 -p mysql密码 --databases 数据库名s > /路径/生成的文件名.sql
mysqldump -h10.129.0.122 -P3306 -uxjuser -pMZ-xj@PRD123 --databases dss > /data01/dss.sql
导出表结构及数据
mysqldump -u root -p --set-gtid-purged=OFF database table1 table2 > mysqldump.sql
导出所有数据库
mysqldump -u root -p --all-databases > mysqldump.sql
导出：
mysql -u root -p < mysqldump.sql
mysql>source d:/dbname.sql
详细资料见：https://blog.csdn.net/weixin_44578029/article/details/111594549?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522166916780616782414980172%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_id=166916780616782414980172&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2allbaidu_landing_v2~default-4-111594549-null-null.142v66control,201v3control_2,213v2t3_esquery_v3&utm_term=MySQL%E6%95%B0%E6%8D%AE%E5%AF%BC%E5%85%A5%E5%88%B0%E6%9C%AC%E5%9C%B0&spm=1018.2226.3001.4187
-------------------------------------------------------python脚本认证-------------------------------------------------------------------------
[root@zxxxxscripts]# source /var/lib/ambari-agent/ambari-env.sh
[root@axxx scripts]# /usr/bin/ambari-python-wrap tez.py（脚本名字）
hadoop dfs -setrep 2 -R /apps/hive --设置hive目录两副本
------------------------------------------------------datanode下线服务操作-----------------------------------------------------------------------------------
在namenode主机节点中 hdfs-site.xml配置添加黑名单，在dfs.hosts.exlude配置项下添加/etc/hadoop/dfs.exclude配置文件。
在/etc/hadoop/dfs.exclude文件中加入需要下线的主机ID，
刷新命令：
hadoop --config /etc/hadoop dfsadmin -fs hdfs://xxxx:8020 -refreshNodes
chattr +i 强制锁 不可修改文件
chattr -i 强制锁 可以修改文件
-----------------------------------------keytab文件认证---------------------------------------------------------
cd /etc/security/keytabs/nn.service.keytab nn/xxxxx
klist -kt nn.service.keytab
kinit -kt /etc/security/keytabs/nn.service.keytab nn/xxxxx
netstat -ltunp -------------------查看端口-----------
打开单个端口：firewall-cmd --zone=public --add-port=80/tcp --permanent
打开多个端口：firewall-cmd --zone=public --add-port=20000-29999/tcp --permanent
firewall-cmd --zone=public --remove-port=80/tcp --permanent 关闭端口命令：
firewall-cmd --zone=public --add-port=80/tcp --permanent #添加端口（–permanent表示永久生效，没有此参数重启后失效）
netstat -ntlp 或：firewall-cmd --list-ports 查看开启端口
systemctl start firewalld.service 开启防火墙
systemctl restart firewalld.service重启防火墙：
telnet
firewall-cmd --add-service=ftp --zone=public --permanent 开通服务
#查看可开启的服务
firewall-cmd --zone=public --list-services
显示服务列表
firewall-cmd --get-services
添加HTTP服务到内部区域（internal）
firewall-cmd --permanent --zone=internal --add-service=http
firewall-cmd --reload # 在不改变状态的条件下重新加载防火墙
shutdown -h now立即关机
mysql5.7版本：
driverClassName: com.mysql.cj.jdbc.Driver
jdbc:mysql://localhost:3306/wanghaoyuan?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=false&serverTimezone=GMT%2B8
true要改成false, SSL加密协议5.7版本之前安全低，5.7以后需加强了。需改成false,可操作表。
sudo journalctl -u docker.service --查看docker详细日志
dockerd --debug —查看报错
systemctl restart docker.service —docker重新启动
镜像相关命令：
docker images：列出本地的镜像列表。
docker pull <image_name>:：下载远程镜像到本地。
docker push <image_name>:：将本地镜像推送到远程仓库。
docker rmi <image_name>:：删除本地的一个或多个镜像。
-it node:16 /bin/sh
容器相关命令：
docker ps：列出正在运行的容器。
docker ps -a：列出所有状态的容器（包括已停止的）。
docker create <image_name>:：创建一个容器，但不启动它。
docker start <container_id or container_name>：启动一个停止的容器。
docker stop <container_id or container_name>：停止一个运行中的容器。
docker restart <container_id or container_name>：重启一个启动过的容器。
docker rm <container_id or container_name>：删除一个容器。
docker logs <container_id or container_name>：查看容器的日志。
docker exec -it <container_id or container_name> ：在运行中的容器中执行命令。
docker run --name mycontainer -d ubuntu
网络相关命令：
docker network ls：列出所有网络。
docker network create <network_name>：创建一个自定义网络。
docker network connect <network_name> <container_name>：将一个容器连接到指定网络。
docker network disconnect <network_name> <container_name>：将一个容器从指定网络断开。
telnet 10.127.0.0 22400 telnet IP地址 端口号
date -s “2022-11-17 14:31:50” ntp时间校验
parted -s /dev/sda unit GiB print free 查看sda盘是什么类型
归档命令
hadoop archive -archiveName input.har -p /AzF/input /AzF/output
删除命令
| grep xxxx | xargs rm
配置hadoop环境认证
家目录下.profile
source /hadoop客户端目录/bigdata_env
kinit -kt /路径/user.keytab huawei
或者
kinit hdfs
删除多列进程号：
ps -ef | grep exp |awk -F " " ‘{print $2}’ | xargs kill
kill -9 ps aux|grep yum|awk '{print $2}'
操作系统的语言环境
localectl status命令查看System Locale: LC_CTYPE的值是否en_US.UTF-8
如果不是，可在“/etc/profile” 文件中添加如下内容进行设置：
LANG=en_US.UTF-8
配置/etc/sysctl.conf文件，添加net.ipv4.ip_nonlocal_bind = 1
默认路由配置
cd /etc/sysconfig/network
vi routes
修改default后的字段为需要配置的默认路由。
default x.x.x.x - -
开启SSH鉴权
/etc/ssh/sshd_config”文件中的“PasswordAuthentication”参数值必须为“yes”。修改参数值后重启sshd，重启命令为 systemctl restart sshd.service
systemctl enable docker.service docker设置开机自启
paas用户，创建命令如下：
userdel paas -r
groupdel paas
usermod -u 1001 huawei;
创建paas用户组：groupadd -g 1000 paas
创建paas用户：useradd paas -m -d /home/paas -g paas -u 1000
添加用户到paas组与wheel组：usermod -aG wheel paas
sudo 权限： 在“/etc/sudoers”添加paas ALL=(ALL) NOPASSWD: ALL
iptables -L susue防火墙
ntp服务问题
ntpq -np 查看服务
service ntpd restart重启服务
vi /etc/sshd.conf ： servic 添加 10.143.50.250
docker命令
journalctr -xe -u docker —查看docker日志
/etc/docker/deamon.json suse系统 docker配置文件
systemctl restart docker 重启docker
systemctl reset-failed docker 打印重启报错日志。
systemctl status docker 显示Active不为active（running），dockerd 进程未运行。
执行 systemctl status docker -l ，并查看相关报错，常见报错有以下几类。
/etc/sysconfig/docker 和/etc/docker/daemon.json，类似下图的格式错误或重复配置需要重点排查。
报错中存在“graphdrive”“devmapper”“thinpool”等字样，多为thinpool损坏或数据不一致，检查thinpool与/var/lib/docker目录状态，无法修复的需要做thinpool重建。
拉起服务等待超时： 多为IO响应过慢，如下图，使用iostat -x -d 1 10检查IO等待时间是否过长，主要关注r_await,w_await,svctm,%util,是否偏高
systemd管理的服务文件——/usr/lib/systemd/system/docker.service
系统中，docker服务都是通过systemd管理的，所以systemd管理的时候都会读取这个配置文件中的参数，
修改配置文件以后，需要重新加载配置文件，然后重新启动相关服务。
重新加载配置文件
$ sudo systemctl daemon-reload
重启相关服务
$ sudo systemctl restart docker
1.使用vi/cat/less/tail 查看/var/log/messages或messages-xxxx.xz，可以查看到最新的或对应转储日期的系统日志，根据需要还可以使用grep抓取关键字。
2.journalctl -u docker可以查看docker.service的所有日志（包括转储的），也可以根据需要加其他参数，具体参考journalctl的man文档。
查询已有镜像，获取镜像名或镜像ID
docker images
创建容器：
docker run [OPTIONS] IMAGE [COMMAND] [ARG…]
(执行前请检查，是否关闭DOCKER内容信任验证机制，以避免与Notary Server进行不必要的通信，执行unset DOCKER_CONTENT_TRUST )
docker 运行即进入容器
docker run -it IMAGE COMMAND
docker 后台运行容器
docker run -d IMAGE COMMAND
进入容器
docker exec -it CONTAINERID COMMAND
停止、重拉容器
docker stop CONTAINERID
docker start CONTAINERID
删除容器
docker stop CONTAINERID
docker rm CONTAINERID
docker rm -f CONTAINERID
docker logs
描述：查看容器内的日志
使用方式：
docker logs [options] CONTAINER
容器通过联合文件系统实现了文件系统隔离。但是容器之间仍然能共享目录。
•挂载主机的目录。用户可以通过在容器中设置挂载点的方式，将主机上的目录内容关联到容器内部。如
docker run --name node 1 -h nodex -v /home/upload/:/data -d -i -t centos /bin/bash。
其中的 -v 标记在容器中设置了一个挂载点/data，并将主机上的/home/upload目录中的内容关联到/data下。
•容器共享卷（挂载点）。
docker run --name node4 -itd --volumes-from node3 centos /bin/bash
其中，–volumes-from标记了node4和node3共享挂载点。node3的挂载点可通过docker inspect node3返回结果中的"Mounts"关键字查看。
•数据容器。
如果多个容器共享数据，一般会创建一个特定的数据容器，该容器有1个或多个卷，其他容器通过–volumes-from来共享这个数据容器的卷。
0行转列并且显示序号：
cat why_test2.txt | sed ‘s/|/\n/g’ |awk ‘{print NR ,$1}’
ln -s /opt/paas /var/pass 创建软连接
ln -sf /opt/paas /var/pass 创建软连接
netstat -at | grep 8080 查看端口使用情况
cp -pR /aaa/* /bbb 整个目录拷贝
grep -E ‘San|san’
Fdate +%Y/%m/%d-%H:%M:%S
date +%F/%X
cat b.txt | sed -n “2p”
sort -t ’ ’ -k 2 -u test.txt //将文本每行按照空格切分，以第二列去重并排序
sort -t ’ ’ -k 2 test.txt |uniq -u //将文本每行按照空格切分，在按照第二列排序后，在去重
sort a.txt b.txt | uniq -d //获得两文件的交集
sort a.txt b.txt | uniq //获得两文件的并集
sort a.txt b.txt b.txt | uniq -u //获得两文件的差集(a-b)
diff a.txt b.txt (两个文件做对比)
cat aaa |awk -F ‘|’{print $2} |sort | uniq |more 排序
cat aaa | awk -F ‘|’ ‘$2~/^8622/’ |wc -l (8622开头)
cat aaa | awk -F ‘|’ '$2 !=“” ’ |wc - (不为空)
cat aaa | awk -F ‘|’ ‘$1==2 && $2 ==3 {print $4,$5}’ | grep 15075890804
netstat -route 查看路由
dos2unix /home/uap/bdi/upgrade_bdi_conf.sh 转义
sed ‘/^$/d’ file #删除空白行
将文件file中的book替换成books ：sed -i ‘s/book/books/g’ file
cut -d “:” 用冒号作为分隔符 -f 1,2 提取第1，2列
grep -E “as | sd” 查找 as 或者 sd
grep aaa | gerp -iv aa/bb
cat -n 命令可以给文件的每行都加上行号
shell脚本 精准 ‘’%.2f\n’’
echo $(cat /test/1.txt) >> 2.txt 追加内容
查看内核版本 uname -a
cat /etc/SuSE-release
***************查找
grep -nr ’ ’ * grep查找文件 grep -v “^$” 文件名 缩进一行
grep -ir ’ ’
find ./ -name ’ ’
grep -r “关键字” 目录
cat config.properties | grep jdbc ( 在config.properties 文件中找 jdbc相关内容)
hadoop fs -get /Interface/stream_file/zhixing/82_153/10.143.82.153_*4G.log /home/huawei/tmpfiles/
whoami 查看用户
check_status.sh检查isa服务状态。
-
shell脚本编程、expect编程、TCL编程、awk编程、sed编程
-
suse主机管理： 文件系统概念及管理、磁盘分区概念及管理、主机硬件结构及管理
路径大全
/etc/ssh/sshd_config 修改ssh配置文件；password 选yes
重启ssh服务 ： service sshd restart;
查看 chakindo脚本：
- log on to huawei@10.143.28.18
- enter the directoy : /home/huawei/whs_tmp/shells/ tmp
*ps -ef|grep checkinode
- tmp/ kill - p 进程 _sh
- /shell -> nohup sh checkindoe_sch.s &
jobs查看是否运行
{ vi checkindoe_sch.sh 改为8个小时 bc计数 }
进入hadoop ：
source/opt/hadoopclient/bigdata_env
kinit -kt /opt/hadoopclient/user.keytab huawei
soure认证：
ksh
source ./common/bigdata.head
beeline进入hive
steps:
- log on to huawei@10.143.28.18
- enter the directoy : /home/huawei/whs_tmp/shells
- fill new tns info in file tns_detail.txt
- execute script: sh tns_update.sh > tmp/tns_update.log
SCP*********************
linux 远程拷贝 ：scp
1.命令介绍：
scp提供了几个选项 在scp后加就行了
-p 拷贝文件的时候保留源文件建立的时间。
-q 执行文件拷贝时，不显示任何提示消息。
-r 拷贝整个目录 www.2cto.com
-v 拷贝文件时，显示提示信息
2.用法
scp 文件名 root@远程ip:/路径/
如：scp -r /home root@192.168.3.0:/home 将本机的/home 目录 拷贝到远程主机/home路径下
cp 路径/文件名/路径文件名
Linux 命令：
top显示占用资源最多的进程、tailf 日志 追踪日志、du -sh *查看当前目录下各个文件及目录占用空间大小、ls -lh以易读的方式显示文件的大小、 ls -F 在文件名后面显示文件类型、 ps -ef |more 查看当前正在运行的进程、、2、如果文件是在当前文件夹目录下，且没有打开，查找方法是：cat 文件名 | grep “关键字” history历史记录 du -sh * | grep G 查询目录下 是G的
***************生产系统手动删除报错
12051 spark fink 报错 手动删除 df -i /tmp/tools/oci/Load 目录下 rm -rf 删除；
var /spool/postfix/maildrop 没有权限 让白叔叔删除
命令ln：建立符号连接，ln –s 源目标。ln -s /etc/inittab inittab [inittab指向实际文件/etc/inittab]。
ls -l >a.txt 列表内容写入到a.txt文件中；
ls -al >>aa.txt 列表内容追加到文件aa.txt的末尾；
如果是在某个目录下的多个文件中查找内容中包含的关键字，查找方法是：grep -r “关键字” 目录
lsof -i:8003查看端口 。unzip 解压当前文件；route查看子网编码
echo 3 > /proc/sys/vm/drop_caches释放内存
ls -l | grep [d] | awk ‘{print $9}’ | tail -n 2 | xargs -I {} scp {} （批量下载到本地文件）
find / -name ‘*.iso’ 查找镜像命令
cat /etc/SuSE-release 查看版本号；
grep -nr “”“”| dev /null 递归查询
tar -zcf bdi_172.80.0.124.tar.gz \ 打包：1
tar zcvf 打包新名字 打包名字
添加属主： groupadd paas chgrp paas paas
chown -R root:root 1.txt（修改属主）
复制权限: chmod -R 755/路径(给文件夹赋权)
ln -s /opt/uniagent-download uniagent-download创建软连接
同步时间*********
ntp同步时间 service ntp stop 、 ntpdate 10.143.50.250 、 date、 service ntp start ;
tail -f test.log 可以动态的查看服务器运行状态的日志
检查NTP ntpq -np
复制权限: chomd -R 755/路径
chage -l uapcommonsftp 查看用户密码是否过期 ；
chage -M 99999 uapcommonsftp （用户名） 修改密码永不过期；
查看端口号 ： 找到目录后 ll …/*
telnet 10.143.28.18 22400 telnet IP地址 端口号
redis 集群登录 redis-cli -c -h ip地址 -p 端口号
netstat -anpl | grep 22400
解密密码串***********
在 scrip 目录下：
解义密码： decode_password 密码串
echo $RETURN
登录数据 oracle
sqlplus /as sysdba
ls -lSr |more 以尺寸大小排列文件和目录
du -sh dir1 估算目录 ‘dir1’ 已经使用的磁盘空间’
du -sk * | sort -rn 以容量大小为依据依次显示文件和目录的大小
cat /proc/cpuinfo |grep “processor”| sort -u|wc -l 查看内存G
tail -n 5 test.log 显示last 5行
tail -n +5 test.log 从第5行开始显示，显示第5行以后的
tar -zcvf 压缩文件名 .tar.gz 被压缩文件名 压缩tar.gz
tar -xvf file.tar //解压 tar包
tar -xzvf file.tar.gz //解压tar.gz
tar -xjvf file.tar.bz2 //解压 tar.bz2
tar -xZvf file.tar.Z //解压tar.Z
unrar e file.rar //解压rar
unzip file.zip //解压zip
gunzip ///解压txt.gz
创建或解压tar.xz文件的方法:
创建tar.xz文件：只要先 tar cvf xxx.tar xxx/ 这样创建xxx.tar文件先，然后使用 xz -z xxx.tar 来将 xxx.tar压缩成为 xxx.tar.xz
解压tar.xz文件：先 xz -d xxx.tar.xz 将 xxx.tar.xz解压成 xxx.tar 然后，再用 tar xvf xxx.tar来解包。
————————————————
cat 文件名 | head -n 数量,查看log.log前200行
cat log.log | head -n 200
cat log.log | tail -n 200,查看log.log后200行
cat log.log | tail -n 200
cat 文件名 | grep “关键词”,返回log.log中包含train的所有行
cat log.log | grep “train”
三.搜索及滚动查看
grep -i “关键词” 文件名(与上述方法效果相同,写法不同)
grep -i “train” log.log
less -N 日志文件名.log
less -N test.log然后输入"/context"搜索context关键字
点击键盘↑ ↓可以滚动，点击 N 可以查看上一个，n可以查看下一个
1.使用more和less命令
cat -n test.log |grep “debug” |more
—这样就分页打印了,通过点击空格键翻页
2.使用 >xxx.txt 将其保存到文件中,到时可以拉下这个文件分析
cat -n test.log |grep “debug” >debug.txt
cat -n touchealth-sgw-ops.log |grep “error” >myerror.txt
四.Vi命令 跳到最后一行和首行:
最后一行:Shift+G
首行:gg
dd删除一行
ctul + u 删除操作航
find . -name “.log" -ls 在当前目录查找以.log结尾的文件，并显示详细信息。
find /root/ -perm 600 查找/root/目录下权限为600的文件
find . -type f -name ".log” 查找当目录，以.log结尾的普通文件
find . -type d | sort 查找当前所有目录并排序
find . -size +100M 查找当前目录大于100M的文件
tail -100f test.log 实时监控100行日志
tail -n 10 test.log 查询日志尾部最后10行的日志;
tail -n +10 test.log 查询10行之后的所有日志;
head -n 10 test.log 查询日志文件中的头10行日志;
head -n -10 test.log 查询日志文件除了最后10行的其他所有日志;
cat -n test.log |grep “debug” 查询关键字的日志
cat -n test.log |grep “debug” 得到关键日志的行号
————————————————
hadoop命令：
hadoop fs -cat/路径/时间/文件名|more
hadoop fs -test -e text.txt 查看文件是否存在
hadoop fs -put text.txt 上传到本地文件到HDFS系统的workspace目录
Hadoop fs -cat text.txt 查看和对比
hadoop fs -appendToFile local.txt text.txt 追加到文件末尾的指令
hadoop fs -copyFromLocal -f local.txt test.txt 覆盖原来文件 第一种命名形式
hadoop fs -ls -h text.txt 显示HDFS中指定的文件的读写权限、大小 创建时间等信息
Hadoop fs -rm text.txt 删除HDFS中指定的文件
hadoop fs -mv text.txt text2.txt 在HDFS中 将文件从源路径移动到木的路径
hadoop fs -mkdir /input 在HDFS中的根目录下新建input 目录
hadoop fs -put text.txt /input 在本地text.txt 文件上传到HDFS的input目录下
Hadoop fs -ls -R 查看文件是否成功上传到HDFS上面
Hadoop verion 查看版本
hadoop fs -chmod 666 /t1.txt 修改权限
hadoop fs -touchz 新创建一个空的文件
hadoop fs -mv 【原文件】【新的文件名】
hadoop fs -stat path 返回指定路径的信息
hadoop dfs -du -h dir按照适合阅读的形式人性化显示文件大小
hadoop fs -get /Interface/stream_file/zhixing/82_153/10.143.82.153_*4G.log /home/huawei/tmpfiles/
hadoop fs -rm -r -skipTrash /path_to_file/file_name 删除文件
查看文件第6行
sed -n ‘6p’ 文件名字
linux 定时任务
crontab ***** 秒 分 时 天 周
[root@localhost ~]# passwd hadoop ##修改hadoop用户密码
Changing password for user hadoop.
New password: ##输入新密码
Retype new password: ##再次确认新密码
passwd: all authentication tokens updated successfully.
------------------------rpm------------
rpm -e kernel-default --nodeps —删除软件包。
rpm -ivh kernel-default.rpm
rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64 – 强制删除
----------------------------zypper------------
zypper lr 列出安装源
zypper ar /home/huawei/aaa 别名 --添加新的安装源
zypper rr 别名 删除安装源
zypper install 包名字 --安装
zypper re 包名字 —卸载
zypper rm 包名字版本
Linux对逻辑卷的创建与管理
linux 逻辑卷创建、增加与减少
创建逻辑卷：
1、创建物理卷
pvcreate /dev/sda3 /dev/sdb3
pvdisplay显示已建的物理卷
2、创建卷组
vgcreate vg0(卷组名) /dev/sda3 /dev/sdb3
vgdisplay
3、创建逻辑卷
lvcreate -L 600M(卷的大小) -n lv0(卷名) vg0
lvdisplay
4、建立挂载
mkdir /mnt/vg0/lv0
vi /etc/fstab
/dev/vg0/lv0 /mnt/vg0/lv0 ext3 defaulte
5、文件格式化
mkfs.ext3 /dev/vg0/lv0
扩展逻辑卷大小
lvextend -L 1G(扩展到1G) /dev/vg0/lv0
resize2fs /dev/vg0/lv0 文件系统同步
缩减逻辑卷大小
umount
e2fsck -f /dev/vg0/lv0
resize2fs /dev/vg0/lv0 800M(缩减到800M)
lvreduce -L 800M /dev/vg0/lv0
mount
将新硬盘加入逻辑卷
1、建立物理卷
2、扩展至卷组
vgextend vg0 /dev/sda10
撤出硬盘
pvmove vg0 /dev/sda10
vgreduce vg0 /dev/sda10
------- 缩减卷组织-扩容逻辑卷----------
umount /dev/mapper/vg-lv-var_tmp
e2fsck -f /dev/mapper/vg-lv-var_tmp
reboot
e2fscheck -f /dev/mapper/vg-lv-var_tmp
resize2fs /dev/mapper/vg-lv-var_tmp 18G
lvreduce -L 18 /dev/mapper/vg-lv-var_tmp
mount /dev/mapper/vg-lv-var_tmp /var/tmp
lvcreate -L 2G -n lvt vg
cp -pR /boot/* mnt
mkfs -t ext4 /dev/mapper/vg-lv_t
--------------------rpm-----
rpm -qa | grep kernel —查看安装所有rpm包
rpm -ivh /路径/包
rpm -e kernel-def… 删除rpm包
1、 “开始”-“运行”
输入“cmd“，打开命令提示符；
2、进入 ftp
在命令提示符内输入”ftp“并回车，进入 ftp 提示符 ftp> ,
3、在 ftp>输入 open 192.168.80.17 回车；
/如果你的 FTP 服务器不是用的 21 默认端口，假如端口是 10021，那么此步的命令应在后面空格加 10021，即“open 192.168.80.17 10021“/
4、用户
/*提示输入用户名 */
5、密码
/* 提示输入密码，密码不会显示，输完密码后回车即可 */
6、dir
/* 成功登陆后就可以用 dir查看 FTP服务器中的文件目录*/
7、lcd d:\test
/*定位本地默认文件夹，在前面事先在 D：盘创建好的 */
8、!dir/* 查看本地文件夹中有文件及目录 */
9、prompt
/*打开和关闭交互模式，关闭交互模式时使用 mget 等不会提示 */
10、mget .(下载)
/* 将 FTP服务器默认目录中的所有文件下载到当前目录下（d:\test) */
11、bye
/*退出 FTP服务器 */
进入cmd
1.ftp 10.143.2.190
2.输入账户：huawei 密码：Hwbd@203
3.lcd “d:\lizihao”
4.pwd可以看到路径
5.bin
6.prompt
7.mget properties.*
mount -o loop file.iso /mnt/cdrom 挂载一个文件或ISO镜像文件
kafka-console-consumer.sh --topic test_001_out --bootstrap-server 10.143.84.28:21007 -new-consumer.config /opt/hadoopclient/kafka/kafka/config/consumer.properties
sudo badblocks -v /dev/<data05的磁盘设备> --检查坏块
------------------------------#Linux分区命令#--------------------------------------
fdisk和mkfs，mkswap命令的参数解释
fdisk命令详解：
m：获取帮助
n：新建分区
p：显示分区表
d：删除分区
b：设置卷标
w：写入分区表
t：改变分区文件系统类型
v：检验分区
l：显示fdisk所支持的文件系统代码
q：退出
lsblk是用来查看block设备的信息。
fdisk -l 查看硬盘
格式话硬盘
mkfs -t ext3/dev/sdb
挂载硬盘
mount /dev/sdb/要挂载地址
硬盘分区：
fdisk /dev/hdb
输入n回车新建分区，接着再输入p回车新建主分区
此处要求选择分区号在1-4间，输入1回车
First cylinder (1-20805, default 1):这里是设置分区起始的柱面，直接回车选择默认即可;
Last cylinder or +size or +sizeM or +sizeK (1-20805, default 20805):此处是设置分区结束柱面，+3G表示从起始柱面开始向后3G结束，也是是设置分区大小为3G，输入+3G后回车;
此处可输入p查看分区是否成功，输入p回车，如下图：显示分区成功;
接下来我们就划分扩展分区，按n回车
这里输入e，表示创建扩展分区，输入e回车
输入分区号2回车
此处直接按回车键，表示选择默认
此处也是直接回车选择默认，表示将划分第一个主分区后的磁盘全部划分个这个逻辑分区
此处可在此输入命令p查看当前分区状态，如下图
此处就开始划分扩展分区hdb2下的逻辑分区吧！接着上图，输入命令n回车
此处输入l表示选择创建逻辑分区，输入l回车
此处直接使用回车，表示选择默认
此处输入+2G，表示划分分区大小为2G，输入+2G回车
此处要按计划再划分出两个逻辑空间，输入n回车，然后输入l回车选择逻辑分区，然后直接回车选择默认起始柱面，输入+2G回车设置分区大小
下面就要将扩展分区的磁盘大小全部分给最后一个逻辑分区，输入n回车，然后输入l选择逻辑分区，然后直接回车选择默认起始柱面，最后不设置磁盘大小直接回车
再次输入p查看当前分区状态
划分的空间与我们计划划分相同，最后输入w回车，进行保存退出。
再次使用fdisk -l命令就可以查看到磁盘hdb已经分区成功。
1、用命令 mkfs -t ext3 /dev/hdb1 格式化
parted -l 查看有没有格式化
2、fdisk /dev/sdb —进行分区
先输入 n 在输入p 在输入1 再回车 在输入+50G 在输入w 分区完成
mount /dev/sdb/要挂载地址
lsblk 查询
partprobe 分区认证类似 source
vi /etc/fstab – 挂载路径
umount /dev/sdb1 摘下磁盘取消挂载
diff a.txt b.txt (两个文件做对比)
vi /etc/fstab (设置自动挂载)
Linux对逻辑卷的创建与管理
linux 逻辑卷创建、增加与减少
创建逻辑卷：
1、创建物理卷
pvcreate /dev/sda3 /dev/sdb3
pvdisplay显示已建的物理卷
2、创建卷组
vgcreate vg0(卷组名) /dev/sda3 /dev/sdb3
vgdisplay
3、创建逻辑卷
lvcreate -L 600M(卷的大小) -n lv0(卷名) vg0
lvdisplay
4、建立挂载
mkdir /mnt/vg0/lv0
vi /etc/fstab
/dev/vg0/lv0 /mnt/vg0/lv0 ext3 defaulte
5、文件格式化
mkfs.ext3 /dev/vg0/lv0
扩展逻辑卷大小
lvextend -L 1G(扩展到1G) /dev/vg0/lv0
resize2fs /dev/vg0/lv0 文件系统同步
缩减逻辑卷大小
umount
e2fsck -f /dev/vg0/lv0
resize2fs /dev/vg0/lv0 800M(缩减到800M)
lvreduce -L 800M /dev/vg0/lv0
mount
将新硬盘加入逻辑卷
1、建立物理卷
2、扩展至卷组
vgextend vg0 /dev/sda10
撤出硬盘
pvmove vg0 /dev/sda10
vgreduce vg0 /dev/sda10
hadoop命令大全：
hadoop fs -count -q -h hdfs://yjd-dn-55-116.meizu.mz/tmp/* – 查看hadoop 中目录大小
hdfs dfsadmin -safemode enter 进入安全模式
hdfs dfsadmin -sfaemode leave 离开安全模式
hdfs dfs -setrep -w 副本数 -R path 设置文件的副本数
hdfs dfs -chgrp group path 改变文件所属组
hdfs dfs -chgrp -R /dir 递归更改dir目录的所属组
hdfs dfs -chmod [-R] 权限 -path 改变文件的权限
hdfs dfs -chown owner[-group] /dir 改变文件的所有者
hdfs dfs -chown -R owner[-group] /dir 递归更改dir目录的所属用户
hdfs-daemon.sh start datanode 单独启动datanode
hadoop job –kill [jobId]
hdfs fsck -delete 删除受损文件。
hdfs fsck -locations 打印出每个块的位置信息。
hdfs fsck -racks 打印出data-node的网络拓扑结构。
hdfs fsck -move 移动受损文件到/lost+found
yarn application -list --列出所有Application
yarn application -list -appStates FINISHED 根据Application状态过滤：yarn application -list -appStates （所有状态：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED）
yarn application -kill application_1612577921195_0001 Kill掉Application：
yarn logs -applicationId application_1612577921195_0001 查询Application日志：yarn logs -applicationId
yarn logs -applicationId application_1612577921195_0001 -containerId container_1612577921195_0001_01_000001 查询Container日志：yarn logs -applicationId -containerId
yarn applicationattempt -list application_1612577921195_0001 列出所有Application尝试的列表：yarn applicationattempt -list
yarn container -list appattempt_1612577921195_0001_000001
列出所有节点：yarn node -list -all
加载队列配置：yarn rmadmin -refreshQueues
yarn queue -status
动态分区开启，默认为true
hive.exec.dynamic.partition=true
1
设置为非严格模式（动态分区的模式，默认 strict，表示必须指定至少一个分区为静态分区， nonstrict 模式表示允许所有的分区字段都可以使用动态分区。 ）
hive.exec.dynamic.partition.mode=nonstrict
1
在所有MR节点上创建最多多少动态分区
hive.exec.max.dynamic.partitions=1000
1
在每个执行 MR 的节点上，最大可以创建多少个动态分区
hive.exec.max.dynamic.partitions.pernode=100
1
整个 MR Job 中，最大可以创建多少个 HDFS 文件。默认 100000
hive.exec.max.created.files=100000
1
当有空分区生成时，是否抛出异常。一般不需要设置。默认 false
hive.error.on.empty.partition=false
set path data [version]
create /zk_context 123
hadoop fs -ls output #查看output目录内容
------------------------------------------压缩解压缩-------------------------------------------
bunzip2 file1.bz2 解压一个叫做 'file1.bz2’的文件
bzip2 file1 压缩一个叫做 ‘file1’ 的文件
gunzip file1.gz 解压一个叫做 'file1.gz’的文件
gzip file1 压缩一个叫做 'file1’的文件
gzip -9 file1 最大程度压缩
rar a file1.rar test_file 创建一个叫做 ‘file1.rar’ 的包
rar a file1.rar file1 file2 dir1 同时压缩 ‘file1’, ‘file2’ 以及目录 ‘dir1’
rar x file1.rar 解压rar包
unrar x file1.rar 解压rar包
tar -cvf archive.tar file1 创建一个非压缩的 tarball
tar -cvf archive.tar file1 file2 dir1 创建一个包含了 ‘file1’, ‘file2’ 以及 'dir1’的档案文件
tar -tf archive.tar 显示一个包中的内容
tar -xvf archive.tar 释放一个包
tar -xvf archive.tar -C /tmp 将压缩包释放到 /tmp目录下
tar -cvfj archive.tar.bz2 dir1 创建一个bzip2格式的压缩包
tar -xvfj archive.tar.bz2 解压一个bzip2格式的压缩包
tar -cvfz archive.tar.gz dir1 创建一个gzip格式的压缩包
tar -xvfz archive.tar.gz 解压一个gzip格式的压缩包
zip file1.zip file1 创建一个zip格式的压缩包
zip -r file1.zip file1 file2 dir1 将几个文件和目录同时压缩成一个zip格式的压缩包
unzip file1.zip 解压一个zip格式压缩包
----------------------------------------字符设置和文件格式换-------------------------------
dos2unix filedos.txt fileunix.txt 将一个文本文件的格式从MSDOS转换成UNIX
unix2dos fileunix.txt filedos.txt 将一个文本文件的格式从UNIX转换成MSDOS
recode -l | more 显示所有允许的转换格式
--------------------------------------------文件系统分析-------------------------------------
badblocks -v /dev/hda1 检查磁盘hda1上的坏磁块
fsck /dev/hda1 修复/检查hda1磁盘上linux文件系统的完整性
fsck.ext2 /dev/hda1 修复/检查hda1磁盘上ext2文件系统的完整性
e2fsck /dev/hda1 修复/检查hda1磁盘上ext2文件系统的完整性
e2fsck -j /dev/hda1 修复/检查hda1磁盘上ext3文件系统的完整性
fsck.ext3 /dev/hda1 修复/检查hda1磁盘上ext3文件系统的完整性
fsck.vfat /dev/hda1 修复/检查hda1磁盘上fat文件系统的完整性
fsck.msdos /dev/hda1 修复/检查hda1磁盘上dos文件系统的完整性
dosfsck /dev/hda1 修复/检查hda1磁盘上dos文件系统的完整性
------------------------------------------------表格对比函数------------------------------------------
=VLOOKUP(…)
-------------------------本地传包--------------------------------------------------------------------
要在本地启动HTTP服务并使用Linux的wget命令下载压缩包，你可以按照以下步骤进行操作：
在本地上选择一个文件夹，将你要下载的压缩包放在该文件夹中。
打开命令提示符或终端窗口。
进入到包含压缩包的文件夹中。例如，如果压缩包位于/home/user/downloads文件夹中，你可以使用cd /home/user/downloads命令进入该文件夹。
在命令提示符或终端窗口中使用以下命令，启动一个本地HTTP服务：
如果你使用Python 3.x版本，可以使用以下命令：
python3 -m http.server
如果你使用Python 2.x版本，可以使用以下命令：
python -m SimpleHTTPServer
这将会启动一个HTTP服务器，默认监听在本地的8000端口。
在Linux系统中的另一个终端窗口，使用wget命令下载压缩包。例如，如果你的本地HTTP服务运行在默认的8000端口上，并且压缩包名为example.zip，你可以使用以下命令来下载压缩包：
wget http://localhost:8000/example.zip
这将会从你本地启动的HTTP服务上下载压缩包。
请注意，上述命令中的端口号8000仅做示例使用，你可以根据你启动的本地HTTP服务实际监听的端口进行调整。另外，确认本地HTTP服务和wget命令均已正确安装和配置。
97
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
