常用命令记录

1. 统计当前文件夹下文件的个数

复制代码代码如下:

ls -l |grep “^-”|wc -l
2) 统计当前文件夹下目录的个数

复制代码代码如下:

ls -l |grep “^d”|wc -l

3. 统计当前文件夹下文件的个数，包括子文件夹里的
   复制代码代码如下:

ls -lR|grep “^-”|wc -l

4. 统计文件夹下目录的个数，包括子文件夹里的
   复制代码代码如下:

ls -lR|grep “^d”|wc -l

DOCKER启动ES服务

systemctl start docker

docker restart esearch

登录服务器 -o StrictHostKeyChecking=no

Exception data creation failed 内置表失败

CPU 核数

cat /proc/cpuinfo |grep processor|wc -l

防火墙

（1）查看防火墙的状态：sudo systemctl status firewalld

（2）关闭防火墙：sudo systemctl stop firewalld

（3）打开防火墙：sudo systemctl start firewalld

备份MYSQL数据库

mysqldump -uxxx -pxxx -h10.5.109.215 cw_bdp1 > /opt/app/sqlbackup/cw_bdp1.sql-20200914

还原

mysql -uxxx -pxxx -h10.5.109.215 < /opt/app/sqlbackup/cw_bdp1.sql-20200914

访问rubin框架的clickhouse

./clickhouse -client -h ip

安装JDK

https://blog.csdn.net/weixin_44538107/article/details/88683530

alternatives --install /usr/bin/java java /data/app/jdk1.8/bin/java 2

alternatives --config java

alternatives --install /usr/bin/jar jar /data/app/jdk1.8/bin/jar 2

alternatives --install /usr/bin/javac javac /data/app/jdk1.8/bin/javac 2

alternatives --set jar /data/app/jdk1.8/bin/jar

alternatives --set javac /data/app/jdk1.8/bin/javac

export JAVA_HOME=/data/app/jdk1.8.0

export JRE_HOME=/data/app/jdk1.8.0/jre

export PATH=$PATH:/data/app/jdk1.8.0/bin

export JAVA_HOME=/opt/jdk1.8.0_152

export JRE_HOME=/opt/jdk1.8.0_152/jre

export PATH=$PATH:/opt/jdk1.8.0_152/bin:/opt/jdk1.8.0_152/jre/bin

安装scp命令

在测试中需要在两台虚拟机之间传递文件，首先想到的是scp命令，结果提示：

-bash: scp: command not found

想当然用yum install scp命令安装，结果提示：

No package scp available.

后来发现scp这东西应该属于openssh-clients这个包，运行：

yum install openssh-clients

再运行scp就可以了，再次运行：

scp 1.so root@192.168.0.182:/root/

输入密码后又再次提示：

bash: scp: command not found

在目标主机也同样安装一下openssh-clients，再次尝试，问题解决。

内存不足时可以选择清理缓存

https://www.cnblogs.com/minn/p/9030764.html

每个Linux系统都有三个选项可以在不中断任何进程或服务的情况下清除缓存。

1 只清除页面缓存（pagecache）

# sync; echo 1 > /proc/sys/vm/drop_caches

2 清除目录项和inode

# sync; echo 2 > /proc/sys/vm/drop_caches

3 清除页面缓存、目录项和i节点

# sync; echo 3 > /proc/sys/vm/drop_caches 

GC 日志详解

https://www.cnblogs.com/qlqwjy/p/7929414.html

https://zhangxueliang.blog.csdn.net/article/details/104007445

Linux 环境复制配置文件 保留格式

set nu!

set paste

查看系统配置

https://www.cnblogs.com/alwu007/p/6024631.html

https://www.cnblogs.com/xuchunlin/p/5671572.html

lscpu：显示cpu架构信息

cat /proc/cpuinfo：查看CPU详细信息

# 查看物理CPU个数
cat /proc/cpuinfo | grep "physical id" | sort | uniq

# 查看每个物理CPU中core的个数(即核数)
cat /proc/cpuinfo | grep "cpu cores" | uniq

# 查看每个物理CPU中线程的个数
cat /proc/cpuinfo | grep "siblings" | uniq

# 查看逻辑CPU的个数
cat /proc/cpuinfo| grep "processor"

# 查看CPU型号
cat /proc/cpuinfo | grep "model name" | uniq

lsblk：blk是block的缩写。列出块设备

head -n 1 /etc/issue

文件损坏 无法打开

https://www.macdo.cn/925.html

sudo spctl --master-disable

删除topic 里的数据

https://blog.csdn.net/u011500419/article/details/95984766

查看当前机器的用户列表

cat /etc/passwd

kill进程

kill -9 PID

ps -ef 可以查看主机所有运行的进程 ps -ef | grep 过滤条件

重新启动服务器

Cd /data/app/cje

./startup.sh start-agent

查找mac地址

\1. 用hostname查看本机的主机名

\2. ping主机名，获取ip地址。如果无法ping通，可以在hosts文件中进行配置

\3. 查看⽹卡地址列表,找到上⾯的ip地址对应的⽹卡，取 link/ether 后⾯的⽹卡MAC地址

arp -a

https://www.jianshu.com/p/b4102e3e3e96

字符“baiC”允许在日期域和星期du域出现。

这个字符依靠一个指定的“日历”。zhi

也就是说这个表达式dao的值依赖于相关的“日历”的计算结果，如果没有“日历”关联，则等价于所有包含的“日历”。

如：日期域是“5C”表示关联“日历”中第一天，或者这个月开始的第一天的后5天。星期域是“1C”表示关联“日历”中第一天，或者星期的第一天的后1天，也就是周日的后一天（周一）。

修改系统时间

date -s ‘2020-07-17 15:34355’

重启ck

远程拷贝文件

scp

scp -P36000 root@10.0.6.40:/data/tools/apache-tomcat-8.5.54.tar.gz /data/tools

scp /data/tools/jdk1.8.0_152.tar.gz root@10.0.6.72:/data/tools

https://www.cnblogs.com/gaf617/p/5607054.html

    scp  root@ip:/root/XXX.tar.gz xxx.tar.gz
eg: scp root@远程服务器ip地址:/root/xxx.zip(服务器目录) /Users/gaoaifei/xxx.zip(本地存储目录)---在本地端口执行操作

启动MySQL

systemctl start mysqld.service

systemctl stop mysqld.service

systemctl restart mysqld.service

连接数据库：

mysql -uRootmaster -pRootmaster@777

查找文件

Locate 文件名

启动Redis

./redis-service --port 当前Redis的端口号

停止

./redis-cli 或者Kill -9 当前Redis的PID

启动NGINX

./nginx

停止 ./nginx -s stop

netstat

查看数量

wc

安装JDK

1）将安装文件拷贝到185 /data目录

2）解压（jdk-8u66-linux-x64.tar.gz）： tar -zxvf jdk-8u66-linux-x64.tar.gz 解压后文件存在此目录：jdk1.8.0_66

3）root用户修改配置文件 sudo vi /etc/profile 将以下内容粘贴到profile里

export JAVA_HOME=/data/tools/jdk1.8.0_152 #（安装的绝对路径）

export PATH=$JAV{A}_{H}OME/bin:$PATH

export CLASSPATH=.:$JAV{A}_{H}OME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

4）再执行source /etc/profile

5）再执行 java -version 查看环境变量，出现以下界面则正常

kafka相关

指定partition 创建topic

bin/kafka-topics.sh --create --zookeeper 10.0.6.84:18095 --replication-factor 1 --partitions 1 --topic onePartition

bin/kafka-topics.sh --create --zookeeper 10.0.2.143:18095 --replication-factor 1 --partitions 1 --topic onePartition01

删除topic

./kafka-topics.sh --zookeeper node3:2181,node4:2181,node5:2181 --delete --topic kfk

./kafka-topics.sh --zookeeper 10.0.7.206:2181 --delete --topic testDelete

查看是否有这个topic

bin/kafka-topics.sh --list --zookeeper 10.0.6.85:2181,10.0.6.86:2181
bin/kafka-topics.sh --list --zookeeper 10.0.7.219:2181
bin/kafka-topics.sh --list --zookeeper 10.0.7.206:2181
bin/kafka-topics.sh --list --zookeeper 10.0.7.212:2181

查看卡夫卡数据

bin/kafka-console-consumer.sh --bootstrap-server 10.0.2.144:18108,10.0.2.145:18108 --topic outTopn

bin/kafka-console-consumer.sh --bootstrap-server 10.0.6.85:18108,10.0.6.86:18108 --topic outSqlTopic

./kafka-console-consumer.sh --bootstrap-server 10.0.7.204:18108 --topic outKafka >> outKafkatopic.txt

./kafka-console-consumer.sh --bootstrap-server 10.0.6.194:9092 --topic 283f1ac26d0547b5b15f9a561db253ac --from-beginning

发送数据

bin/kafka-console-producer.sh --broker-list 10.0.10.99:9092,10.0.3.99:9092 --topic insterTable

bin/kafka-console-producer.sh --broker-list 10.1.2.127:18108 --topic testpipeline

bin/kafka-console-producer.sh --broker-list 10.2.2.73:9092 --topic yangyanginster

bin/kafka-console-producer.sh --broker-list 10.0.7.241:9092,10.0.7.242:9092 --topic noSaveKafka

bin/kafka-console-producer.sh --broker-list 10.0.7.228:9092 --topic testkafka

bin/kafka-console-producer.sh --broker-list 10.0.6.60:9092 --topic testclickhouse

bin/kafka-console-producer.sh --broker-list 10.221.41.86:9092,10.221.41.87:9092 --topic testmelissa001

bin/kafka-console-producer.sh --broker-list 10.0.6.100:9092 --topic testNewPipeline

bin/kafka-console-producer.sh --broker-list 10.0.6.85:9092,10.0.6.86:9092 --topic creadKafka

bin/kafka-console-producer.sh --broker-list 10.21.33.109:9092,10.21.33.110:9092,10.21.33.111:9092 --topic newTopic

bin/kafka-console-producer.sh --broker-list 10.0.10.203:9092,10.0.10.204:9092,10.0.10.205:9092 --topic testkafkapipeline

使用topic发送数据 出现错误信息

查询数据表的压缩比

SELECT formatReadableSize(any(tableSizeDto)) as tableSize, any(compressionRatioDto) as compressionRatio FROM (SELECT sum(data_compressed_bytes) as tableSizeDto,if(sum(data_compressed_bytes)==0,0,sum(data_compressed_bytes)*100/sum(data_uncompressed_bytes)) as compressionRatioDto FROM system.parts_columns WHERE database = ‘wyxdb’ AND table=‘r1’ GROUP BY column)

Clouds

修改database (数据库)、table（数据表）

SELECT formatReadableSize(any(tableSizeDto)) as tableSize, any(compressionRatioDto) as compressionRatio FROM (SELECT sum(data_compressed_bytes) as tableSizeDto,if(sum(data_compressed_bytes)==0,0,sum(data_compressed_bytes)*100/sum(data_uncompressed_bytes)) as compressionRatioDto FROM system.parts_columns WHERE database = ‘domm’ AND table=‘cw_metrics_health_data’ GROUP BY column)

Promethues 清理数据 修复概览页面显示不一致

/data/appData/prometheus 目录下的数据删除

启动Prometheus

/etc/init.d

./prometheus start status stop

启停ck的命令：

service clickhouse-server start

service clickhouse-server stop

service clickhouse-server status

redis 哨兵启动方法：
三台机器全部操作完:

cd /etc/init.d/

bash redis start

然后在3台机器全部操作：

cd /etc/init.d/

bash sentinel start

redis 哨兵停止方法：

3台机器全部操作：

cd /etc/init.d/

bash sentinel stop

然后在3台机器全部操作

cd /etc/init.d/

bash redis stop