linux centos7 常用命令

一.liunx 查看日志两种场景

1.如果你希望实时监视日志文件的更新并显示最新的100行，可以使用-f选项。这样，当有新内容添加到日志文件时，tail命令会自动显示这些新内容。要实时查看日志文件的最新100行，可以运行以下命令：

tail -n 100 -f /usr/local/datax-web-2.1.2/modules/datax-admin/bin/console.out

2.查看日志文件的文件大小在5MB以内，可以使用FinalShell这个工具直接打开

另外可以  直接编辑，保存Ctrl+s就可以，不需要vim编辑文件，小白不熟悉容易保存不成功或者编写没对，（ps还可以直接看内存使用大小和挂载点 显示多少剩余）

使用ps命令：
你可以使用ps命令结合sort和head来查看内存占用最多的前几个进程：

ps aux --sort=-%mem | head -n 10

cat /proc/cpuinfo | grep "core id" | sort | uniq | wc -l
这个命令会输出CPU的核心数。

另外，也可以通过lscpu命令来查看CPU的详细信息，包括核心数。只需在终端中输入lscpu并按下回车键即可。在输出结果中，可以查找"Core(s) per socket"一项，它表示每个CPU插槽的核心数。

请注意，以上方法适用于大多数基于Linux的操作系统，包括CentOS。但是，具体的命令输出和解释可能会因不同的Linux发行版或版本而有所差异。

对于 Gunicorn，你可以使用以下命令查找其进程和日志位置：
bash
ps aux | grep gunicorn
clickhouse-client

远程拉取安装脚本
wget https://repo.anaconda.com/archive/Anaconda3-2023.07-1-Linux-x86_64.sh（14m/s)
在CentOS 7中，您可以使用以下命令来查看可用空间内存：
输入命令 free -h 并按回车键。这将显示系统的总内存、已用内存、空闲内存等信息，并且以人类可读的格式（如GB、MB）展示。
如果您想删除占用空间最大的前10个文件或目录，可以按照以下步骤操作：

打开终端。
输入命令 df -hl 并按回车键。这将列出所有挂载点的磁盘空间使用情况。
找到占用空间最大的文件系统（通常是 / 或 /home），并记下其挂载点。
使用 du 命令和 sort 命令结合来查找该挂载点下占用空间最大的前10个文件或目录。例如，如果要查找 / 下占用空间最大的前10个文件或目录，可以输入以下命令：
bash
sudo du -ah / | sort -rh | head -n 10
这将显示 / 下占用空间最大的前10个文件或目录及其大小。

根据上述命令的输出，您可以手动删除这些文件或目录来释放空间。请注意，在删除任何文件或目录之前，请务必备份重要数据，并谨慎操作。
请注意，上述命令可能需要管理员权限（使用 sudo）才能执行。另外，删除文件或目录是一个敏感操作，请谨慎操作，以免意外删除重要数据。

在CentOS 7中，杀死进程的命令有多种，常见的有kill、killall、pkill等。

kill：使用kill命令需要先查到进程的PID（进程ID），可以使用ps auxf | grep 进程名来查找。例如，要杀死名为rpcbind的进程，可以先使用ps auxf | grep rpcbind找到其PID，然后使用kill PID来杀死该进程。需要注意的是，只杀死父进程，子进程可能仍在运行并消耗资源，为了防止"僵尸进程"，应该在杀死父进程之前，先杀死其所有的子进程。
killall：该命令可以杀死一个进程组的所有进程，指定要终止的进程的名字，而不是PID。例如，要杀死所有名为httpd的进程，可以使用killall httpd。
pkill：该命令可以按照进程名杀死进程，与killall类似。例如，要杀死所有名为httpd的进程，可以使用pkill httpd。   确保在 -9 和进程ID 1253 之间没有空格。这条命令会强制终止进程ID为 1253 的进程。再次提醒，使用 SIGKILL 是一个非常强硬的手段，应该谨慎使用，因为它不给进程任何机会来清理或保存其状态。通常，最好先尝试使用不带 -9 的 kill 命令（默认发送 SIGTERM 信号），让进程有机会正常退出。如果进程没有响应 SIGTERM，再考虑使用 SIGKILL。

附:强制安装命令

rpm -ivh *.rpm --force --nodeps

 netstat -anp|grep 8123   端口占用情况
 kill -9 22215 杀掉对应端口
 journalctl -xe   查看程序启用情况
 tail 命令可用于查看文件的内容

tail notes.log # 默认显示最后 10 行

tail -n 100 notes.log #显示最后100行数据

tail -n +100 notes.log #显示从第100行开始，直到最后行的数据

tail -f 等同于--follow=descriptor，根据文件描述符进行追踪，当文件改名或被删除，追踪停止

tail -f notes.log 按下（Ctrl+C）组合键停止追踪

二.clickhouse 踩坑 和使用命令介绍

Python连接Clickhouse坑1：dbaver客户端用的8023端口号，在python得用port='9000'

在ClickHouse中，如果你想要从日期时间字段（例如ac_time）中截取到月份，你可以使用toMonth函数。toMonth函数会将日期时间字段转换为YYYYMM格式的月份。

如果你想要根据月份对数据进行分组并计数，你可以使用toMonth函数与group by子句结合。以下是一个示例查询，展示如何根据月份对数据进行分组并计数：

SELECT
    toMonth(toDateTime(ac_time)) AS ac_month,
    count(*) AS total_count
FROM
    default.ht_access_log_test_toDateTime_toUInt64_order
GROUP BY
    ac_month
ORDER BY
    ac_month;

在这个查询中：

toDateTime(ac_time)将ac_time字段从其原始的数据类型（可能是Int64表示毫秒的时间戳）转换为DateTime类型。
toMonth(toDateTime(ac_time))将转换后的DateTime类型的ac_time进一步转换为YYYYMM格式的月份。
count(*)计算每个月份的行数。
GROUP BY ac_month根据转换后的月份进行分组。
ORDER BY ac_month对结果进行排序，以确保月份是有序的。
请注意，如果你的ac_time字段已经是DateTime类型，那么你可以直接使用toMonth(ac_time)而不需要toDateTime转换。

如果你的ac_time字段是一个以字符串形式存储的日期时间，并且格式是YYYY-MM-DD HH:MM:SS，你可以使用parseDateTimeBestEffort函数来尝试解析它，然后再使用toMonth函数：

SELECT
    toMonth(parseDateTimeBestEffort(ac_time)) AS ac_month,
    count(*) AS total_count
FROM
    default.ht_access_log_test_toDateTime_toUInt64_order
GROUP BY
    ac_month
ORDER BY
    ac_month;

在这个例子中，parseDateTimeBestEffort会尝试以多种格式解析ac_time字段，并返回解析成功的DateTime值。然后，toMonth函数将解析后的日期时间转换为月份。

坑2  在dataease2.3.0中国开源可视化工具中  clickhouse作为数据源，数据集字段 DateTime类型 在在dataease2.3.0版本默认转化为timestamp ，需要强制转换为date类型​​​​​​附录：

在CentOS 7中，常用的打包和解压缩命令是tar。以下是一些常用的tar命令示例：

打包：

bashtr -cvf archive_name.tar /path/to/directory

解压缩：

bashtar -xvf archive_name.tar

打包并压缩（gzip）：

bashtar -czvf archive_name.tar.gz /path/to/directory

解压缩gzip文件：

bashtar -xzvf archive_name.tar.gz

打包并压缩（bzip2）：

bashtar -cjvf archive_name.tar.bz2 /path/to/directory

解压缩bzip2文件：

bashtar -xjvf archive_name.tar.bz2

在这些命令中：

• -c 代表创建新的压缩文件。
• -x 代表解压缩文件。
• -v 代表在创建或解压时显示详细信息。
• -f 指定压缩文件的名称。
• -z 用于gzip压缩。
• -j 用于bzip2压缩。

请根据需要选择合适的压缩格式。