- 博客(426)
- 资源 (8)
- 收藏
- 关注
RSS订阅
原创 Linux常用命令大全（非常全面）
目录一、进程管理二、系统信息三、关机 (系统的关机、重启以及登出 )四、文件和目录五、文件搜索六、挂载一个文件系统七、磁盘空间八、系统负载 -- top九、用户和群组十、文件的权限 - 使用 "+" 设置权限，使用 "-" 用于取消十一、文件的特殊属性 - 使用 "+" 设置权限，使用 "-" 用于取消十二、打包和压缩文件十三、OS包管理器①、RPM 包 - （Fedora, Redhat及类似系统）②、YUM 软件包升级.........
2019-03-06 17:38:16
230150
14
原创 Linux常用命令实践
1.scp 文件迁移Remote Server-->Local filescp -p port user@remoteserverip:/home/user/filename /home/user/filename各部分含义：p 为端口参数；port为具体端口号；user 为ssh user；remoteserverip为远程服务器ip或者...
2013-12-25 14:46:55
923
原创 Cannot resolve plugin org.apache.maven.plugins:maven-site-plugin:3.1.0
优先补充 Maven 中央仓库和插件仓库配置；显式指定的稳定版本（如 3.12.1）；清理缓存并重新加载 Maven 项目；检查网络/代理，确保仓库可访问；验证 Flink 与 Scala 版本兼容性。完成以上步骤后，再次执行即可正常编译打包 Scala 版本的 Flink 项目。
2025-09-07 14:05:46
1310
原创 Flink TaskManager日志时间与实际时间有偏差
大部分的日志时间偏差问题源于系统/容器时区错误，优先校准服务器或容器的时间和时区；若系统时间正确，再检查 Flink 日志配置是否强制指定了 UTC 时区，按上述步骤修改即可解决。
2025-09-07 14:01:05
844
原创 Flink Slot 不足导致任务Pending修复方案
/</</</</</</</</如图，提交23个 FlinkSQL任务（flink-cdc -> hudi-ods），由于slot数量不够，将导致12个任务之外的剩余任务处于pending的状态（黑紫任务）。从报错来看，核心问题是，导致8个任务因无法分配Slot而处于Pending状态，最终触发超时（300秒后仍未获取到资源）。解决思路围绕“”和“
2025-08-24 22:21:55
1295
原创 Flink SQL执行SQL错误排查
该错误的核心是“Flink客户端找不到可连接的JobManager”，通过启动Flink集群（YARN Session或Per-Job）并确保客户端连接地址正确，即可解决。优先选择方式2（），无需手动管理端口，适配YARN动态分配的特性。
2025-08-24 17:26:12
832
原创 Flink session cluster与Flink per-job cluster区别
特性集群生命周期独立于作业，长期运行与单个作业绑定，作业结束即销毁作业数量多个作业共享集群一个集群只运行一个作业资源管理预先分配，共享资源池动态分配，资源独占启动开销无（集群已预先启动）有（需创建新集群）隔离性差（作业共享资源）好（资源独占）适用场景短期、小批量、快速响应的作业长期、大规模、高隔离性的作业选择哪种模式需根据作业特性、资源需求和稳定性要求决定。生产环境中，Per-Job Cluster 因隔离性好更常用于核心任务；
2025-08-24 17:16:01
945
原创 Hive Metastore和Hiveserver2启停脚本
本文介绍了一个Hive服务管理Shell脚本，用于控制HiveMetastore和HiveServer2服务的启停。脚本包含四大功能：检查进程状态、启动服务、停止服务和重启服务。通过定义check_process函数，使用进程名和端口双重验证服务状态；hive_start和hive_stop函数分别处理服务的启动和停止；主程序通过case语句响应不同命令参数。脚本自动创建日志目录，记录服务输出，并提供了友好的使用提示。该脚本实现了Hive服务的规范化管理，简化了运维操作，提高了服务管理的可靠性。
2025-08-23 23:02:37
630
原创 Python3 中使用zipfile进行文件（夹）的压缩、解压缩
Python zipfile模块摘要 zipfile是Python标准库中处理ZIP压缩文件的模块，提供创建、读取、写入和解压功能。核心类ZipFile支持多种操作模式(r读取/w创建/a追加)和压缩算法(ZIP_DEFLATED常用压缩)。 主要功能包括： 读取ZIP文件：查看文件列表(namelist)和详细信息(infolist) 解压操作：extractall()解压全部或extract()解压单个文件 压缩文件：支持单个文件/文件夹(含子目录)压缩，通过arcname控制路径结构 追加文件：使用'
2025-08-03 19:15:47
1508
原创 Doris catalog操作
Doris Catalog简介与常用命令摘要 Doris Catalog是Apache Doris的核心元数据管理组件，提供数据组织、元数据管理、查询优化、权限控制和数据血缘等功能。分为内置Internal Catalog和可创建的External Catalog两类，支持Hive、Elasticsearch、JDBC等多种数据源，实现多源数据联邦查询。常用操作命令包括创建（CREATE CATALOG）、删除（DROP）、查看所有Catalog（SHOW catalogs）和查看创建语句（SHOW CRE
2025-06-13 11:53:51
1226
原创 Doris与DS结合实现MySQL侧的Upsert功能
本文介绍了如何使用DolphinScheduler实现从Doris查询联合主键并自动删除MySQL对应记录的工作流方案。方案包含三个核心任务：SQL任务查询Doris联合主键（采用GROUP_CONCAT处理结果）、Shell任务解析主键生成MySQL删除语句、SQL任务执行删除操作。重点说明了Doris查询语法优化、变量传递机制以及任务间的依赖关系，同时提供了字符集兼容、NULL值处理等注意事项，并建议大数据量时分批处理。该方案通过参数传递实现跨数据库自动化操作，最后强调需注意变量长度限制和事务安全问题。
2025-06-12 20:20:55
1201
原创 查询Doris版本
摘要：通过MySQL客户端连接Doris数据库后，执行show variables like '%version_comment%'命令查询数据库版本信息。结果显示当前Doris版本为dor-2.0.4-rc06-003a815b63，查询耗时0.04秒完成。该命令有效验证了数据库连接状态并获取了准确的版本标识信息。
2025-06-10 22:48:00
596
原创 Mininconda3安装&使用
Anaconda和Miniconda是Python的两个流行发行版：Anaconda预装了大量科学计算库，适合数据分析和机器学习；Miniconda则是精简版，仅包含conda包管理器和Python环境，体积更小启动更快。两者都能通过conda管理包和环境，用户可根据需求选择。安装后可创建独立虚拟环境避免冲突。常用组合包括与PyCharm/VSCode、MySQL等工具搭配使用。安装后需验证环境变量配置，通过"conda --version"检查版本。虚拟环境创建命令为"con
2025-06-02 12:49:29
4553
原创 Celery简介
摘要：异步任务队列是一种高效处理耗时操作的机制，通过将任务放入队列由后台异步执行，避免阻塞主线程。Celery是一个Python分布式异步任务队列框架，专注于实时处理和定时任务，核心由消息中间件(Broker)、工作单元(Worker)和结果存储(Result)组成。它适用于短信发送、数据处理等异步任务，支持多种消息中间件和数据格式，具有并发处理、任务调度、错误重试等功能，能显著提升系统性能和扩展性。
2025-05-30 14:15:00
819
1
原创 Oracle中的select1条、几条、指定范围的语句
在Oracle中，选择单条、多条或指定范围的记录有多种方法。对于单条记录，可以使用ROWNUM = 1来限制结果；查询前N条记录时，ROWNUM结合排序是常见做法。对于分页查询，Oracle 12c之前可以使用ROW_NUMBER()窗口函数，而Oracle 12c及更高版本则简化了语法，支持OFFSET-FETCH子句。需要注意的是，分页查询必须配合ORDER BY以确保结果顺序稳定，且不同方法在性能上有所差异，ROWNUM适合简单查询，ROW_NUMBER()和OFFSET-FETCH更适合复杂分页。
2025-05-14 09:50:37
1035
原创 vim中的查找
在 Vim 中，查找和导航文本时，n 键用于正向查找下一个匹配项，而 N 键则用于反向查找上一个匹配项。此外，使用 ? 命令可以反向搜索，后续按 n 会继续反向查找。结合 Ctrl + O 和 Ctrl + I 可以快速跳转到之前或之后的位置。通过配置 hlsearch 和 incsearch，可以使查找结果高亮显示，提升查找效率。熟练掌握这些快捷键和技巧，可以显著提高在 Vim 中的文本导航和查找效率。
2025-05-12 18:12:52
1638
原创 Git 基础操作系列2: 本地项目上传至git仓库(gitee / gitlab / github)
错误时，这通常表示我们在使用 SSH 协议连接到 Gitee 仓库时，由于公钥验证失败而无法获得访问权限。通过以上步骤，应该能够解决 SSH 公钥验证失败的问题，并成功推送代码到 Gitee 仓库。如果想把代码推送到一个新的远程分支，需先在本地创建并切换到该分支。在Gitee上新建一个仓库，然后在本地仓库中关联该远程仓库。按上述步骤操作，就能把本地代码推送到Gitee上的新建远程分支了。把本地代码添加到暂存区，接着提交到本地仓库。远程仓库，也可以使用其他名称来添加远程仓库，例如。
2025-05-08 09:26:22
3221
2
转载 Celery入门教程
1.Celery架构Celery架构基于可插拔组件（pluggable components）和根据选择的消息传输（代理）(message transport(broker))协议实现的消息交换机制。
2025-05-06 22:15:53
244
1
原创 MinIO中mc工具的安装、配置、简单使用
mc是 MinIO 官方提供的命令行工具，可用于管理 MinIO 服务。下面介绍一下不同操作系统下安装mc工具的方法。
2025-04-29 18:30:38
5127
原创 使用Xshell中自带的传输新建文件功能实现上传下载文件
可以看到，sftp工具提供了丰富的命令，涉及远程目录跳转、本地目录浏览、跳转本地目录、直接呼出文件夹、远程进行文件重命名等操作。我们不用下载，直接点击“取消”，在弹出的如下sftp操作页中也能完成文件的上传、下载操作。的情况下，快速的实现Windows2Linux的文件上传和下载操作。让看一看sftp都提供了哪些命令？
2025-04-26 22:02:16
593
原创 docker容器监控&自动恢复
方式2：找到（根据正则表达式）所有待监控的docker容器，"docker ps -a"匹配出所有需要监控的容器列表，"docker ps"匹配出当前存活的容器列表，差集即为有问题需要重启的容器。方式1：找到（根据正则表达式）所有待监控的docker容器，此处筛选逻辑根据docker运行状态找到已停止（Exit）类型的容器。配置crontab调度。
2025-04-24 11:59:28
422
原创 docker harbor私有仓库登录报错
通过报错信息可知，Docker 无法验证 Harbor 私有仓库所使用的 SSL 证书，这是因为该证书的颁发机构不被 Docker 信任。
2025-04-17 19:51:30
787
原创 DolphinScheduler中shell安装脚本说明
DolphinScheduler中有很多经典的Linux shell用法，掌握好了，可以快速提升自己的shell编写能力，如下为对其安装包下的 scp-hosts.sh 脚本的具体解读。DS版本：3.1.4$1$2。
2025-03-24 22:51:24
1031
原创 VMware上对CentOS7虚拟机进行磁盘扩容、缩容
通过以上步骤，可以在不影响原先部署软件正常使用的情况下，对CentOS 7虚拟机的磁盘空间进行扩容。VMware Workstation 17中快照文件默认存放在虚拟机文件所在的目录下。使用 fdisk命令完成指定分区：/dev/sda4 的删除，以完成缩容的目的。记录下当前磁盘的分区情况，一般虚拟机的磁盘设备名称为/dev/sda。代表虚拟磁盘的差异文件，记录了当前虚拟磁盘状态与上一个快照之间的差异；是一个锁文件，下面为详细介绍它的作用及相关情况。记住当前磁盘的分区情况，以便后续操作。
2025-03-23 18:36:34
1767
1
原创 docker-compose简介 & 常用命令
Docker Compose允许用户通过一个YAML文件来配置应用程序的多个服务及其依赖关系、网络设置、卷挂载等。然后，使用一条命令就可以启动、停止或重新部署整个应用程序堆栈，大大简化了多容器应用的管理过程。这三个串行步骤的逻辑是：先使用根据最新代码和配置构建并启动所有服务；接着用确认服务是否成功启动以及容器的运行状态；最后通过查看最近的日志信息并实时跟踪，以便及时发现和解决可能出现的问题。
2025-03-23 17:59:58
1206
原创 VMWare中移除主磁盘外的其他磁盘
在vmware中新加了一块磁盘/dev/sdb, 指定大小为50G， 格式化磁盘为ext4格式，并挂载到/mnt/newdisk下，且使用lvm将其指定其为根分区，之后不再使用。想要删除 LVM 配置以及移除/dev/sdb。
2025-03-23 16:41:21
980
原创 VMWare虚拟机磁盘扩容
虚拟机主机名为cdh101，系统为CentOS Linux release 7.6.1810 (Core) ，VMWare版本17.6。初始化OS时，只设置了20G的磁盘空间。随着软件的越赚越多，数据体量越来越大。空间越来越捉襟见肘。因为需要给现有磁盘进行扩容。目标：将当前根目录（/），再增加50G空间。注意：格式化逻辑卷这一步转成xfs为了给当前根目录（）增加 50G 空间，我们可以借助 VMware 为虚拟机添加新磁盘，再利用 LVM（逻辑卷管理器）来管理和扩展根分区。
2025-03-23 16:29:22
722
转载 虚拟机vmware centos7 扩展磁盘空间
原文链接：https://blog.csdn.net/chengyuqiang/article/details/59491942。
2025-03-16 22:19:00
249
原创 ERROR: Failed to build installable wheels for some pyproject.toml based projects
当使用pip安装happybase时出现错误，通常意味着在构建thriftpy2这个依赖包的可安装wheel文件时遇到了问题。
2025-03-13 10:19:37
3929
原创 Python包管理工具pip简介
pip是 Python 的包管理工具，它提供了一种简单而高效的方式来安装、升级和卸载 Python 包，在 Python 开发中扮演着至关重要的角色。
2025-03-13 09:41:35
1004
原创 使用Dockerfile构建一个Docker镜像
本实验验证使用 Dockerfile 文件来构建一个 Docker 镜像，并且使用该镜像构建一个docker容器实例来运行一个Python Flask demo。
2025-03-12 23:50:00
839
原创 k8s启动时calico-kube-controllers与coredns组件一直是pending状态
症状：当执行发现和coredns一直处于Pending状态时，通常有多种可能的原因，下面为你详细分析并给出对应的解决办法。
2025-03-11 00:02:34
1972
kafka-manager-1.3.3.23.zip
2019-07-02
pip安装脚本（支持python2、python3）
2019-02-13
jdk-8u191-linux-x64.tar.zip
2019-05-15
azkaban-binary-2.5.0二进制安装包(含Web + executor + sql等全部模块)
2020-11-20
logstash-6.3.2.zip
2020-01-02
shipyard 一键部署脚本
2018-11-14
RedisWindowsAllinone.zip
2019-11-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人