- 博客(411)
- 资源 (8)
- 收藏
- 关注
RSS订阅
原创 Linux常用命令大全（非常全面）
目录一、进程管理二、系统信息三、关机 (系统的关机、重启以及登出 )四、文件和目录五、文件搜索六、挂载一个文件系统七、磁盘空间八、系统负载 -- top九、用户和群组十、文件的权限 - 使用 "+" 设置权限，使用 "-" 用于取消十一、文件的特殊属性 - 使用 "+" 设置权限，使用 "-" 用于取消十二、打包和压缩文件十三、OS包管理器①、RPM 包 - （Fedora, Redhat及类似系统）②、YUM 软件包升级.........
2019-03-06 17:38:16
221759
14
原创 Linux常用命令实践
1.scp 文件迁移Remote Server-->Local filescp -p port user@remoteserverip:/home/user/filename /home/user/filename各部分含义：p 为端口参数；port为具体端口号；user 为ssh user；remoteserverip为远程服务器ip或者...
2013-12-25 14:46:55
884
原创 Oracle中的select1条、几条、指定范围的语句
在Oracle中，选择单条、多条或指定范围的记录有多种方法。对于单条记录，可以使用ROWNUM = 1来限制结果；查询前N条记录时，ROWNUM结合排序是常见做法。对于分页查询，Oracle 12c之前可以使用ROW_NUMBER()窗口函数，而Oracle 12c及更高版本则简化了语法，支持OFFSET-FETCH子句。需要注意的是，分页查询必须配合ORDER BY以确保结果顺序稳定，且不同方法在性能上有所差异，ROWNUM适合简单查询，ROW_NUMBER()和OFFSET-FETCH更适合复杂分页。
2025-05-14 09:50:37
275
原创 vim中的查找
在 Vim 中，查找和导航文本时，n 键用于正向查找下一个匹配项，而 N 键则用于反向查找上一个匹配项。此外，使用 ? 命令可以反向搜索，后续按 n 会继续反向查找。结合 Ctrl + O 和 Ctrl + I 可以快速跳转到之前或之后的位置。通过配置 hlsearch 和 incsearch，可以使查找结果高亮显示，提升查找效率。熟练掌握这些快捷键和技巧，可以显著提高在 Vim 中的文本导航和查找效率。
2025-05-12 18:12:52
360
原创 Git 基础操作系列2: 本地项目上传至git仓库(gitee / gitlab / github)
错误时，这通常表示我们在使用 SSH 协议连接到 Gitee 仓库时，由于公钥验证失败而无法获得访问权限。通过以上步骤，应该能够解决 SSH 公钥验证失败的问题，并成功推送代码到 Gitee 仓库。如果想把代码推送到一个新的远程分支，需先在本地创建并切换到该分支。在Gitee上新建一个仓库，然后在本地仓库中关联该远程仓库。按上述步骤操作，就能把本地代码推送到Gitee上的新建远程分支了。把本地代码添加到暂存区，接着提交到本地仓库。远程仓库，也可以使用其他名称来添加远程仓库，例如。
2025-05-08 09:26:22
1149
1
转载 Celery入门教程
1.Celery架构Celery架构基于可插拔组件（pluggable components）和根据选择的消息传输（代理）(message transport(broker))协议实现的消息交换机制。
2025-05-06 22:15:53
29
1
原创 MinIO中mc工具的安装、配置、简单使用
mc是 MinIO 官方提供的命令行工具，可用于管理 MinIO 服务。下面介绍一下不同操作系统下安装mc工具的方法。
2025-04-29 18:30:38
622
原创 使用Xshell中自带的传输新建文件功能实现上传下载文件
可以看到，sftp工具提供了丰富的命令，涉及远程目录跳转、本地目录浏览、跳转本地目录、直接呼出文件夹、远程进行文件重命名等操作。我们不用下载，直接点击“取消”，在弹出的如下sftp操作页中也能完成文件的上传、下载操作。的情况下，快速的实现Windows2Linux的文件上传和下载操作。让看一看sftp都提供了哪些命令？
2025-04-26 22:02:16
326
原创 docker容器监控&自动恢复
方式2：找到（根据正则表达式）所有待监控的docker容器，"docker ps -a"匹配出所有需要监控的容器列表，"docker ps"匹配出当前存活的容器列表，差集即为有问题需要重启的容器。方式1：找到（根据正则表达式）所有待监控的docker容器，此处筛选逻辑根据docker运行状态找到已停止（Exit）类型的容器。配置crontab调度。
2025-04-24 11:59:28
354
原创 docker harbor私有仓库登录报错
通过报错信息可知，Docker 无法验证 Harbor 私有仓库所使用的 SSL 证书，这是因为该证书的颁发机构不被 Docker 信任。
2025-04-17 19:51:30
328
原创 DolphinScheduler中shell安装脚本说明
DolphinScheduler中有很多经典的Linux shell用法，掌握好了，可以快速提升自己的shell编写能力，如下为对其安装包下的 scp-hosts.sh 脚本的具体解读。DS版本：3.1.4$1$2。
2025-03-24 22:51:24
895
原创 VMware上对CentOS7虚拟机进行磁盘扩容、缩容
通过以上步骤，可以在不影响原先部署软件正常使用的情况下，对CentOS 7虚拟机的磁盘空间进行扩容。VMware Workstation 17中快照文件默认存放在虚拟机文件所在的目录下。使用 fdisk命令完成指定分区：/dev/sda4 的删除，以完成缩容的目的。记录下当前磁盘的分区情况，一般虚拟机的磁盘设备名称为/dev/sda。代表虚拟磁盘的差异文件，记录了当前虚拟磁盘状态与上一个快照之间的差异；是一个锁文件，下面为详细介绍它的作用及相关情况。记住当前磁盘的分区情况，以便后续操作。
2025-03-23 18:36:34
1167
原创 docker-compose简介 & 常用命令
Docker Compose允许用户通过一个YAML文件来配置应用程序的多个服务及其依赖关系、网络设置、卷挂载等。然后，使用一条命令就可以启动、停止或重新部署整个应用程序堆栈，大大简化了多容器应用的管理过程。这三个串行步骤的逻辑是：先使用根据最新代码和配置构建并启动所有服务；接着用确认服务是否成功启动以及容器的运行状态；最后通过查看最近的日志信息并实时跟踪，以便及时发现和解决可能出现的问题。
2025-03-23 17:59:58
816
原创 VMWare中移除主磁盘外的其他磁盘
在vmware中新加了一块磁盘/dev/sdb, 指定大小为50G， 格式化磁盘为ext4格式，并挂载到/mnt/newdisk下，且使用lvm将其指定其为根分区，之后不再使用。想要删除 LVM 配置以及移除/dev/sdb。
2025-03-23 16:41:21
351
原创 VMWare虚拟机磁盘扩容
虚拟机主机名为cdh101，系统为CentOS Linux release 7.6.1810 (Core) ，VMWare版本17.6。初始化OS时，只设置了20G的磁盘空间。随着软件的越赚越多，数据体量越来越大。空间越来越捉襟见肘。因为需要给现有磁盘进行扩容。目标：将当前根目录（/），再增加50G空间。注意：格式化逻辑卷这一步转成xfs为了给当前根目录（）增加 50G 空间，我们可以借助 VMware 为虚拟机添加新磁盘，再利用 LVM（逻辑卷管理器）来管理和扩展根分区。
2025-03-23 16:29:22
396
转载 虚拟机vmware centos7 扩展磁盘空间
原文链接：https://blog.csdn.net/chengyuqiang/article/details/59491942。
2025-03-16 22:19:00
136
原创 ERROR: Failed to build installable wheels for some pyproject.toml based projects
当使用pip安装happybase时出现错误，通常意味着在构建thriftpy2这个依赖包的可安装wheel文件时遇到了问题。
2025-03-13 10:19:37
1801
原创 Python包管理工具pip简介
pip是 Python 的包管理工具，它提供了一种简单而高效的方式来安装、升级和卸载 Python 包，在 Python 开发中扮演着至关重要的角色。
2025-03-13 09:41:35
594
原创 使用Dockerfile构建一个Docker镜像
本实验验证使用 Dockerfile 文件来构建一个 Docker 镜像，并且使用该镜像构建一个docker容器实例来运行一个Python Flask demo。
2025-03-12 23:50:00
575
原创 k8s启动时calico-kube-controllers与coredns组件一直是pending状态
症状：当执行发现和coredns一直处于Pending状态时，通常有多种可能的原因，下面为你详细分析并给出对应的解决办法。
2025-03-11 00:02:34
986
原创 Doris集群启停脚步
Apache Doris 是一个基于 MPP（大规模并行处理）架构的高性能、实时的分析型数据库。在 Doris 中，FE（Frontend）、BE（Backend）和 Broker 组件有特定的启动和关闭顺序，下面详细介绍一下。
2025-02-03 11:24:37
1317
原创 Hive内置集合函数-size,map_keys,map_values,sort_array,array_contains
Hive提供的内置集合函数, 在做一些集合内统计/查找/分析等场景下非常方便, 熟练使用, 可以极大的简化这类场景的开发.
2024-09-19 23:27:59
624
1
原创 DataWorks+MaxCompute跨年取日期所在周的问题
一些数据分析业务需求中，如订单金额、订单数量，时间粒度需要统计到周，如周同比，周环比。一般我们都会事先创建一个类似如下的时间维度表。在统计中，我们一般会按照 “年-周” 方式来组织成周格式，再与业务事实表join起来进行度量值的聚合计算。以2019年年尾、2020年初数据为例你会发现根据这种方式计算，为什么 “2020-01” 的数据消失了？其实不仅是年初的第1周，而且年尾的第53周也可能会消失。
2024-05-31 20:41:40
1024
1
原创 在VSCode中运行Python脚本文件时如何传参
第3 步在很多PC 上会显示“创建一个launch.json文件”的提示，很可惜在我的 PC 上json 字符所在位置不仅不是超链接，而且显示的是翻译过来的“启动.json”字符。选择之后，在新生成的 settings.json 文件的生成模板中却不到 Python 相关的配置选项，没关系， 将上述 launch.json 中的文本内容，复制到这里即可。选择VSCode中左侧竖排第四个 Debug 按钮，如果是首次在软件中运行 Python 程序，则在运行和调试单元框里很可能看到的提示是如下这样的。
2023-12-07 11:58:18
3598
原创 Hive3 on Spark3配置
之后，将 HDFS 路径“hdfs://cdh01:8020/spark-jars/*”下的原始 “zstd-jni-1.4.4-3.jar” 删除，并替换为 “zstd-jni-1.4.9-1.jar” 后（如上图所示），经再度测试，该问题就解决了。：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。: Hive只作为存储元数据，Spark负责SQL解析优化，语法是Spark SQL语法，Spark负责采用RDD执行。
2023-11-09 00:35:06
2793
1
转载 Excel零基础使用（For 2021版Excel）
一、基本操作1.保护设置基本操作2）利用自定义列表填充 文件>选项>高级>编辑自定义列表3）填充柄：鼠标右键下拉4）同时编辑多个单元格（连续和不连续） Ctrl+鼠标左键，Ctrl+Enter补全5）文本记忆输入 右键>从下拉列表中选择6）数据验证 数据>数据验证>验证条件>允许(序列)>来源(1.自定义内容选项用英文逗号隔开 2.内容可以是区域范围但只可以是一行或一列)3.导入数据导入外部数据数据选项卡 -> 从文本/CSV。
2023-08-15 07:36:06
1134
原创 GitHub高效搜索技巧
使用体验和本地的VSCode完全一致，不仅可以随时切换文件来阅读，享受代码高亮提示，快捷跳转，代码搜索，甚至可以安装插件来增强编辑器的功能。(Windows/Linux) | 打开 GitHub 命令面板。如果要编辑 Markdown 文本，请使用。几乎 GitHub 上的每一页都有键盘快捷键，可以更快地执行操作。在github的Explore(探索)界面中，代码竟然在一个网页版的VScode中打开了。github暗藏了一个命令面板。有关更多键盘快捷键，请参阅。直接在仓库详情页按下。按钮–>获取邮件更新。
2023-06-25 10:32:49
4160
原创 MacOS怎么查看进程占用内存是多少
在Linux下可以使用 free 命令来方便的查看内存占用情况，但MacOS下没有这个命令。那么该如何查看整个PC的内存占用情况，及指定进程的内存占用情况呢？
2023-06-07 11:24:35
7697
原创 Hive CLI启动报错Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
一般这种情况是由于 metastore 服务未开启所致。
2023-05-28 23:08:10
523
原创 Keyboard shortcuts of VS Code on MacOS
Command + K Command + Shift + Right 右移编辑器。Command + K Command + Shift + Left 左移编辑器。Command + Shift + Option + Right 列选择 向右。Command + Shift + Option + Down 列选择 向下。Command + Shift + Option + Left 列选择 向左。Command + Shift + Option + Up 列选择 向上。
2023-04-05 18:03:45
436
转载 Hive 分桶
分桶表是对列值取哈希值的方式，将不同数据放到不同文件中存储。对于 hive 中每一个表、分区都可以进一步进行分桶。由列的哈希值除以桶的个数来决定每条数据划分在哪个桶中。适用场景：对比 MR 的 HashPartition 数据抽样（ sampling ）
2022-11-24 17:49:02
1180
azkaban-binary-2.5.0二进制安装包(含Web + executor + sql等全部模块)
2020-11-20
logstash-6.3.2.zip
2020-01-02
RedisWindowsAllinone.zip
2019-11-05
kafka-manager-1.3.3.23.zip
2019-07-02
jdk-8u191-linux-x64.tar.zip
2019-05-15
pip安装脚本（支持python2、python3）
2019-02-13
shipyard 一键部署脚本
2018-11-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人