日格一物

查看当前目录下, 所有目录所占空间 (一级目录)查看目录所占空间 du -sh [目录]查看的目录深度是1级, 2则是2级。查看磁盘空间 df -h。

数千个任务同时执行会导致服务器资源不足, 处理速度越来越慢直到夯住、崩溃, 通过限制任务最大并发数来解决

通过 expect 脚本模拟用户输入来与命令交互, 根据命令的输出来执行相应的操作。sftp 登陆并传输文件时需要手动输入密码。

压缩超 30 天未修改的文件, 可以大大减少目录下文件数, 提升查询效率。目录下文件个数超 100W , grep 查询文件太慢。

脚本中 scp 发送文件失败, 导致后续流程未自动进行。添加失败重试逻辑: 10次, 间隔30s。

Vim个人常用命令。

Shell 输出连续日期目的 : 给定起始与结束日期, 输出连续日期 (年、月、日)应用场景 : 按照 年、月、日 来循环调度脚本.一、输出连续的日期 (输出截止到昨天日期, 格式 yyyy-MM-dd)#!/bin/shstartTime="20191001"endTime=`date -d '-1 day' +%Y%m%d`while [ $startTime -le $endTime ]do dayTime=`date -d '$startTime' +%Y-%m-%d` ec

贪吃蛇用python3实现小时候非常喜欢的: Gluttonous Snake ???? 来玩~前期准备pip3 下载 pygame 模块➜ ~ pip3 install pygameCollecting pygame Downloading pygame-2.0.1-cp37-cp37m-macosx_10_9_intel.whl (6.9 MB) |████████████████████████████████| 6.9 MB 368 kB/sInstalling co

备忘转载出处: ORACLE创建dblink，实现跨库查询概括oracle dblink 实现跨库增删改查两种实现方式:PLSQL 工具图形界面创建SQL 命令创建

转载至: shell if [ -d filename] 文件判断整理并翻译部分:[ -a FILE ] 如果 FILE 存在则为真。[ -b FILE ] 如果 FILE 存在且是一个块特殊文件则为真。[ -c FILE ] 如果 FILE 存在且是一个字特殊文件则为真。[ -d FILE ] 如果 FILE 存在且是一个目录则为真。[ -e FILE ] 如果 FILE 存在则为真。[ -f FILE ] 如果 FILE 存在且是一个普通文件则为真。[ -g FILE ] 如果 FILE

问题背景​昨晚 Mac 直接粗暴退出全部 APP, 第二天才发现连虚拟机也直接退出( 通常先将虚拟机挂起或关机再退出app). 于是重新连接, 两个节点连接成功, 最后一个节点连接多次尝试均超时.分析过程先测试 ping 最后一个节点ip 是否可以通, 发现报错:➜ ~ ping 192.168.229.151PING 192.168.229.151 (192.168.229.151): 56 data bytesping: sendto: Host is downping: send

背景: 安装了最新的 MySQL 8.0 存点东西, 使用 DBeaver 连接时报错 (公司限制仅建议使用这个), 然后连接时报错报错信息一: The server time zone value '�й���׼ʱ��' is unrecognized or represents more than one time zone. You must configure either the server or JDBC driver (via the serverTimezone configurati

备忘hive里面select count(*)为0，select * 有数据

背景: 将 dock 栏隐藏后呼出有延时, 强迫症受不了dock 栏不延迟终端输入代码：defaults write com.apple.Dock autohide-delay -float 0 && killall Dock恢复 dock 栏延迟终端输入代码：defaults delete com.apple.Dock autohide-delay && killall Dock...

Hive 常用函数备忘1.转换函数cast (value as type) , 显式的将一个类型的数据转化为另一种类型的数据, 若不能进行转化则返回 null 值.select cast(salary as char(1));返回一个char类型的salary, 若不能进行转化则返回null值.2.条件判断函数case [...] when ... then ... else ... end第一种: case when 条件 then 满足条件后的结果case when tb1.os

问题背景Hive 中加工了几张大表, 每张都大约有 350 个字段左右. 并且因为业务原因每个字段都比较长 (大约20个字符左右, 有长有短, 最长可达30多个字符). 加工完成, 多次确认不存在语法错误后运行, 仍然报错.此时,这几张运行失败的表有共同特点, 可以作为后续处理失败的突破点: 每张表的字段很多, 且每个字段都很长.报错信息[ERROR] Error while processing statement: FAILED: Execution Error, return code 1 f

背景源端数据在 Oracle 中, 迁移至 Hive 处理对空值进行筛选.提问: Hive 中 null 进行筛选时应如何判断 ?在 Oracle 中判断是否为空, 可以直接使用 is null / is not null.在 Hive 中使用同样方式得到的结果会有问题 (因为丢失了对空字符串 '' 的判断, 引号中没有空格).本质在 Oracle 中写入数据时没有空字符串 '' 的概念, 插入空串时写入为 null.而 Hive 中既可以写入空字符串 '' , 也可以写入 null.探

iTerm2 自动远程连接一. 在打开偏好设置添加名称 以及 执行脚本路径: expect ~/.ssh/wang_192.168.229.150二. 编写脚本➜ ~ cd ~/.ssh➜ .ssh cat wang_192.168.229.150#!/usr/bin/expect -fset host 192.168.229.150set user rootset password 123456#set timeout -1spawn ssh $user@$hostexpe

几经波折还是回到了sublime的怀抱, 在此做一记录, 持续补充中…一. 插件1.Package Control 插件管理(大管家)Command Shift P输入: install Package Control 2.ChineseLocalizations 汉化插件Command Shift P输入 install Package 回车进入选择下载页面输入需要下载的插件名: ChineseLocalizations其余插件下载方式, 同3.SideBarEnhancement

git for Mac一. 安装配置 git查看 Mac 自带 git, 若无则下载: brew install git➜ ~ git versiongit version 2.24.3 (Apple Git-128)设置 git 提交的 username / emailgit config --global user.name "Doooing"git config --global user.email "qxk5055@163.com"配置 ssh , 创建本