自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(10)
  • 收藏
  • 关注

原创 实时同步服务

1.rsync+crontab只能定时同步。解决:使用开源工具sersync。2.nfs存在单点故障问题。

2024-06-19 19:48:50 260

原创 共享存储NFS

C/S架构。

2024-06-19 10:50:42 129

原创 备份服务rsync

在服务端创建虚拟用户,密码文件,数据目录等。定时备份:crontab + rsync。cp,scp也可用于备份。

2024-06-18 12:44:53 111

原创 定时任务crond服务

作用:通过crontab 命令,我们可以在固定的间隔时间执行指定的系统指令或 shell script脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。这个命令非常适合周期性的日志分析或数据备份等工作。

2024-06-11 22:20:33 195

原创 spark之数据源格式

在 Spark SQL 中,支持多种源数据格式,每种格式都有其特定的优势和劣势。以下是一些常见的数据格式及其特点:‎。

2024-06-07 21:19:08 350

原创 关于磁盘打满

进入到打满的目录下,查看具体是哪个文件或者目录。在大数据场景下,一般是某个服务的日志保留时间比较长,占据空间大,删除旧的日志数据即可。特殊:df的结果和du的结果相差很大。解决:找到文件对应服务,重启服务。原因:某些文件的调用数不为0。查看机器的哪个盘出现打满。

2024-06-06 11:33:35 197

原创 spark日期函数

将Unix时间戳转化为日期格式。指定日期加减天数后返回的日期。返回一个Unix时间戳。

2024-05-31 19:15:06 100

原创 正则表达式

前一个字符连续出现至少n次,最多m次。匹配的空字符 空格 tab 等等字符。前一个字符连续出现0次或0次以上。前一个字符连续出现1次或1次以上。前一个字符连续出现,最多m次。前一个字符连续出现至少n次。前一个字符出现0次或1次。排除数字,大小写字母和_以......开头的行。以......结尾的行。前一个字符连续出现n次。

2024-05-24 16:45:14 154 1

原创 进程管理_spervise

supervise的执行命令是supervise Path ,其中Path 是指定路径,可以是相对路径,也可以是绝对路径。在Path路径下,必须有一个run的脚本,supervise调用的就是这个脚本,并监控管理该脚本中运行的程序。supervise的一个重要的功能就是可以检测出run脚本中执行的程序是否正常工作,若发现其已经死掉,supervise将会重新执行 run脚本,重新启动指定程序。

2024-05-20 20:18:45 154

原创 /dev/null

在 Linux 系统中,/dev/null 是一个特殊的文件,没有任何数据,读取它永远不会产生任何输出,写入它永远不会导致任何数据被存储。最终结果:标准错误输出和标准输出均重定向到/dev/null,因此,即使命令本身存在错误,也不会在屏幕上显示任何输出。标准输出重定向到/dev/null,标准错误输出重定向到标准输出,而前面标准输出已经重定向到/dev/null。/dev/null 被用作输入流,该命令不会等待任何输入,而是立即退出。输出被重定向到 /dev/null,因此不会在屏幕上打印任何输出。

2024-01-24 18:53:17 566

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除