![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
知者乎也
努力成为一名高手
展开
-
笔记:rsync处理大批量文件
描述想象一个场景:服务器的/opt目录下,文件大量积压,文件数上千万,占用存储超过10T若要删除这些文件,你该如何处理?分析rm -rf 删除命令是我们常用的,也是最容易想到的。面对以上场景,直接使用rm -rf ,会产生报错:文件量太大无法删除。下面提供两种解决办法:(1)findfind /opt -name '*.zip' -mtime +3 -exec rm -rf {} \;(2)rsync新建空文件夹mkdir /tmp将/tmp文件夹内容与 /opt同步,即,将/o原创 2021-03-03 14:10:45 · 808 阅读 · 0 评论 -
大数据基础-kakfa的安装教程
序1、准备kafka集群搭建是需要一定的基础作为支撑。材料版本数量备注安装包kafka_2.11-2.0.0 .tgz3虚拟机CentOS 7.53IP/3192.168.28.51/52/53zookeeper版本任意3jdk版本7以上3提前安装好2、安装2.1 安装jdk略2.2安装zookeeper参考另一篇文章:zookeeper的安装教程2.3 安装kafka安装目录是任意选择的,这里我们将kaf原创 2020-12-17 23:36:10 · 179 阅读 · 0 评论 -
大数据基础-hbase2.3.0安装教程
序1、准备原创 2020-12-17 23:34:52 · 812 阅读 · 0 评论 -
大数据基础-hadoop3.2.0安装教程
序1、准备2、安装原创 2020-12-17 21:52:04 · 932 阅读 · 0 评论 -
大数据基础-zookeeper的安装教程
序1、准备本篇文章演示的是搭建zookeeper集群,这里使用三台虚拟机进行演示说明。由于zookeeper的选举机制,因而zookeeper集群所需的虚拟机数量为奇数。材料版本数量备注安装包zookeeper-3.4.12.tar.gz3虚拟机CentOS7.53IP/3192.168.28.51/52/53netcat版本任意3一种网络工具,测试用jdk版本7以上3提前安装好2、安装安装目录是任意选择的,这里我们原创 2020-12-11 18:23:12 · 447 阅读 · 0 评论