大数据
yFwillh
一二三十五六七
展开
-
mysql 根据多字段去重 --效率高
模板 释义:根据多字段去重,保留ID最小的记录 DELETE from 表名 WHERE id not in( SELECT t.min_id from (SELECT MIN(id) as min_id from 表名 GROUP BY 字段1, 字段2, 子弹N) t ) 案例 删除用户动态中用户名和发布时间相同的记录(用户名和发布时间一样,则认为是重复记录) DELETE from user_dongtai_xc WHERE id not in( SELECT min_id from (原创 2021-10-28 11:17:21 · 1477 阅读 · 2 评论 -
CentOS 7 设置静态IP
环境: VMware 15 CentOS-7-x86_64-DVD-1908 第一步:查看虚拟机当前网段,如图 此处我的是192.168.112.2 第二步:开机,终端输入以下命令,打开网卡配置文件[注意:需要root用户进行操作]: vim /etc/sysconfig/network-scripts/ifcfg-ens33 第三步:把文件中的 BOOTPROTO 的值改成 static ,静态的意思 BOOTPROTO="static" 第四步:文件末尾 空白行 追加下面三原创 2020-10-21 22:19:46 · 102 阅读 · 0 评论 -
HDFS 数据块详解
HDFS数据块: 与一般文件系统一样,HDFS也有块(block)的概念,HDFS上的文件也被划分为块大小的多个分块作为独立的存储单元。 与通常的磁盘文件系统不同的是: HDFS中小于一个块大小的文件不会占据整个块的空间(当一个1MB的文件存储在一个128MB的块中时,文件只使用1MB的磁盘空间,而不是128MB) 设置数据块的好处: (1)一个文件的大小可以大于集群任意节点磁盘的容量 (2)容易对数据进行备份,提高容错能力 (3)使用抽象块概念而非整个文件作为存储单元,大大简化存储子系统的设转载 2020-06-16 14:28:11 · 1165 阅读 · 0 评论