数据库操作
文章平均质量分 68
江畔独步
这个作者很懒,什么都没留下…
展开
-
使用MongoShake实现MongoDB数据实时导入Kafka
MongoShake是阿里云以Golang语言编写的通用平台型服务工具,它通过读取MongoDB的Oplog操作日志来复制MongoDB的数据以实现特定需求。MongoShake还提供了日志数据的订阅和消费功能,可通过SDK、Kafka、MetaQ等方式的灵活对接,适用于日志订阅、数据中心同步、Cache异步淘汰等场景。官方地址:https://github.com/alibaba/MongoShake阿里云版本地址:http://docs-aliyun.cn-hangzhou.oss.aliyun-原创 2022-04-23 12:52:21 · 4242 阅读 · 1 评论 -
使用MongoShake实现MongoDB副本集间的单向同步
通过阿里云自研的MongoShake开源工具,您可以实现MongoDB数据库间的数据同步,该功能可用于数据分析、灾备和多活等业务场景。本文以云数据库MongoDB实例间的数据实时同步为例介绍配置流程。MongoShake介绍MongoShake是阿里云以Golang语言编写的通用平台型服务工具,它通过读取MongoDB的Oplog操作日志来复制MongoDB的数据以实现特定需求。MongoShake还提供了日志数据的订阅和消费功能,可通过SDK、Kafka、MetaQ等方式的灵活对接,适用于日志转载 2022-04-23 12:35:49 · 1445 阅读 · 0 评论 -
Centos7安装MongoDB4(单机版)
环境说明环境组件版本Centos7.6.1810MongoDB4.0.26安装步骤2.1 下载MongoDB二进制版wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-4.0.26.tgz2.2 解压到opt下tar -zxvf mongodb-linux-x86_64-rhel70-4.0.26.tgz -C /opt2.3 重命名文件夹mv mongodb-linux-x86原创 2022-04-20 17:00:06 · 1908 阅读 · 0 评论 -
查看MySQL数据库实例占用的物理空间大小
-- 一. 查询整个mysql占用的空间大小(单位: M)SELECT round( sum( data_length / 1024 / 1024 ), 2 ) AS size FROM information_schema.TABLES;-- 二. 查询mysql中每个数据库实例占用的空间大小(单位: M)SELECT table_schema, round( sum( data_length / 1024 / 1024 ), 2 ) AS size FROM information原创 2021-09-29 15:21:42 · 1683 阅读 · 0 评论 -
MySQL实现全关联 full outer join
SQL LEFT JOIN 关键字LEFT JOIN 关键字会从左表 (table_name1) 那里返回所有的行,即使在右表 (table_name2) 中没有匹配的行。LEFT JOIN 关键字语法SELECT column_name(s)FROM table_name1LEFT JOIN table_name2 ON table_name1.column_name=table_name2.column_name注释:在某些数据库中, LEFT JOIN 称为 LEFT OUT转载 2020-07-11 15:09:31 · 3899 阅读 · 0 评论 -
Navicat导入导出csv文件
今日需要对一个CSV文件中的某几列,进行汇总统计(如按照省,市分组统计),文件行数在270万左右,想到在数据库中进行分组汇总统计,效率比较高。用的是MySQL数据库,刚好手头上客户端软件Navicat支持[b]大部分常用文件类型[/b]的导入导出。现将CSV类型的导入导出记录如下。一、导入。首先在mysql中创建一张表,表中字段为CSV文件中的全部列,或其中的若干列...2013-07-30 11:02:24 · 2333 阅读 · 0 评论 -
Hive动态分区
set hive.exec.dynamic.partition.mode=nonstrict;set hive.exec.dynamic.partition=true;insert overwrite table msys_messagevaclog partition(log_month,log_day) select t.*,substr(log_time,1,6),substr(...原创 2013-09-02 15:10:58 · 82 阅读 · 0 评论