wzy0623的专栏

数据库、数据仓库、大数据

我的SQL-on-Hadoop学习总结三部曲

以分布式数据库为基础,涵盖主流Hadoop上数据仓库、ETL、数据分析、机器学习相关的相对完整的知识体系和技术实现方案。  

2019-01-18 08:25:59

阅读数:53

评论数:1

触类旁通Elasticsearch:简单操作

一、索引数据 1. 使用映射定义文档         映射里包含了一个索引的文档中所有字段的定义,并告诉ES如何索引一篇文档的多个字段。例如,如果一个字段包含日期,可以定义哪种日期格式是可以接受的。映射的概念类似于DB中的表字段定义。         ES会自动识别字段,并根据数据相应地调整...

2019-01-11 16:35:56

阅读数:46

评论数:0

触类旁通Elasticsearch:原理

目录 一、逻辑设计 1. 文档 2. 类型 3. 索引 二、物理设计 1. 节点 2. 主分片与副本分片 3. 分布式索引和搜索 三、索引数据 四、搜索数据 1. 在哪里搜索 2. 回复的内容 3. 如何搜索 4. 通过ID获取文档         ES被设计为处理海...

2019-01-08 15:48:45

阅读数:94

评论数:1

数据库第一类第二类丢失更新

第一类丢失更新(回滚丢失,Lost update)      A事务撤销时,把已经提交的B事务的更新数据覆盖了。这种错误可能造成很严重的问题,通过下面的账户取款转账就可以看出来:     A事务在撤销时,“不小心”将B事务已经转入账户的金额给抹去了。   SQL92没有定义这种现象,标...

2019-01-05 19:50:47

阅读数:79

评论数:0

触类旁通Elasticsearch:安装

目录 一、安装并启动ES 二、安装head 1. 安装 nodejs 2. 安装head插件                                                                        3. 为head配置ES 4. 使用head 三...

2019-01-03 11:29:35

阅读数:61

评论数:0

触类旁通Elasticsearch:简介

目录 一、概念 1. 基本概念 2. 分布式相关概念 二、功能特性总结 三、ES架构         准备写一个Elasticsearch的专题,记录和总结一下这段时间对Elasticsearch的学习过程。之所以叫做触类旁通,是希望和RDBMS作比较,这里的“类”指的就是数据库。当然...

2019-01-02 14:42:20

阅读数:60

评论数:0

初学乍练redis:使用redis-migrate-tool做redis在线数据迁移

目录 一、问题提出 二、关于redis-migrate-tool 三、实验 1. 建议集群redis 2. 建立单实例redis 3. 源码安装redis-migrate-tool 4. 配置redis-migrate-tool 5. 测试 四、业务切换 五、注意事项 参考:...

2018-11-16 14:32:34

阅读数:287

评论数:0

初学乍练redis:两行shell脚本实现slowlog持久化转储(去重保留历史条目、时间戳格式化)

目录 一、问题提出 二、关于redis slowlog 三、设计思路 四、shell实现 1. 追加slowlog条目并格式化输出文件 2. 去除重复条目并生成结果文件 3. 最终脚本文件 4. 定期调度执行 一、问题提出         在排查redis性能问题时,从slow...

2018-11-02 11:35:56

阅读数:183

评论数:0

浅尝辄止MongoDB:分片

目录 一、架构 二、配置 1. 启动配置服务器 2. 启动分片控制器 3. 启动两个分片服务器 4. 在分片控制器中添加分片 5. 设置块大小 6. 创建分片集合 7. 向分片添加数据 三、维护 1. 添加新分片 2. 删除分片         大部分摘自《MongoDB...

2018-10-19 13:23:18

阅读数:99

评论数:0

浅尝辄止MongoDB:复制

目录 一、复制基础 1. 主动成员与被动成员 2. master 3. secondary 4. arbiter 5. oplog 二、配置副本集 1. 创建副本集 2. 向副本集添加服务器 3. 设置辅助服务器 4. 向副本集添加仲裁服务器 5. 设置被动服务器 6. ...

2018-10-17 17:14:35

阅读数:86

评论数:0

浅尝辄止MongoDB:优化

目录 一、查询分析器 1. 启用查询分析器 2. 禁用查询分析器 3. 查找慢查询 4. 增大分析器集合的大小 二、explain 三、使用索引优化查询 1. 管理索引 2. 索引选择三步法 3. 指定索引选项 4. 使用hint() 5. 使用索引过滤器 一、查询分析器...

2018-10-15 16:38:15

阅读数:82

评论数:0

浅尝辄止MongoDB:管理(2)

目录 四、验证与修复 1. 修复服务器 2. 验证单个集合 3. 修复集合验证错误 4. 压缩集合的数据文件 五、监控 1. 查看服务器状态 2. 查看命令行参数 3. 查看数据库/表状态 4. 查看当前Query执行情况 5. 监控MongoDB状态 六、其它常见任务 ...

2018-10-11 15:15:36

阅读数:66

评论数:0

浅尝辄止MongoDB:管理(1)

目录 一、控制访问权限 1. 添加admin用户 2. 启用身份认证 3. 在mongo控制台中执行身份验证 5. 修改用户凭据 6. 添加只读用户 7. 删除用户 二、备份与还原 1. mongodump的各种备份方式 2. mongodump示例 3. 自动备份脚本 4...

2018-10-10 17:06:01

阅读数:193

评论数:0

浅尝辄止MongoDB:高级查询

目录 一、全文检索 1. 建立索引 2. 执行搜索 二、聚合 三、MapReduce 1. 最简MapReduce 2. 求和 3. 求平均 4. 调试 一、全文检索 1. 建立索引         MongoDB一个集合上只能建立一个文本索引。         建立文本...

2018-10-09 15:53:58

阅读数:55

评论数:0

浅尝辄止MongoDB:GridFS

一、为什么使用GridFS         GridFS是MongoDB的一个子模块,使用GridFS可以基于MongoDB来持久存储文件,并且支持分布式应用(文件分布存储和读取)。作为MongoDB中二进制数据存储在数据库中的解决方案,通常用来处理大文件,对于MongoDB的BSON格式的数据...

2018-09-29 11:19:13

阅读数:148

评论数:0

浅尝辄止MongoDB:操作(3)

目录 5. 批处理数据 6. 重命名集合 7. 删除数据 8. 引用数据库 9. 使用与索引相关的函数         大部分摘自《MongoDB大数据处理权威指南》(第3版)。  5. 批处理数据         MongoDB允许批量执行写入操作。通过这种方式,可首先定义数据集...

2018-09-28 14:32:22

阅读数:86

评论数:1

浅尝辄止MongoDB:操作(2)

目录 4. 更新数据         大部分摘自《MongoDB大数据处理权威指南》(第3版)。  4. 更新数据 (1)update()         在MongoDB中可以使用update()函数执行数据更新操作。该函数将接受3个主要参数:criteria、objNew和option...

2018-09-27 17:45:13

阅读数:209

评论数:0

浅尝辄止MongoDB:操作(1)

目录 1. 浏览数据库 2. 插入数据 3. 查询数据         大部分摘自《MongoDB大数据处理权威指南》(第3版)。  1. 浏览数据库         MongoDB在第一次存储数据时会自动创建数据库和集合。要切换到已有数据库或者创建新的数据库,可使用use函数,在命令...

2018-09-27 10:56:11

阅读数:65

评论数:0

浅尝辄止MongoDB:基础

目录 一、简介 1. 基本概念 2. 存储格式 二、安装 1. 选择版本 2. 安装 三、数据模型 1. 设计数据库 2. 构建索引 三、使用地理空间索引         大部分摘自《MongoDB大数据处理权威指南》(第3版)。  一、简介         MongoD...

2018-09-25 16:17:55

阅读数:90

评论数:0

初学乍练redis:分片与集群

目录 一、配置集群 二、增加节点 三、分配插槽 四、获取与插槽对应的节点 五、故障恢复         大部分摘自Redis入门指南(第2版)。         即使使用哨兵,redis集群的每个数据库依然存有集群中的所有数据,从而导致集群的总数据存储受限于可用内存最小的数据库节点,...

2018-09-14 18:13:34

阅读数:522

评论数:0

提示
确定要删除当前文章?
取消 删除