- 博客(49)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 MongoDB--数据的组织形式和优化数据
MongoDB–数据的组织形式和优化数据文章目录MongoDB--数据的组织形式和优化数据一：范式化和反范式化二：优化数据操作1. 优化文档增长2. 删除旧数据三：数据库和集合的设计四：一致性锁一：范式化和反范式化范式化：将数据分散到多个不同的集合，不同集合之间可以相互引用数据。如果要修改数据，只需修改保存这块数据的文档就行。但是MongoDB没有连接(join)工具，所以在不同集合之间执行...
2019-11-29 17:27:42
649
原创 MongoDB--常用聚合命令
MongoDB–常用聚合命令文章目录MongoDB--常用聚合命令1.count2. distinct3. group3.1 使用finalizer精简数据3.2 $keyf一些业务场景下，聚合命令可能更为合适1.countcount可以用于返回集合中文档的数量cqsm>db.reac.count()13cqsm>db.reac.count({ "author" : "c...
2019-11-29 15:52:19
220
原创 MongoDB--聚合工具MapReduce
MongoDB–聚合工具MapReduce文章目录MongoDB--聚合工具MapReduce一：简介二：找出集合中的所有键并计数三：MongDB中MapReduce参数四：MR实现流程一：简介mapreduce可以进行复杂的逻辑运算，但是处理速度很慢不适用于实时的数据分析中。mmapreduce分为以下几个阶段：Map：把一个操作Map到集合中的每一个文档Shuffle: 根据Ke...
2019-11-29 13:57:55
180
原创 MongoDB--聚合框架，管道
MongoDB–聚合框架文章目录MongoDB--聚合框架一：管道操作符1. $match2. $project2.2 数学表达式2.3 日期表达式2.4 字符串表达式2.5 逻辑表达式2.6 注意项2.6 运用3. $group使用聚合框架可以对集合中的文档进行变换和组合。可以用多个构件创建一个管道(pipeline,类似一个流)，用于对一连串的文档进行处理。这些构件包括：筛选(filte...
2019-11-28 18:12:46
175
原创 MongDB--存储机制GridFS
MongDB–存储机制GridFS一：简介GridFS是Mongo的一个子模块,使用GridFS可以基于MongoDB来持久存储文件。并且支持分布式应用(文件分布存储和读取)。作为MongoDB中二进制数据存储在数据库中的解决方案，通常用来处理大文件，对于MongoDB的BSON格式的数据(文档)存储有尺寸限制，最大为16M。但是在实际系统开发中，上传的图片或者文件可能尺寸会很大，此时我们可以...
2019-11-28 15:13:52
471
原创 MongoDB--地理空间索引
MongoDB–地理空间索引文章目录MongoDB--地理空间索引一：2dsphere索引1. 简介2. 普通坐标对2. 点，线，图形的表示3. 地理空间查询的类型3.1 在指定范围内的点3.2 与指定位置相交的位置的文档3.3 查询附件的位置3.4 查询圆形内的值4. 注意二：2d索引MongoDB支持几种类型的地理空间索引，其中最常用的就是2dsphere索引(用于地球表面类型的地图)和2...
2019-11-28 11:34:31
681
原创 MongoDB--特殊的索引
MongoDB–特殊的索引文章目录MongoDB--特殊的索引一：TTL索引1. 简介2. 机制3. TTL的使用3.1 固定集合的TTL3.2 动态集合的TTL4. 限制条件5. 使用collMod命令修改expireAfterSeconds值二：全文本索引1. 全文本索引简介2. 创建全文本索引2.1 单键全文索引2.2 复合全文索引2.3 全文索引2.4 设置权重2.6 优化全文本搜索三：...
2019-11-27 15:09:28
239
原创 MongoDB--固定集合
MongoDB–固定集合文章目录MongoDB--固定集合一：固定集合1. 创建固定集合2. 自然排序3. 循环游标4. 没有_id索引的集合一：固定集合固定集合是按LRU(Least Recently Used最近最少使用)规则和插入顺序进行 age-out(老化移出)处理 的，不管固定集合先达到哪一个限制，都是新文档将旧文档挤出集合常用于日志数据的管理固定集合的数据被写入到磁盘上的...
2019-11-27 09:12:23
268
原创 MongDB--索引
MongDB–索引文章目录MongDB--索引一：MongDB索引机制二：索引类型1. 单字段索引2. 复合索引4. 多key索引5. 稀疏索引3. 唯一索引3.1 单字段唯一索引3.2 复合唯一索引3.3 去除重复4. 稀疏索引四：索引的使用注意1. 关于操作符2.注意索引的范围3.关于or查询4. 索引对象和数组4.1 索引嵌套文档4.2 索引数组5. 索引基数6. 管理索引6.1 索引命名...
2019-11-26 16:05:01
154
转载 mongodb -- 查询优化
第一步 找出慢速查询1. 开启内置的查询分析器,记录读写操作效率: db.setProfilingLevel(n,{m}),n的取值可选0,1,2； 1) 0是默认值表示不记录； 2) 1表示记录慢速操作,如果值为1,m必须赋值单位为ms,用于定义慢速查询时间的阈值； &nbs...
2019-11-26 15:44:27
205
原创 MongoDB--find查询
MongoDB–find查询文章目录MongoDB--find查询一：指定需要返回的键二：查询条件1.范围查询2.or 查询2.1 $in 一对多匹配2.2 $nin一对多排除2.3 $or 包含多个条件2.4 $or和in连用3. $and4. $not5. 关于条件语义三：特定类型的查询1. null2. 正则表达式3. 查询数组3.1 $all多个元素匹配数组3.2 $size 查询特定...
2019-11-25 18:42:02
295
原创 电脑打开VMware提示该虚拟机似乎正在使用如何解决
1.点击对话框中的“获取所有权”按钮,会弹出一个新窗口提示获取所有权失败;2.而且重新启动虚拟机还是会出现虚拟机正在使用的窗口;3.这时,打开虚拟机所在磁盘的位置配置文件: E:\virtual\Windows4.找到.lck文件夹,并将其删除,避免删错可以移动到备份文件夹中,或者直接重命名此文件夹5.再次打开VMware,发现可以正常打开虚拟机了。...
2019-11-25 10:08:43
996
原创 MongonDB--创建更新和删除文档
MongonDB–创建更新和删除文档文章目录MongonDB--创建更新和删除文档一：插入并且保存文档1. 插入单条数据2. 插入批量数据3. 数据校验二：删除文档1.删除语法remove()1.1 删除所有文档1.2 删除指定文档2.删除语法drop()3.drop和remove的区别三：更新文档1. 文档替换2. 使用修改器2.1 "$set"修改器2.1.1 增加键2.1.2 修改值的类型...
2019-11-24 13:56:21
256
原创 MongoDB--shell以及脚本文件的使用
MongoDB–shell的使用文章目录MongoDB--shell的使用一：shell连接到指定机器1.启动前指定端口2.启动后指定二：help三：使用shell执行脚本1.不进入shell客户端2.进入shell客户端使用load()函数3.创建.mongorc.js文件3.1 示例3.2 实际应用场景4.mongo --eval 运行一段脚本5.定制shell提示6.设置EDITOP,编辑...
2019-11-22 09:48:33
1668
原创 MongoDB--数据类型
MongoDB–数据类型文章目录MongoDB--数据类型1.字符串2.数值3.日期4.正则表达式5.数组6.内嵌文档7.ObjectId重点说明几种：1.字符串UTF-8字符串都可以表示为字符串类型的数据{"x":"baba"}2.数值shell默认使用64位浮点整数型，对于整型值，可以使用NumerInt(表示4字节带符号整数)或NumberLong类（表示8字节带符号整数）...
2019-11-21 14:50:31
257
原创 Flume--高可用部署
Flume–高可用部署文章目录Flume--高可用部署hadoop01中采集access.log的agent配置文件:hadoop01中采集nginx.log.log的agent配置文件:hadoop03中agent配置信息:hadoop02agent配置信息：防止flume的agent采集数据的时候宕机，造成数据丢失,对agent做一个备份的agent，宕机的时候可以切换为备份agent。架...
2019-11-21 13:58:19
240
原创 MongoDB--shell的使用以及术语概念
MongoDB–shell的使用以及术语概念文章目录MongoDB--shell的使用以及术语概念一：术语概念1.数据库(database)2.集合(collection)2.1 动态模式2.2 关于集合名需要注意的2.3 子集合2.4 定容集合(capped collections)2.4.1简单介绍2.4.2 功能特点2.4.3 常见用处2.4.4 推荐用法2.4.5 注意事项3.文档(do...
2019-11-21 13:50:02
312
原创 MongoDB--Linux下的安装
MongoDB–Linux下的安装文章目录MongoDB--Linux下的安装一：官网下载安装包二：上传到Linux上解压三：配置环境变量四：创建相关文件五：启动一：官网下载安装包官网下载：https://www.mongodb.com/download-center/community二：上传到Linux上解压tar -zxvf [安装包] -C [指定目录]三：配置环境变量...
2019-11-20 18:27:42
166
原创 MongoDB--基本概念以及体系结构
MongoDB基本概念以及体系结构文章目录MongoDB基本概念以及体系结构一：什么是MongoDB二：MongoDB特性：三：MongoDB的体系架构1.存储结构：2.存储形式：3.目录结构：4.数据存储：一：什么是MongoDBMongoDB：是一个数据库 ,高性能、无模式、文档性，目前nosql中最热门的数据库，开源产品，基于c++开发。是nosql数据库中功能最丰富，最像关系数据库的...
2019-11-20 17:37:20
484
原创 MapReduce的工作流程，shuffle过程，yarn资源调度过程，job提交流程
MapReduce的工作流程，shuffle过程，yarn资源调度过程，job提交流程文章目录MapReduce的工作流程，shuffle过程，yarn资源调度过程，job提交流程一：shuffle过程概述：二：MapReduce的工作流程2.Reduce Task三：yarn的资源调度过程1.resourceManagerYARN 集群的主节点 ResourceManager 的职责：2.no...
2019-11-17 19:48:09
367
1
原创 zookeeper的集群选主
zookeeper的集群选主一：全新集群的选主1:小ID强制投给已经投过票的成员中的最大ID2:当投票达到半数以上，选举胜出的为leader，剩余都为follower因素：启动顺序和ID大小有关例如有5个节点，ID分别为1,2,3,4,5启动顺序为1,2,3,4,5当1启动的时候，给自己投票，然后将投票信息发送给其他服务器，由于其他服务器没有启动，所以它收不到反馈信息投票。处于lo...
2019-11-17 14:03:34
381
原创 ZookeePer--两大核心
ZookeePer–两大核心文章目录ZookeePer--两大核心一：文件系统1）注意：2）znode的分类1.znode节点按照生命周期分类2.znode节点按照有无编号分3）zookeeper的shell二：监听机制1）监听的事件类型2）如何添加监听3）触发监听4）Java API实现的监听器进入客户端：zkCli.sh一：文件系统1）注意：zk的文件系统的结构类似与linux的...
2019-11-17 13:42:59
225
原创 HDFS--shell的使用
HDFS–shell的使用文章目录HDFS--shell的使用注意要点HDFS 常用命令1.创建文件夹：2.查看hdfs的目录结构3.删除文件夹|文件4.创建文件5.文件上传6.文件下载 将hdfs的文件 下载到 本地7.查看文件内容8.文件追加 了解9.权限修改10.修改副本个数11.修改副本加载顺序12.了解注意要点启动hdfs客户端：任意结点hdfs操作hdfs的文件系统 f...
2019-11-16 19:54:52
141
原创 Hadoop--namenode的架构
Hadoop–namenode的架构文章目录Hadoop--namenode的架构一.namenode的工作目录二.VERSION（存放 hdfs 集群的版本信息）文件解析：三.namenode的元数据存储机制四.元数据的CheckPointCheckPoint 详细过程图解：CheckPoint 触发配置CheckPoint 附带作用一.namenode的工作目录namenode的工作目录...
2019-11-16 19:44:57
309
原创 Hadoop--HDFS的两大核心
Hadoop–HDFS的两大核心文章目录Hadoop--HDFS的两大核心一：写数据1）具体步骤2）在pipeline上的datanode如果出现了异常?3）注意二：读数据1）具体步骤一：写数据1）具体步骤1.客户端向namenode发送RPC请求；2.namenode检查权限以及文件是否存在（是否可以上传）；3.namenode确认可以上传文件的话会向客户端发送一个确认信息；4.客...
2019-11-16 18:40:36
1261
原创 Hadoop--HDFS四大机制
Hadoop–HDFS四大机制文章目录Hadoop--HDFS四大机制一：心跳机制二：机架策略三：安全模式问题引出：namenode 进入安全模式的原理：正常启动的时候进入安全模式的原理：四：负载均衡1) 保证动态的均衡(不均衡会影响集群性能)2) 如何手动实现负载均衡?(移动block块 --> 整个集群性能)1.设置峰值和谷值之间的差2.设置阈值(达到这个阈值才会负载均衡) 默认10...
2019-11-16 17:03:15
440
原创 JavaSE总结（四）网络编程
JavaSE总结（四）网络编程文章目录JavaSE总结（四）网络编程一：网络编程概述1.什么是网络：2.通讯要素（三要素：ip、端口、协议）1.ip地址和端口2.TCP通讯协议1）三次握手第一次握手第二次握手第三次握手2）四次挥手第一次挥手第二次挥手第三次挥手第四次挥手3.UDP协议传输二：Java中基于TCP的编程实践一：实现客户端和服务端的通信：实践二：实现图片的上传和下载三：Java中基于...
2019-11-16 15:29:54
253
原创 JavaSE总结（三）IO流
JavaSE总结（三）IO流文章目录JavaSE总结（三）IO流一.File类二.IO原理三.流的分类1.字节流和字符流：1）字节流2）字符流3）字节流和字符流的区别2.输入流和输出流：1）输入流（Input）2）输出流（Outpu）3.输入字节流(InputStream)与输出字节流(OutputStream)InputStream：OutputStream：4.输入字节流(Reader)和输...
2019-11-16 11:59:22
127
原创 JavaSE总结（二）集合
集合文章目录集合一：简介二：Collection家族1.Collection子接口（一）List1）ArrayList类2）LinkList类3）Vector类2.Collection子接口（二）Set1）HashSet（散列存放）2）LinkedHashSet3）TreeSet特点 ：1.定制排序实现：2.自然排序实现定制排序和自然排序的区别：三：Map家族1）HashMapHashMap原理...
2019-11-15 21:03:02
260
原创 JavaSE总结（一）面向对象的三大特征
文章目录面向对象的三大特征1.封装2.继承特点：方法重载和方法重写：方法重载：方法重写：3.多态实现多态的方式：多态的规则：面向对象的三大特征1.封装利用抽象数据类型将数据和基于数据的操作封装在一起，使其构成一个不可分割的独立实体。数据被保护在抽象数据类型的内部，尽可能地隐藏内部的细节，只保留一些对外接口使之与外部发生联系。用户无需知道对象内部的细节，但可以通过对象对外提供的接口来访问该对象...
2019-11-15 16:44:52
129
原创 浅析IO,NIO和五种IO模型
浅析IO,NIO和五种IO模型文章目录浅析IO,NIO和五种IO模型一：几个基本的概念二：同步，异步，阻塞，非阻塞1.同步：2.异步：3.阻塞：4.非阻塞：注意：三:阻塞IO,非阻塞IO,同步IO,异步IO1.阻塞IO：2.非阻塞式IO：4.异步IO：注意：四：五种IO模型1.阻塞式IO模型：2.非阻塞式IO模型：3.多路复用IO模型4.信号驱动IO模型5.异步IO模型注意：为了便于cpu的...
2019-11-15 13:33:34
1166
1
原创 离线项目（三）数据仓库的设计
离线项目（三）数据仓库的设计文章目录离线项目（三）数据仓库的设计一：数据仓库的分层ODS 层DWD层DWS层ADS层二：关于数据仓库和数据集市1.**数据仓库**：2.**数据集市**：3.数据仓库和数据集市的区别：三：数仓模型（星型模型和雪花模型）1.星型模型2.雪花模型四：项目相关1.分层ODS层：DWD层：DWS层：5.按照来源维度进行统计和分析ADS层：一：数据仓库的分层ODS 层...
2019-11-14 19:43:16
999
原创 离线项目（二）数据预处理
离线项目（二）数据预处理文章目录离线项目（二）数据预处理一：nginx埋点二：flume收集信息1.agent1监听2.agent2监听3.agent3收集启动三：对数据进行预处理1.主要目的2.具体处理四：点击流模型pageviews 信息表1.为什么构建点击流模型2.创建ClickStreanBean点击流类3.如何判断是否属于同一个Session4.具体处理5.处理结果五：点击流模型 vi...
2019-11-13 16:19:32
541
原创 离线项目（一）项目结构以及核心指标
离线项目（一）项目结构以及核心指标一.核心指标概念DV：即Depth of Visit ，访问深度网站访问深度就是用户在一次浏览你的网站的过程中浏览了你的网站的页数。PV：即 page view，浏览量页面的浏览此处，衡量网站用户访问的网页数量；用户没打开一个页面就记录1次，多次打开统一页面则浏览量累计。UV：即Unique Visitor，独立访客数1天内访问某站点的人...
2019-11-13 15:57:54
575
原创 IDEA中配置Scala插件
IDEA中配置Scala插件打开IDEA,–>Configure–>settings–>Install Plugin from Disk…–>找到自己下载的插件的位置；安装后重启IDEA插件下载地址：http://plugins.jetbrains.com/plugin/1347-scala/versions重启之后：看到有了scala当然可以选择在线安装：...
2019-11-10 15:46:10
256
原创 在Scala中函数和方法有什么区别
在Scala中函数和方法有什么区别如下：1、有参方法可以作为表达式的一部分出现，无参方法可以作为最终表达式出现；但函数可...
2019-11-10 13:12:48
542
原创 CAS机制
一：概述比较并交换(compare and swap, CAS)，是原子操作的一种，可用于在多线程编程中实现不被打断的数据交换操作，从而避免多线程同时改写某一数据时由于执行顺序不确定性以及中断的不可预知性产生的数据不一致问题。该操作通过将内存中的值与指定数据进行比较，当数值一样时将内存中的数据替换为新的值。二：悲观锁和乐观锁Java中的锁包括悲观锁和乐观锁，其中了解最多的是悲观锁，s...
2019-11-09 17:01:37
424
原创 Scala--简介与基础语法
大纲Scala简介Scala安装验证Scala IDEScala基础知识和语法Scala控制结构Scala函数Scala数组&集合1. Scala简介Scala是一门多范式（multi-paradigm）的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行在Java虚拟机上，并兼容现有的Java程序。Scala...
2019-11-09 15:45:05
1487
原创 azkaban--安装和配置（详解）
azkaban–安装和配置（详解）文章目录azkaban--安装和配置（详解）一：为什么需要工作流调度器二：各种调度工具对比Azkaban 与 Oozie 对比1.功能2.工作流定义3.工作流传参4.定时执行5.资源管理6.工作流执行7.工作流管理三：Azkaban 介绍四：Azkaban 安装部署1.准备工作2.安装 Azkaban Web 服务器3.安装 Azkaban Excutor 服务...
2019-11-08 11:10:49
1000
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人