MySQL篇

MySQL篇

NoSQL数据库四大家族

●列存储 Hbase
●K-V存储 Redis
●图像存储 Neo4j
●文档存储 MongoDB
●云存储OSS

海量 Aerospike

Aerospike（简称AS）是一个分布式，可扩展的键值存储的NoSQL数据库。T级别大数据高并发的结构化数据存储，采用混合架构，索引存储在内存中，而数据可存储在机械硬盘(HDD)或固态硬盘(SSD) 上，读写操作达微妙级，99%的响应可在1毫秒内实现。

Aerospike作为一个大容量的NoSql解决方案，适合对容量要求比较大，QPS相对低一些的场景，主要用在广告行业，个性化推荐厂告是建立在了和掌握消费者独特的偏好和习性的基础之上，对消费者的购买需求做出准确的预测或引导，在合适的位置、合适的时间，以合适的形式向消费者呈现与其需求高度吻合的广告，以此来促进用户的消费行为。

（ETL数据仓库技术）抽取（extract）、转换（transform）、加载（load）


●用户行为日志收集系统收集日志之后推送到ETL做数据的清洗和转换
●把ETL过后的数据发送到推荐引擎计算每个消费者的推荐结果，其中推荐逻辑包括规则和算法两部分
●收集用户最近浏览、最长停留等特征，分析商品相似性、用户相似性、相似性等算法。
●把推荐引擎的结果存入Aerospike集群中，并提供给广告投放引擎实时获取分别通过HDFS和HBASE对日志进行离线和实时的分析，然后把用户画像的标签(tag : 程序猿、宅男…)结果存入高性能的Nosql数据库Aerospike中，同时把数据备份到异地数据中心。前端广告投放请求通过决策引擎（投放引擎）向用户画像数据库中读取相应的用户画像数据，然后根据竞价算法出价进行竞价。竞价成功之后就可以展现广告了。而在竞价成功之后，具体给用户展现什么样的广告，就是有上面说的个性化推荐广告来完成的。

图谱Neo4j



Neo4j是一个开源基于java开发的图形noSql数据库，它将结构化数据存储在图中而不是表中。它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎。程序数据是在一个面向对象的、灵活的网络结构下，而不是严格的表中，但具备完全的事务特性、企业级的数据库的所有好处。


一种基于图的数据结构，由节点(Node)和边(Edge)组成。其中节点即实体，由一个全局唯一的ID标示，边就是关系用于连接两个节点。通俗地讲，知识图谱就是把所有不同种类的信息，连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。


互联网、大数据的背景下，谷歌、百度、搜狗等搜索引擎纷纷基于该背景，创建自己的知识图Knowledge Graph、知心和知立方，主要用于改进搜索质量。


自己项目主要用作好友推荐，图数据库(Graph database)指的是以图数据结构的形式来存储和查询数据的数据库。关系图谱中，关系的组织形式采用的就是图结构，所以非常适合用图库进行存储。

●优势总结:

●性能上，使用cql查询，对长程关系的查询速度快
●擅于发现隐藏的关系，例如通过判断图上两点之间有没有走的通的路径，就可以发现事物间的关联

文档 MongoDB


MongoDB 是一个基于分布式文件存储的数据库，是非关系数据库中功能最丰富、最像关系数据库的。在高负载的情况下，通过添加更多的节点，可以保证服务器性能。由 C++ 编写，可以为 WEB 应用提供可扩展、高性能、易部署的数据存储解决方案。

什么是 BSON

{key:value,key2:value2}和Json类似，是一种二进制形式的存储格式，支持内嵌的文档对象和数组对象，但是BSON有JSON没有的一些数据类型，比如 value包括字符串,double,Array,DateBSON可以做为网络数据交换的一种存储形式,它的优点是灵活性高，但它的缺点是空间利用率不是很理想。

BSON有三个特点：轻量性、可遍历性、高效性




优点：

●文档结构的存储方式，能够更便捷的获取数据。对于一个层级式的数据结构来说，使用扁平式的，表状的结构来查询保存数据非常的困难。
●内置GridFS，支持大容量的存储。GridFS是一个出色的分布式文件系统，支持海量的数据存储，满足对大数据集的快速范围查询。
●性能优越千万级别的文档对象，近10G的数据，对有索引的ID的查询 不会比mysql慢，而对非索引字段的查询，则是全面胜出。 mysql实际无法胜任大数据量下任意字段的查询，而mongodb的查询性能实在牛逼。写入性能同样很令人满意，同样写入百万级别的数据，mongodb基本10分钟以下可以解决。
缺点：

●不支持事务
●磁盘占用空间大
MySQL 8.0 版本
1. 性能：MySQL 8.0 的速度要比 MySQL 5.7 快 2 倍。
2. NoSQL：MySQL 从 5.7 版本开始提供 NoSQL 存储功能，在 8.0 版本中nosql得到了更大的改进。
3. 窗口函数：实现若干新的查询方式。窗口函数与 SUM()、COUNT() 这种集合函数类似，但它不会将多行查询结果合并为一行，而是将结果放回多行当中，即窗口函数不需要 GROUP BY。
4. 隐藏索引：在 MySQL 8.0 中，索引可以被“隐藏”和“显示”。当对索引进行隐藏时，它不会被查询优化器所使用。我们可以使用这个特性用于性能调试，例如我们先隐藏一个索引，然后观察其对数据库的影响。如果数据库性能有所下降，说明这个索引是有用的，然后将其“恢复显示”即可；如果数据库性能看不出变化，说明这个索引是多余的，可以考虑删掉。

云存储

使用步骤


1、开通服务
2、创建存储空间
3、上传文件、下载文件、删除文件
4、域名绑定、日志记录
5、根据开放接口进行鉴权访问


功能


图片编辑（裁剪、模糊、水印）



视频截图
音频转码、视频修复



CDN加速


对象存储OSS与阿里云CDN服务结合，可优化静态热点文件下载加速的场景（即同一地区大量用户同时下载同一个静态文件的场景）。可以将OSS的存储空间（Bucket）作为源站，利用阿里云CDN将源内容发布到边缘节点。当大量终端用户重复访问同一文件时，可以直接从边缘节点获取已缓存的数据，提高访问的响应速度。


FastDFS


开源的轻量级分布式文件系统。它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。如相册网站、视频网站等。


扩展能力: 支持水平扩展，可以动态扩容；


高可用性: 一是整个文件系统的可用性，二是数据的完整和一致性；


弹性存储: 可以根据业务需要灵活地增删存储池中的资源，而不需要中断系统运行。

特性


●和流行的web server无缝衔接，FastDFS已提供apache和nginx扩展模块
●文件ID由FastDFS生成，作为文件访问凭证，FastDFS不需要传统的name server
●分组存储，灵活简洁、对等结构，不存在单点
●文件不分块存储，上传的文件和OS文件系统中的文件一一对应
●中、小文件均可以很好支持，支持海量小文件存储
●支持相同内容的文件只保存一份，节约磁盘空间
●支持多块磁盘，支持单盘数据恢复
●支持在线扩容 支持主从文件
●下载文件支持多线程方式，支持断点续传
组成


●客户端（client）通过专有接口，使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。
●跟踪器（tracker）Trackerserver作用是负载均衡和调度，通过Tracker server在文件上传时可以根据策略找到文件上传的地址。Tracker在访问上起负载均衡的作用。
●存储节点（storage）Storageserver作用是文件存储，客户端上传的文件最终存储在Storage服务器上，Storage server没有实现自己的文件系统而是利用操作系统的文件系统来管理文件。存储节点中的服务器均可以随时增加或下线而不会影响线上服务。
上传