大数据
文章平均质量分 91
大数据
安勿期
昨日之深渊,今日之浅谈。路虽远,行则将至。事虽难,做则可成
展开
-
常用的非分布式限流算法详细说明
https://blog.csdn.net/a745233700/article/details/120819219原创 2021-11-01 23:31:50 · 245 阅读 · 0 评论 -
clickhouse系列第三篇之clickhouse客户端使用教程(1.命令行客户端连接)
文章目录接口clickhouse提供了两个网络接口(两个接口都可以选择包装在TLS中以提高安全性)http接口,有文档而且可以直接使用原生TCP,开销比较小在很多的情况下,都是使用适当的工具或者是库,而不是直接的交互。官方支持的方式:命令行客户端JDBS驱动程序ODBC驱动程序C++客户端库可以使用第三方库客户端库集成可视化界面命令行客户端clickhouse提供了一个本地命令行客户端:clickhouse-client。支持命令行选项和配置文件。注:一般我们使原创 2021-08-08 20:11:29 · 7277 阅读 · 0 评论 -
clickhouse系列第一篇之clickhouse的出现背景以及使用场景(6000多字总结)
clickhouse核心介绍原创 2021-08-08 13:38:58 · 1114 阅读 · 0 评论 -
clickhouse系列第二篇之clickhouse的安装教程以及问题解决方案总结
查看是否支持SSE 4.2命令集grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"未安装解决:yum install git cmake python ninja-build安装完成之后 grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2原创 2021-08-03 17:02:52 · 1040 阅读 · 0 评论 -
数据存储之protocol buffers --一种节省内存的数据存储方式 知识点大总结
一:protocol buffers是一种与语言无关,平台无关,可扩展的数据存储的方法。可被用于通信协议和数据存储等。二:具体的工作流程:1. 自定义编写message,message主要是用来存储消息的元数据。message结构体是KV的方式来进行存储的,文件结尾是.proto2. 使用protocol buffer来对message进行编译,会自动生成指定语言的访问类。类中会包括message中定义的每一个字段的访问器以及将整个结构序列化为原始字节和解析原始字节的方法。3. 是相应的语言项目原创 2021-08-02 17:54:24 · 1017 阅读 · 0 评论 -
redis AOF和RDB持久化比较
一:redis持久化redis虽然作为内存式的数据库,但是数据是可以持久化到磁盘上的,持久化的方式有如下几种1,RDB:在特定的时间间隔内生成数据集的快照2,AOF:记录服务器执行的写操作的命令,在重启的时候重新执行一遍命令来进行数据集的还原。AOF文件中命令都是以redis协议的格式保存,新命令追加在末尾3,RDB和AOF持久化方式可以两者共存。如果共存的话,那么redis重启的时候会优先使用AOF来进行数据集的还原,因为AOF相对来说数据集更加的完整4,可以关闭持久化方式,让数据只存在服务器运转载 2020-10-31 16:53:44 · 130 阅读 · 0 评论 -
copy-on-write (写时复制) cow策略
1,写时复制是一种优化策略,核心思想,当有多个调用者同时请求一个资源的时候,那么多个调用者会同时获取同一个指针指向资源。当一个调用者想要对资源内容进行修改时,会copy一份资源给调用者,所有的操作对于其他的调用者都是透明的,直到操作完毕并保存。第一步:多个调用者指向同一指针,同一资源第二步:调用者试图修改资源优点:如果调用2只是访问资源,不修改资源的话,那么时不会有资源(副本)出现的...原创 2020-10-31 16:13:01 · 261 阅读 · 0 评论 -
数据仓库的那些事
一,定义:1,数据仓库是一个面向主题的,集成的,非易失的,随时间变化的用来支持管理人员决策的数据集合。- 面向主题:一个数据仓库的设计总是基于主题域去进行设计的,比如说是一个生产商的主题域就分为产品,订单,销售商和材料单等等,那么数据仓库就会基于这些主题去进行数据表的分层与分类设计- 集成的:数据仓库的数据有可能是多个数据源传递的,这些数据在进入到数据仓库中之后就进行数据的转换,格式化,重新排列以及汇总等操作。那么得到的数据只要是存在于数据仓库之中,就具有企业的单一的物理映像。数据在进入到数据仓库中之原创 2020-10-11 00:11:57 · 81 阅读 · 0 评论