FeelTouch Labs

说真的，我有时候觉得技术社区里"PostgreSQL 碾压 MySQL"这个论调有点过了。不是说 PG 不好，PG 确实强，但这种表达方式忽略了"场景"这个前提。DB-Engines 的数据能说明一些问题：PostgreSQL 是现在唯一一个分数持续增长的主流关系数据库，MySQL 在下降，Oracle 也在下降。趋势上 PG 确实在赢。但趋势是趋势，你现在手里的系统是你的系统。

Doris 的架构设计极为简洁，只有 FE 和 BE 两个进程，像元数据高可用、数据副本高可靠等特性，都依托与诸如 BDBJE 等内置化模块来完成，不依赖任何的三方组件即可完成集群的搭建。两个独立进程，FE 负责对外提供交互、管理元数据信息、解析和下发执行任务等管控工作；BE 负责数据存储和计算工作，所以两个进程也是相对独立的，他们可以独立完成同类型角色的高可用部署。Doris 的负载均衡有两类四种：1.读写负载均衡：查询负载均衡、写入负载均衡2.存储负载均衡：节点负载均衡

数据仓库分层架构解析 本文系统介绍了数据仓库的分层架构设计，主要包括： 基础数据层（ODS）：最接近数据源的层级，进行ETL处理后保留原始数据特征，负责数据清洗、去重等预处理工作 数据仓库层（DW）： DWD（明细层）：保持与ODS相同粒度，进行数据质量处理 DWM（中间层）：轻度汇总，提高指标复用性 DWS（服务层）：主题宽表，支持业务查询和分析 应用层（APP）：面向业务应用的最终数据产品 维表层（DIM）：包含高低基数维度数据 分层设计通过"空间换时间"提升效率，实现数据解耦、口径

Apache Doris是一款基于MPP架构的高性能实时分析型数据库，具有亚秒级查询响应能力，支持高并发点查询与复杂分析场景。其发展始于百度Palo项目，2018年捐赠给Apache基金会，2022年成为顶级项目。Doris采用存算一体架构，包含FE（前端）和BE（后端）进程，支持高可用、高兼容MySQL协议，并提供实时数仓、湖仓一体等解决方案。核心特性包括列式存储、多种索引结构、向量化引擎及自适应查询优化。典型应用场景涵盖报表分析、即席查询、日志检索等，已被京东、小米等企业采用，支持与Hudi、Icebe

天翼云基于Apache Doris和Iceberg构建超大规模湖仓一体平台，成功解决数据孤岛问题。该平台已落地20多个项目，管理超15PB数据，在实时报表、湖仓融合、日志分析、物联网和信创领域取得突破性成果：查询响应缩短至秒级，写入吞吐提升5倍，并发处理达15000QPS，并通过国产化技术优化实现30%性能提升。这一实践为企业数字化转型提供了高效、安全的数据处理新范式。

2023年加入去哪儿旅行数据平台团队，主要负责数据平台OLAP引擎基础建设和相关数据产品研发工作。

算法基准测试超出了范围，因为您始终可以求助于https://github.com/erikbern/ann-benchmarks查找有关单个算法性能和权衡的详细信息。原文链接：https://towardsdatascience.com/milvus-pinecone-vespa-weaviate-vald-gsi-what-unites-these-buzz-words-and-what-makes-each-9c65a3bd0696。：自定义实现的 HNSW，调整到规模，并支持完整的 CRUD。

我们最近看到了一系列令人印象深刻的矢量数据库，例如 Chroma、Pinecone、Weaviate、Faiss 和 Qdrant，每个数据库都提供独特的功能和创新。随着人工智能的不断发展，矢量数据库在塑造数据检索、处理和分析的未来方面的作用无疑将会增强，并有望在各个领域提供更复杂、高效和个性化的解决方案。这就是矢量数据库发挥作用的地方，为这些人工智能驱动的应用程序提供高度优化的环境。矢量数据库已成为强大的工具，可以在广阔的非结构化数据（如图像、视频和文本）中导航，而无需严重依赖人类生成的标签或标记。

airflow是一个用来对例行任务进行调度的平台，可以将所有有依赖关系的任务整合在一起。

一、常用操作指令速查假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。0、启动与关闭启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh1、查看指定目录下内容hadoop dfs –ls [文件目录]...

先上正确运行的显示： 错误1：变量为IntWritable，接收的是LongWritable，如下图： 原因，多写了参数reporter，如下图： 错误2：数组超出边界，如下图： 原因：设置了combine类，如下图： 错误3：nullpointerexception异常，如下图： 原因：静态变量为null，赋值即可，如下图： 错误4：进入了map，但是无法

1、列出本地文件系统命令：[hadoop@master hadoop-2.5.2]$ bin/hadoop fs -ls file:///2、查看文件系统组成各个文件的块：[hadoop@master hadoop-2.5.2]$ bin/hadoop fsck / -files -blocks3、将本地文件，复制到HDFS中：[hadoop@maste

1、如何实现按窗口统计。实时统计本质上就是micro batch，把 batch 计算的窗口从一天缩小到分钟级别甚至秒级。所以实时计算的核心是窗口。而 Storm 的编程模型里没有窗口，如何在上层实现滚动窗口，滑动窗口，累积窗口，甚至是更复杂的基于业务逻辑的时间窗口模型。如何用远小于数据量（5w/s级别）的内存（700多m）实现实时计算。2、大数据量的处理，合并多partition的数据为

网址: http://www.cnblogs.com/panfeng412/archive/2012/12/16/storm-related-technique-summary.htmlStorm作为一个开源的分布式实时流计算框架，其内部实现使用了一些常用的技术，这里是对这些技术及其在Storm中作用的概括介绍。以此为基础，后续再深入了解Storm的内部实现细节。1. Zook

不得不说的RocksDB标题看起来是比较大了，因为无论Redis还是DynamoDB都堪称是各自领域的翘楚，已经非常好了。RocksDB：https://github.com/facebook/rocksdb/RocksDB是使用C++编写的嵌入式kv存储引擎，其键值均允许使用二进制流。由Facebook基于levelDB开发， 提供向后兼容的levelDB API。RocksDB针对Flash存储进行优化，延迟极小。RocksDB使用LSM存储引擎，纯C++编写。Java版本RocksJ.

背景饿了么对时序数据库的需求主要来自各监控系统，主要用于存储监控指标。原来使用graphite，后来慢慢有对指标有多维的需求(主要体现在对一个指标加多个Tag， 来组成Series，然后对Tag进行Filter和Group进行计算)，这时graphite基本很难满足需求。 业界现在用的比较多的主要有如下几类TSDB：InfluxDB：很多公司都在用，包括饿了么有部分监控系统也是用Influ...

简介官网地址：https://www.couchbase.com/Couchbase是一个较新的、发展迅速的nosql数据库技术。2014年，viber宣布使用Couchbase替换Mongodb，以适应10亿级的用户量，目前，Couchbase已大量运用于生产环境，国内使用的公司主要有新浪，腾讯等。Couchbase是CouchDB和MemBase的合并。而memBase是基于Memcached的。因此Couchbase联合了Couchbase的简单可靠和memcached的高性能，以及mem

简介ClickHouse是一个面向联机分析处理(OLAP)的开源的面向列式存储的DBMS，简称CK, 与Hadoop, Spark相比，ClickHouse很轻量级,由俄罗斯第一大搜索引擎Yandex于2016年6月发布, 开发语言为C++官网：https://clickhouse.tech/ClickHouse的特点开源的列存储数据库管理系统，支持线性扩展，简单方便，高可靠性，...

1. 简介网址：https://flywaydb.org/Flyway是一款开源的数据库版本管理工具，Flyway可以独立于应用实现管理并跟踪数据库的变更，Flyway根据自己的约定，不需要复杂的配置就可以实现数据的Migrate。Migrations可以写成SQL脚本，也可以写在Java代码中，Flyway还支持Spring Boot。2. 为什么要使用Flyway在真实的项...

Apache Samza是一个开源、分布式的流处理框架，它使用开源分布式消息处理系统Apache Kafka来实现消息服务，并使用资源管理器Apache Hadoop YARN实现容错处理、处理器隔离、安全性和资源管理。近日，从Apache官方博客中得知，开源的分布式流处理框架Samza历经18个月的孵化期后终于升级成为Apache的顶级项目。Samza由LinkedIn于2013年9月开源并作为...

2016年底，facebook 统计报告显示全球已经有33亿人接入互联网，如我们算上通信用户，那么全球有超过三分之二的人已经通过某种方式接入互联网，每一天，人类的活动都将产生海量的数据，并且量级呈指数级上升。正是海量数据的快速生成，对于海量数据的存储和处理的技术也相对应的快速发展，由于大数据领域的快速发展，统计分析已经无法把数据的优势完美发挥，从而促使机器学习的第三次爆发。几乎是每隔几个月，我...

Twitter的开源DistributedLog是一款高性能复制日志服务，能提供持久的可复制的强一致性（分布式事务机制），可以作为基础构建设施用于创建可靠的分布式系统，例如可复制的状态机(replicated-state-machine)、一般的pub/sub系统、分布式数据库和分布式队列等。是Kafka的竞争产品。分布式系统一般使用日志来构建可靠的复制性系统有两种范式，如下图：//p...

当前的大数据处理系统无论是何种架构都面临一个共同的问题，即：“计算是原生的流计算，而存储却不是原生的流存储” 。Pravega 团队重新思考了这一基本的数据处理和存储规则，为这一场景重新设计了一种新的存储类型，即原生的流存储，命名为”Pravega”，取梵语中“Good Speed”之意。本文是“分布式流存储 Pravega 系列文章”第二篇，第一篇文章回顾《为什么你需要开源分布式流存储 Prav...

日志是记下有序序列的不可变记录，并将记录可靠存储起来的最简单方法。如果你构建数据密集型分布式服务，很可能在某处需要一两个日志。我们Facebook构建许多庞大的分布式服务来存储和处理数据。想要连接数据处理管道的两个阶段，又不必担心数据流控制或数据丢失？让一个阶段写入日志，另一个阶段从日志读取。在维护大型分布式数据库上的索引？让索引服务读取更新日志，以适当的顺序应用所有更改。有一系列一周后要以特定顺...

TiDB概要TiDB 是 PingCAP 公司设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库，结合了传统的 RDBMS 和 NoSQL 的最佳特性。TiDB 兼容 MySQL，支持无限的水平扩展，具备强一致性和高可用性。TiDB 的目标是为 OLTP (Online Transactional Process...

简介InfluxDB是一个由InfluxData开发的开源时序型数据。它由Go写成，着力于高性能地查询与存储时序型数据。InfluxDB被广泛应用于存储系统的监控数据，IoT行业的实时数据等场景。常用的一种使用场景：监控数据统计。每毫秒记录一下电脑内存的使用情况，然后就可以根据统计的数据，利用图形化界面（InfluxDB V1一般配合Grafana）制作内存使用情况的折线图；其设计目标是实...

简介LevelDB是一个功能上类Redis的key/value存储引擎。Redis是一个基于纯内存的存储系统，而LevelDB是基于内存 + SSD的架构，内存存储最新的修改和热数据（可理解为缓存），SSD作为全量数据的持久化存储，所以LevelDB具备比redis更高的存储量，且具备良好的写入性能，读性能就略差了，主要原因是由于冷数据需要进行磁盘IO。Facebook在levelDB的基础上...

简介CouchDB是这两年很受geek追捧的数据库，作者曾是lotus开发人员。与传统的关系型数据库不同，它号称自己是文档数据库。所谓文档数据库，并不是说它只能存储文本，事实上因为它是一种schemal-less的概念。用过关系型数据库的同学都知道，数据表里定义的每一个字段都定义为一种类型：无论是int,char,datetime。但couchDB的字段只有三个：文档ID、文档版本号和内容。内...

本人之前一直使用PowerDesigner作为建模工具，MAC下一直使用虚拟机操作，非常不方便，无意间发现一款非常漂亮的开源建模工具PDMan，在此和大家分享。码云地址：PDMan-国产免费通用数据库建模工具（极简，漂亮）官网地址：PDMan-国产免费通用数据库建模工具（极简，漂亮）PDMan官方介绍PDMan是由国内知名金融IT上市公司，内部研发团队设计的一款面向数据库模型建模的软件，...

异常现象com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Data source rejected establishment of connection, message from server: "Too many connections"at sun.reflect.NativeConstructo...

问题描述异常堆栈如下：org.springframework.transaction.TransactionSystemException: nested exception is com.mysql.jdbc.excedbc4.MySQLNonTransientConnectionException: No operations allowed after connection closed...

使用springboot 线程池连接MySQL时，mysql数据库wait_timeout 为8个小时，所以程序第二天发现报错，在url配置了 autoReconnect=true 也不行，查询配置以下#验证连接的有效性spring.datasource.test-while-idle=true#获取连接时候验证，会影响性能spring.datasource.test-on-borr...

对于脏数据，除了通过程序来修复，也可以通过mysql本身来修复。问题一：查找指定组合字段的重复记录SELECT *FROM tb_teacher aWHERE (a.user_id, a.create_time) IN ( SELECT user_id, create_time FROM tb_teacher WHERE type = 3 GROU...

foreach标签foreach属性主要有item，index，collection，open，separator，close。1、item表示集合中每一个元素进行迭代时的别名，2、index指定一个名字，用于表示在迭代过程中，每次迭代到的位置，3、open表示该语句以什么开始，4、separator表示在每次进行迭代之间以什么符号作为分隔符，5、close表示以什么结束，6、collection...

MySQL表结构CREATE TABLE `tb_details` ( `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT, `order` varchar(255) COLLATE utf8_bin DEFAULT NULL, `user` varchar(255) COLLATE utf8_bin DEFAULT NULL, ...

1. 对于varchar字段的值要考虑是否区分大小写，即字段值大小敏感性 mysql 大小写遵循collate规则： *_bin: 表示的是binary case sensitive collation，区分大小写，#mysql对外提供了该方法 *_cs: case sensitive collation，区分大小写              #mysql暂未对外提供该方法 *_ci:...

转载： 作者 蒋专，现CDG事业群社交与效果广告部微信广告中心业务逻辑组员工，负责广告系统后台开发，2012年上海同济大学软件学院本科毕业，曾在百度凤巢工作三年，2016年入职微信广告中心。导语spark 已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因效率高，易用以及通用性越来越得到大家的青睐，我自己最近半年在接触spark以及spark streaming之后，对spa...

Apache Flink（下简称Flink）项目是大数据处理领域最近冉冉升起的一颗新星，其不同于其他大数据项目的诸多特性吸引了越来越多人的关注。本文将深入分析Flink的一些关键技术与特性，希望能够帮助读者对Flink有更加深入的了解，对其他大数据系统开发者也能有所裨益。本文假设读者已对MapReduce、Spark及Storm等大数据处理框架有所了解，同时熟悉流处理与批处理的基本概念。Fli...

成功启动MongoDB后，再打开一个命令行窗口输入mongo，就可以进行数据库的一些操作。输入help可以看到基本操作命令：show dbs:显示数据库列表show collections：显示当前数据库中的集合（类似关系数据库中的表）show users：显示用户use <db name>：切换当前数据库，这和MS-SQL里面的意思一样db.help()：显...

Redis提供的持久化机制　　　Redis是一种面向“key-value”类型数据的分布式NoSQL数据库系统，具有高性能、持久存储、适应高并发应用场景等优势。它虽然起步较晚，但发展却十分迅速。近日，Redis的作者在博客中写到，他看到的所有针对Redis的讨论中，对Redis持久化的误解是最大的，于是他写了一篇长文来对Redis的持久化进行了系统性的论述。文章主要包含三个方面：Red...