- 博客(21)
- 收藏
- 关注
RSS订阅原创 Fastdata for TSDB: SQL使时序数据可扩展
时间序列数据出现在越来越多的场景，监控和运维，传感器数据和物联网，金融数据，物流数据，应用程序使用数据等等。通常这些数据有着体积大，复杂性高的特性（如：多个测量量和标签关联一个时间点）。这就意味着，存储时间序列数据满足规模和复杂查询两方面的要求。然而，很难同时实现这两个属性。用户通常面临着水平可伸缩的NoSQL数据库与拥有强大查询能力的关系型数据库之间的权衡。
2021-08-16 10:02:30
293
原创 PostgreSQL正强势回归！
三十多年前发布第一个released以来，PostgreSQL正强势回归。PostgreSQL是现今增长最快的数据库，比MongoDB、Redis、MySQL和其它数据库的增长速度都要快。PostgreSQL功能上也已经成熟和扩展，这得益于核心的维护者和不断增长的社区。
2021-08-06 17:20:14
317
原创 打造“云边一体化”，时序时空数据库TSDB技术原理深度揭秘
作者：张川、杨维亮随着用户对时序数据存放成本的要求进一步提高，时序数据存储就成为了时序数据库的必修课之一，当前时序数据库采用Delta-delta， Simple-8b , XOR-base 等压缩算法，实现了释放90%的存储空间。所有计算都基于一个简单的原理：所有的信息都是用二进制表示的。虽然存储资源的价格越来越廉价，但是计算资源毕竟不是免费的。我们如果可能更加有效的存储这些信息， 我们就可以用在存储、计算和带宽上面节省更多的资源， 即压缩的定义：按照特定的编码机制用比未经编码少的数据位元..
2021-07-30 17:46:29
622
原创 还在使用NoSQL数据库？为IoT选择TSDB
IoT应用程序会生成大量的数据。虽然PostgreSQL功能强大，但能应用规模不多。使用TSDB可以将应用场景规模放大20倍，并应用在IoT领域。我们所说的“物联网”的根本，并不是字面意义上的“物”和“连接”，这些都早在十年内不是痛点了，而“数据”才是当前互联网面临的最大难题。
2021-07-22 14:48:17
776
1
原创 12个提升PostgreSQL_TSDB 插入性能的建议
本文将分别从以下两个方面给出提升插入性能的建议: 一提升PostgreSQL性能；二选择并配置TSDB以获得更好的插入性能。其中一些方法可能会让您感到比较新奇，但所有十二种方法都将帮助您在使用PostgreSQL和TSDB时提升写入性能。
2021-07-14 15:32:58
1418
4
原创 滴普FastData系列-自动化数据集成服务DCT可编程调度容器设计
作者：陈峰针对传统数据传输面临的问题和挑战：数据源多样性、数据传输不一致问题、不能有效满足数据实时性需求，并且传统的ETL缺乏智能调度和监控功能；工业企业的数据治理急需一套高效、实时的数据同步工具，滴普在服务客户进行数据治理的过程中，打磨了一套先进的数据同步产品DCT，也是滴普FastData产品组合中的重要模块。DCT在立项时曾确立了any2any的最终目标。Any2any意味着dct需要兼容各种数据源的读取与写入。据粗略统计，目前常用的数据源超过30种，按照排列组合计算，dct需要支持900种传输组
2021-03-01 19:04:36
464
原创 Fast AI人工智能审图平台-建筑图纸设计效率的倍增器
一、AI审图的需求背景建筑信息模型BIM，在建筑设计领域正成为一个关键、甚至强制的过程，用以确保规划、设计和建设协作的高效，BIM允许多个利益相关者和 AEC（建筑设计、工程、建筑施工）专业人员在一个模型中协作规划、设计和施工建筑物。目前建筑设计行业大都使用CAD软件绘制施工图（如图1所示），人工绘制的住宅CAD图纸需要通过审图程序或软件来判断是否存在违背国家标准的地方，目前大部分都依靠经验丰富的工程师来进行审核，但工作量大、效率低，因此通过软件AI图像识别的方式替代人工进行自动化审图迫在眉睫。由于住宅
2021-02-23 10:39:39
2054
原创 Fast AI for OCR—深度学习背景下的文字识别实践应用
作者：滴普科技-算法工程师-温志平Fast Data是滴普针对图像和数据打造的智能算法产品，分为图像识别和数据AI两大模块，图像识别部分主要基于深度学习和模式识别算法实现目标检测、分类、识别，机器视觉模块应用于工业缺陷检测、安防识别，其中OCR字符识别是图像识别模块的重要组成部分，接下来我们将从传统OCR的典型算法、应用领域展开分析，再结合滴普的实践，对传统OCR算法改进作深入剖析。1.OCR技术简述光学字符识别（Optical Character Recognition，OCR）是从图像中识别出文
2021-02-23 10:37:25
840
原创 滴普技术荟-云原生基座OpenKube开放容器实践（ 九）：K8S的ServiceIP实现原理
当我们在K8S上部署一个工作负载时，通常会设置多个副本（下面开始简称：Pod）来实现高可用，因为Pod的IP经常会变化，所以我们会给服务创建一个K8S的Service，如果Service的类型为ClusterIP的话，K8S会给这个Service分配一个ServiceIP，如果类型为NodePort，K8S会打开每一个节点的某个端口，然后我们调用这个服务就会使用K8S分配的ServiceIP或打开的端口，流量总是能转到后端的多个Pod上，这个ServiceIP只能在Pod和K8S的节点中访问，今天我们就来介
2021-02-20 17:41:05
193
原创 滴普技术荟-云原生基座OpenKube开放容器实践（八）：flannel-vxlan模式原理解析
前言上一章介绍完flannel的udp模式后，接着来介绍一下vxlan模式，因为很多生产的K8S都正在使用这个模式，所以将会介绍得详细些。在前面的章节中，我们介绍过配置linux vxlan完成跨主机的容器通信，flannel的vxlan模式大概完成的事情就是把那个章节中手工完成的事情自动化了而已，想了解的童鞋可以看回那一章《linux配置跨主机容器通信》vxlan模式下的flannel比udp模式少了一个组件，就是用c语言写的打开tun设备的守护进程flanneld，因为...
2021-02-20 17:38:21
206
原创 滴普技术荟-云原生基座OpenKube开放容器实践（七）：flannel-udp模式原理分析
本来上一篇文章应该是介绍flannel的udp模式的了，但因为其中的内容会涉及到linux虚拟网络设备tun的原理，所以先介绍一下tun设备，然后在这一篇才转入正题。flannel一共有UDP、VXLAN、HOST-GW三种工作模式，如果开启了Directrouting的话，会使用VXLAN和HOST-GW组合，不跨网段就使用HOST-GW，跨网段就使用VXLAN。对于host-gw和vxlan我们在前面的文章中有过简单地介绍，在这篇文章我们来分析一下flannel的UDP模式，虽然这种模式现在基.
2021-02-20 17:36:42
238
原创 滴普技术荟-云原生基座OpenKube开放容器实践（六）：理解linux虚拟网络设备tun
tun是linux的另一种虚拟网络设备，与前面讲过的veth类似，只是另一端连的不一样，veth设备是一端连着内核协议栈，另一端连着另一个netns的协议栈；而tun设备是一端连着内核协议栈，另一端连接着一个用户程序，任何时候从协议栈发到tun网卡的数据都能从用户程序中读到，而从用户程序写入/dev/net/tun的数据都会被内核协议栈收到。当我们通过程序打开/dev/net/tun设备时，就会发现我们的主机上多了一张网卡，打开多次会新增多张网卡，命名依次为tun0/tun1/tun2....，我.
2021-02-20 17:32:00
202
原创 滴普技术荟-云原生基座OpenKube开放容器实践（五）：linux配置跨主机容器通信
在本章主要完成以下几件事情：1.配置linux主机路由完成跨主机容器通信2.配置linux ip tunnel完成跨主机容器通信3.配置linux vxlan完成跨主机容器通信主机路由前面我们已经介绍了几种从容器到主机通信的配置方式，接下来我们通过配置主机路由来打通不同主机的容器，首先在两台主机上分别创建一个新的NS然后配置到各自主机的通信，环境如下：host1:host-name:worker2ip:10.57.4.20pod-cidr:192.168.10.0/24host2:ho
2021-02-20 17:27:13
230
原创 混合云管平台openkube日志系统介绍
作者：彭明明一：背景随着openkube系统一步步推进，混合云管理系统已显雏形，容器化部署逐步深入，应用部署依赖关系复杂、日志量庞大、运维和开发人员查看日志分析问题困难，目前搭建一套统一日志系统显的尤为重要。二：目标1.一站式日志平台打造统一日志管理平台，统一日志采集、日志分析、日志查询，一站解决运维、开发人员日志查询、分析、问题定位的痛点。2.跨平台日志采集支持多平台、多语种、多样式日志定制化采集。3.关键字高效查询在海量的历史记录中，只需输入关键字，即可轻松驾驭数据探勘工作，快速取得查
2021-01-19 10:33:23
458
原创 云原生基座OpenKube重塑企业统一管控平台
统一管控平台建设背景传统工业企业的管控平台采用的是Vmware虚拟化架构。某企业用户将业务系统部署在物理机和传统虚拟化环境，各个业务模块深度耦合，资源不能灵活的水平扩展。因此客户希望通过统一云管平台的建设实现数据中心资源统一部署管理、高效协同以及资源充分利用。需要针对工厂现有资源和新建业务系统资源，部署一套基于云原生架构的混合云管理平台，构建混合云管理能力，支撑业务系统一致性部署、资源弹性伸缩、应用云化迁移、应用跨集群部署、构建云原生微服务体系。传统Vmware虚拟化架构面临的挑战缺乏安全合规性。
2021-01-19 10:19:00
294
原创 滴普技术荟-云原生基座OpenKube开放容器实践（四）：linux模拟pod并配置上外网
前言这篇文章我们将完成以下几件事情：用docker模拟一个POD将这个POD和主机连接起来，在主机中能访问POD的网站让这个POD能上外网模拟一个PODPOD是一个K8S的逻辑概念，POD里会有一个或多个容器，他们之间共享一个网络命名空间，可以用localhost相互访问，下面我们将脱离开K8S，直接用docker来模拟这种情况：首先创建一个network=none的容器：这时候pause容器会新建一个网络命名空间，但不会加入docker0网桥中，我们用下面的命令来查看：我们再运行一个
2021-01-19 10:12:26
173
原创 滴普技术荟-云原生基座OpenKube开放容器实践（三）：理解linux虚拟网络设备bridge
前言上一节我们介绍了Linux veth设备，了解了如何把多个独立网络命名空间（下面开始简称NS）与主机互通，并且多个NS间也能相互通信，在这一节我们将介绍另一种方式，用linux bridge。linux bridgeLinux bridge即linux虚拟网桥，工作方式类似于物理的网络交换机，工作在二层时，能够转发以太网报文，能够学习MAC地址与端口的映射关系，下面通过一些示例来了解一下。我们将通过linux bridge连接两个NS，通过下面的命令可以创建一个linux bridge并启动：
2021-01-19 10:04:42
176
原创 滴普技术荟-云原生基座OpenKube开放容器实践（二）：理解linux虚拟网络设备veth
前言前面介绍了linux network namespace，接着介绍一下如何让一个独立的网络命名空间和主机的网络互通，这里我们需要用到linux虚拟网络设备veth。veth设备veth是linux的一种虚拟网络设备，它有点类似于两张网卡中间用一条网线连着，veth设备总是成对出现，通常用来连接不同网络命名空间（下面开始简称NS），一端连着NS1的内核协议栈，另一端连着NS2的内核协议栈，一端发送的数据会立刻被另一端接收。接下来我们通过一些示例来理解veth设备，我们创建一个新的NS，然后跟主机
2021-01-05 16:08:13
195
原创 滴普技术荟-云原生基座OpenKube开放容器实践（一）：如何理解Linux network namespace ？
network namespace 是linux内核提供的用于实现网络虚拟化的重要功能，它能创建多个隔离的网络空间，一个独立的网络空间内的防火墙、网卡、路由表、邻居表、协议栈都是独立的。不管是虚拟机还是容器，当运行在独立的命名空间时，就像是一台单独的主机一样。下面会通过一些例子来说明网络命名空间，以加深理解，会用到iproute2工具包的ip命令，请各位先自行安装，并且使用root权限操作。在centos下执行如下命令：验证安装完成：创建网络命名空间ip命令中用于操作网络命名空间的命令是ip
2021-01-05 16:02:37
147
原创 FastAI：基于机器视觉的典型多目标追踪算法应用实践
视频目标追踪算法是机器视觉中一项很实用重要的算法，视频目标追踪算法应用场景很广，比如智能监控、机器人视觉系统、虚拟现实（人体跟踪）、医学诊断（细胞状态跟踪）等。本文由滴普科技2048团队AI产品部算法工程师朱晓丽介绍基于机器视觉的典型多目标追踪算法应用实践。一、概述目标追踪算法分为单目标追踪SOT（Single-Object Track）和多目标追踪MOT(Multi-Object Track)[1][2]。在单目标跟踪中，使用给定的初始目标位置，在后续视频帧中对给定的物体进行位置预测。而多目标跟踪算.
2020-12-22 17:53:59
965
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人