![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 88
不夜De星空
这个作者很懒,什么都没留下…
展开
-
TDengine中的伪列
伪列不是 TDengine 的独创概念,熟悉 Oracle 的都知道,在 Oracle 中就经常使用伪列 ROWID 和 ROWNUM。在《TDengine3.0 踩坑实录》吐槽过TDengine 的有些查询,需要使用伪列才能获取到想要的结果。吐槽归吐槽,真正要使用 TDengine,还是必须要了解伪列的。转载 2023-03-28 16:15:01 · 323 阅读 · 0 评论 -
计算处理 Json 的 Java 开源库 esProc SPL
注意:在 SPL 代码里,Json 串是常数,可以直接使用,但在 Java 代码里,Json 串是普通字符串,传入 SPL 后需要先用 json() 函数解析再使用。在 Java 中调用 SPL 脚本:将上述 SPL 脚本存为文件 (比如 splFile.splx),再在 Java 中以存储过程的形式引用该文件名。计算目标:Java 将该 json 串传入 SPL,SPL 解析 Json,合并下层订单,并进行过滤。,不过从源码编译比较麻烦,官方提供了已经编译好的安装包,可以从。转载 2023-01-30 15:59:47 · 1560 阅读 · 0 评论 -
开源 SPL,Webservice/Restful 的后处理利器
后来,XPath/JsonPath、Python Pandas、Scala这类专业的json/XML的后处理技术出现了,才终于在保证较好架构性的同时,提供了一定的计算能力。但这些技术也存在各自的问题,XPath/JsonPath只支持条件查询和简单聚合,不支持一般的日常计算,比如排序、去重、分组汇总、关联、交集等,而且没有自己的多层数据对象,计算能力较差。SPL是JVM下开源的结构化数据/多层数据处理语言,内置专业的多层数据对象和方便的层次访问方法,可以表达复杂的层次关系,为上层计算能力提供有力的支持。转载 2023-01-30 15:58:32 · 219 阅读 · 0 评论 -
数据仓库架构及基础知识
「来源: |架构师技术联盟 ID:ICT_Architect」1、什么是数据仓库?权威定义:数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。1)数据仓库是用于支持决策、面向分析型数据处理;2)对多个异构的数据源有效集成,集成后按照主题进行重组,并包含历史数据,而且存放在数据仓库中的数据一般不再修改。面对大数据的多样性,在存储和处理这些大数据时,我们就必须要知道两个重要的技术。分别是:数据仓库技术、Hadoop。当数据为结构化数据,来自传统的转载 2022-04-27 14:29:23 · 2092 阅读 · 0 评论 -
Apache Storm教程 - W3Cschool
Apache Storm简介什么是Apache Storm?Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架,具有最高的摄取率。虽然Storm是无状态的,它通过Apache ZooKeeper管理分布式环境和集群状态。它很简单,您可以并行地对实时数据执行各种操作。Apache Storm继续成为实时数据分析的领导者。Storm易于设置和操作,并且它保证每个消息将通过拓扑至少处理一次。Apache Storm v转载 2022-04-25 10:38:13 · 1084 阅读 · 0 评论 -
收藏!一张图建立全面的大数据知识体系
对海量数据进行存储、计算、分析、挖掘处理需要依赖一系列的大数据技术,而大数据技术又涉及了分布式计算、高并发处理、高可用处理、集群、实时性计算等,可以说是汇集了当前 IT 领域热门流行的 IT 技术。本文对大数据技术知识体系进行划分,共分为基础技术、数据采集、数据传输、数据组织集成、数据应用、数据治理,进行相关的阐述说明,并列出目前业界主流的相关框架、系统、数据库、工具等。前言最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职...转载 2020-07-29 09:27:32 · 962 阅读 · 0 评论