蒋步星：轻量级大数据计算引擎

最新推荐文章于 2022-08-01 11:22:47 发布
最新推荐文章于 2022-08-01 11:22:47 发布
阅读量324 收藏
点赞数

大数据的技术本质实际上是高性能。而当前的大数据体系，无论是传统数据库的MPP体系还是HADOOP体系，体系结构都非常复杂，虽然其中有不少开源软件，但应用实施的成本仍然非常高，复杂的框架会消耗大量资源，实际运算性能并不够好，经常要靠加大集群节点数并增强硬件能力来获得期望的性能。

阅读原文

云栖精选
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
开发个人轻量级数据库引擎
aibi9196的博客
05-12 258
开发个人轻量级数据库引擎 Delphi / Windows SDK/APIhttp://www.delphi2007.net/DelphiDB/html/delphi_20061214173952300.html 我计划开发一个个人轻量级数据库引擎,用于一些特殊场合. 目前,已经用基于散列表的方式做了一个简单的.100W个记录的关键字查询时间,最慢不到0.5秒. 第一次...
【独家】蒋步星：慎思笃行，数据创业者的真实一面
weixin_33722405的博客
04-03 372
导读关系代数作为数据库的基础理论，四十年来并没有关键性的发展，仍然是当前业界的主流。然而，面对更复杂的需求和更大的数据量时，关系代数在运算描述和实施方面都显得有些力不从心。一家国内的新技术公司——润乾软件，敢于颠覆传统，开创性地提出来离散数据集模型，试图撼动关系代数在数据库领域的统治地位，开发拥有自主理论体系的新一代数据库和数据仓库。 润乾公司“创新技术...
轻量级内存计算引擎
chianju1936的博客
10-18 112
内存计算指数据事先存储于内存，各步骤中间结果不落硬盘的计算方式，适合性能要求较高，并发较大的情况。 HANA、TimesTen等内存数据库可实现内存计算，但这类产品价格昂贵结构复杂实施困难，总体拥有成本较高。本文介绍的集算器同样可实现内存计算，而且结构简单实施方便，是一种轻量级内存计算引擎。...
【数据蒋堂】第1期：多维分析的后台性能优化手段
weixin_34384915的博客
08-11 149
多维分析就是针对一个事先准备好的数据立方体实施旋转、切片（切块）、钻取等交互操作的过程，经常也被直接称为OLAP。它的后台运算在结构上很简单，如果用SQL语法描述，大体形式为： SELECT D,…, SUM(M), … FROM C WHERE D’=d’ AND … GROUP BY D,… 即对立方体按某些维度分组汇总某些测度。其中C是数据立...
eHunter_local：轻量级漫画阅读器
02-04
eHunter_local eHunter_local是本地版本 ，支持用于Windows和MacOS。 这是一种用于读取漫画的轻型图像阅读器。 预习 下载 提取码：czft 构建设置 # install dependencies npm install # serve with hot reload at ...
蒋步星+-+应对业务部门的数据请求.pdf
08-20
蒋步星在2017年的演讲中提出了几种策略和工具来应对这一挑战。 首先，业务部门对数据的需求是常态，包括直接的数据请求和新增报表查询。这种需求往往使技术部门工作量大增，响应速度慢，且数据准确度不高。为了解决...
TimeZoneConverter：轻量级库，可在IANA，Windows，Rails和POSIX时区之间进行转换
02-13
TimeZoneConverter是一个轻量级的库，可以在IANA，Windows和Rails时区名称之间快速转换。 TimeZoneConverter.Posix添加了对生成POSIX时区字符串的支持，这在IoT等特定情况下很有用。 TimeZoneConverter安装 PM > ...
蒋清野：公共云计算平台性能测试工具与方法
05-29
ezCloud联合创始人蒋清野表示由多台低配云主机组成的计算集群，处理能力高于单台高配云主机。同时由多台低配云主机组成的计算集群，性价比高于单台云主机。当需要增强处理能力时，应优先考虑横向扩展。
ws-rs:用于Rust的轻量级，事件驱动的WebSocket
04-06
轻量，事件驱动的 WebSockets。 /// A WebSocket echo server listen ( "127.0.0.1:3012" , | out | { move | msg | { out. send (msg) } }) 介绍 该库提供了使用的WebSockets 的实现。 它允许在单个线程上处理...
【干货】蒋步星：关系代数的问题及尝试
weixin_34148508的博客
04-03 449
讲座全文： 今天的内容分五个部分，开始先讲一下基本概念和背景；中间三部分都是数据分析的内容，这是今天的重点；最后一块研究得还不够深，但也涉及到关系代数，就放进来一起谈谈。 我们先从编程序谈起。 编程序到现在仍然并不是一件轻松的活。这里我们不去谈那些由于需求不清或变动而导致的困难，那是软件工程的目标。有一些问题，完全没有歧义，你明确知道解法，使用...
实时计算与SparkSteaming的对比
阿里云技术
03-04 539
实时计算概述 实时计算 阿里云实时计算（Alibaba Cloud Realtime Compute）是一套基于Apache Flink构建的一站式、高性能实时大数据处理平台，广泛适应于流式数据处理、离线数据处理等场景，最重要的一点是免运维，可以为企业节省了大量的成本。 产品模式 阿里云的实时计算产品模式有Flink云原生版和独享模式。目前Flink云原生版支持部署于容器服务ACK提供的Kuber...
表达式计算引擎
不了了之之了之
06-08 2055
Fel是轻量级的高效的表达式计算引擎 Fel在源自于企业项目，设计目标是为了满足不断变化的功能需求和性能需求。 Fel是开放的，引擎执行中的多个模块都可以扩展或替换。Fel的执行主要是通过函数实现,运算符(+、-等都是Fel函数），所有这些函数都是可以替换的，扩展函数也非常简单。 Fel有双引擎，同时支持解释执行和编译执行。可以根据性能要求选择执行方式。编译执行就是将表达式编译成字节码（
Spark Kudu 结合
热门推荐
spark的自由牧场的博客
05-24 1万+
Kudu的背景Hadoop中有很多组件，为了实现复杂的功能通常都是使用混合架构， Hbase：实现快速插入和修改，对大量的小规模查询也很迅速 HDFS/Parquet + Impala/Hive：对超大的数据集进行查询分析，对于这类场景， Parquet这种列式存储文件格式具有极大的优势。 HDFS/Parquet + Hbase:这种混合架构需要每隔一段时间将数据从hbase导出成Parquet文
Hadoop Spark太重，esProc SPL很轻
石臻臻的杂货铺(szzdzhp001)
08-01 1万+
作者石臻臻,CSDN博客之星Top5、、、华为云MVP,腾讯云TVP,滴滴Kafka技术专家、。。
轻量级大数据引擎
weixin_34306446的博客
07-26 363
内容来源：2018 年 1 月 27 日，润乾软件创始人蒋步星在“TECH INSIGHT 暨 ArchData技术峰会成都站”进行《轻量级大数据引擎》演讲分享。IT 大咖说（微信id：itdakashuo）作为独家视频合作方，经主办方和讲者审阅授权发布。阅读字数：5125 | 13分钟阅读回顾嘉宾演讲视频及PPT：suo.im/4SvnGR摘要本次演讲介绍了轻量级大数据计算的各方面优势，后续通过...
大数据--计算引擎分类
王猛的博客
06-27 5818
第一代计算引擎 首先第一代的计算引擎，无疑就是 Hadoop 承载的 MapReduce。这里大家应该都不会对 MapReduce 陌生，它将计算分为两个阶段，分别为 Map 和 Reduce。对于上层应用来说，就不得不想方设法去拆分算法，甚至于不得不在上层应用实现多个 Job 的串联，以完成一个完整的算法，例如迭代计算 第二代计算引擎 由于这样的弊端，催生了支持 DAG 框架的产生。因此，支持 D
大数据组件的主要计算引擎总结
ClearloveXXX的博客
09-18 2507
按照查询类型划分，一般分为即席查询和固化查询： 即席查询:通过手写sql完成一些临时的数据分析需求，这类sql形式多变、逻辑复杂，对查询时间没有严格要求 固化查询：指的是一些固化下来的取数、看数需求，通过数据产品的形式提供给用户，从而提高数据分析和运营的效率。这类的sql固定模式，对响应时间有较高要求。 按照计算引擎主要分为： 1、mapreduce计算模型(hive/pig等)。 ...
Fel表达式计算引擎
chen_jia_hao的博客
10-27 5624
一、Fel表达式计算引擎介绍 Fel在源自于企业项目，设计目标是为了满足不断变化的功能需求和性能需求。 Fel是开放的，引擎执行中的多个模块都可以扩展或替换。Fel的执行主要是通过函数实现,运算符(+、-等都是Fel函数），所有这些函数都是可以替换的，扩展函数也非常简单。 Fel有双引擎，同时支持解释执行和编译执行。可以根据性能要求选择执行方式。编译执行就是将表达式编译成字节码（生成java代...
第2章 数据的机器级表示（第64页开始讲）.ppt1
最新发布
08-03
第2章《数据的机器级表示》是计算机组织原理课程的重要部分，由蒋永国教授和徐惠敏老师主讲，主要探讨了数据在计算机硬件层面的表示方法。本章分为两大部分：第一讲是数值数据的表示，第二讲则是非数值数据的表示...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值