- 博客(28)
- 收藏
- 关注
RSS订阅原创 openLooKeng助力中移在线获“ICT优秀案例”
近日华为联合中国移动在线营销服务中心共同申报的“中国移动在线营销服务中心全栈自主可控基础软件最佳实践”荣获了《人民邮电报》2021年“ICT优秀案例”“强基筑魂卓越创新标杆”称号。背景操作系统、数据库和中间件等基础软件作为业务系统的底层核心，需要首先保障安全可靠和自主可控，确保遇到风险时，关键信息不泄露、实时数据服务不中断。2020年12月8日，RedHat官方宣布CentOS 发布模式变化，由当前RHEL下游稳定版本，变为未来上游开发版本，CentOS8 将在2021年12月31日停止维护（EOL）。
2022-01-29 14:54:50
3132
原创 openLooKeng算子接口和执行流程
1 openLooKeng 算子接口1.1 openLooKeng算子相关类▲ 图1-1 算子相关类openLooKeng生成物理执行计划后，真正执行计划的是一个一个的算子（即Operator）。openLooKeng中将算子抽象为Operator接口，将算子工厂抽象为OperatorFactory接口，如图1-1所示。而具体的算子则实现相应的OperatorFactory接口和Operator接口即可。例如Limit算子，在openLooKeng中会相应的有LimitOperatorFactor
2022-01-29 14:48:53
684
原创 openLooKeng | Oracle update和delete支持简介及实现
Oracle update和delete是openLooKeng在Oracle connector上提供的对Oracle数据源进行更新和删除操作的特性，此特性除实现对Oracle数据源update和delete操作的直接支持，还提供了适配开发接口，基于这些接口可以开发某些数据源的update和delete操作。功能介绍update和delete操作，先通过查询操作获取到满足条件的行，这些行每行有一个唯一的rowid的值来标识，然后对行数据进行update和delete操作，对于delete操作还提供额外
2022-01-29 14:34:18
2792
原创 openLooKeng基于选择率的动态过滤优化
如之前openLooKeng博客中所述，动态过滤的核心思想是依靠join条件以及build侧表读出的数据，运行时生成动态过滤条件（dynamic filters），应用到probe侧表的table scan阶段，从而减少参与join操作的数据量，有效地减少IO读取与网络传输。动态过滤优化方法partial filters的构建partial filters合并partial filters以及merged filters的传输merged filters应用动态过滤特性系统架
2022-01-29 14:18:15
732
原创 openLooKeng1.5.0新版本正式上线
自2020年6月30日开源以来。至今，openLooKeng社区用户数达到 100K +，累计收到 2000+ PR，1500+ Issue，1500+ Comments，2021年，社区下载量突破 100K +；遍及全球41个国家、210个城市。越来越多的人关注到openLooKeng，如今，社区呈现一派生机勃勃，绿荫环绕的景象。每一次的迭代更新，openLooKeng都致力于为用户提供了极简的数据分析体验。2022年1月，新年伊始，在小伙伴的支持下，openLooKeng迎来了新版本v1.5.0o
2022-01-29 10:02:05
2033
原创 参加开源贡献后，大厂向我抛出了橄榄枝
–本文为社区伙伴heatao原创投稿，未进允许请勿转载。– 转载需联系openLooKeng社区小助手微信。前言2021 年，openLooKeng社区又迎来了新的蓬勃发展，社区活跃度持续提高。目前，openLooKeng社区用户数达到100k+，社区下载量突破100k+，累计收到2000+PR，1500+PR，1500+comments。当前社区汇集了30+来自金融、政府、互联网、教育等不同行业的合作伙伴加入。如今社区一派生机勃勃，绿荫环绕的景象。近期，openLooKeng社区特推出《社区超
2022-01-28 15:54:13
464
原创 openLooKeng社区Apache Log4j2高危安全漏洞修复完成，建议用户升级
近日，openLooKeng注意到Apache Log4j2反序列化远程代码执行漏洞（CVE ID为CVE-2021-44228），并成功进行修复。详细方案如下，建议所有用户升级。Apache Log4j2远程代码执行漏洞修复解决方案【漏洞描述】Apache Log4j2是一个基于Java的日志记录工具。该工具重写了Log4j框架，并引入了大量丰富的特性。该日志框架被广泛地用于中间件、开发框架与Web应用中，用来记录日志信息。由于组件存在 Java JNDI 注入漏洞，当程序将用户输入的数据记入日志
2021-12-15 10:27:09
2281
原创 openLooKeng ODBC用户手册
hi！小伙伴们！小编今天又给大家整了些干货！今天就给大家来介绍一下openLooKeng ODBC的用户使用手册本手册包含Windows版本openLooKeng ODBC驱动程序的相关信息包括驱动的安装与ODBC数据源的配置以及驱动的基本信息还不快快搭上这篇干货手册的快车！冲鸭！ODBC：开放数据连接ODBC(Open Database Connectivity 开放数据连接)是微软提出的一个能让应用访问不同DBMS的互操作接口协议，其定义了一个通用的数据库访问机制并提供了一组访问数据
2021-12-10 16:04:33
847
原创 openLooKeng视图详解
前言视图是从一个或多个表导出的虚拟的表，区分权限是其重要作用之一。举个例子，在班级里，班主任需要掌握全班同学各科成绩，获悉整体状态以便全面指导，而数学老师只需要知道同学们的数学成绩。数据库中我们常听到视图的说法。其实，大数据多源查询分析引擎openLooKeng也是有视图的概念，下面会以Hive Connector对存在的几种视图进行讲解。VDM连接器这个是openLooKeng新开发的一个连接器，主要可使用场景如：在一些场景中，需要在同一个会话或视图中管理或访问多个数据源，同时，用户不需要关心数据
2021-11-22 09:41:28
1638
原创 openLooKeng v1.4.1 上线，OmniData Connector 来了
前言前不久，在Hadoop、openLooKeng联合发起的Apache Hadoop Meetup 2021上，社区 PMC 主席 Ken Zhang 分享了主题：openLooKeng and the technical trend of big data（点此回顾），其中OmniRuntime 受到不少朋友的关注。11月12日，openLooKeng v1.4.1正式上线。除了对旧版本进行一些优化外，v1.4.1版本还引入了OmniData Connector。作为OmniRuntime的组件之一，
2021-11-15 09:07:32
1324
原创 用一个简单的UserCase，带你认识openLooKeng的行级权限控制
Hi，朋友。openLooKeng近期带来了许多技术干货，前有安装部署，后有安全认证机制、Hash Join的使用介绍等等，如果您正在使用openLooKeng, 希望这些技术博客能够帮助到您。本期，社区小伙伴将用一个User Case，简单介绍openLooKeng的行级权限控制。openLooKeng的行级权限控制行级权限的作用通过 Rowfilter 实现对表数据行级别的权限控制：指定特定用户只能访问授权过的行，隐藏未授权的行数据。Use Case源数据表：配置Rowfilter策略：
2021-11-11 17:33:39
294
原创 从构建到使用，openLooKeng 如何实现 Hash Join ？
Hash Join是在进行多表连接时常用的方式之一。那如何在openLooKeng上构建并实现Hash Join？openLooKeng支持的Join类型有哪些？本期，社区小伙伴将分享[openLooKeng Hash Join 实现原理]，从构建到使用，内容十分详细，希望对大家有帮助。1 openLooKeng Join概述为了更好的介绍join，我们创建两个非常简单的表t1和t2。执行的SQL语句如下：create table t1(id bigint, value bigint);insert
2021-11-04 19:06:04
271
原创 浅析openLooKeng安全认证机制
前言通过openLooKeng的官网https://openlookeng.io/zh-cn/docs/docs/overview.html我们可以知道其支持对外部用户的认证的，主要方式有Kerberos和Password(LDAP)认证，本文主要讲解其认证原理。认证机制在了解认证之前不得不提一下Servlet中的FilterChain的doFilter方法的作用如下图示，在客户端和服务器端之间会有很多filter,通常称为filter链。通过FilterChain我们可能进行很多的过虑操作。当然我们
2021-11-03 14:59:17
470
原创 新版本发布！openLooKeng v1.4.0上线
朋友们openLooKeng 新版本 v1.4.0 正式上线啦！2020年6月开源以来，每一次的迭代更新，openLooKeng均为用户提供了更为简单与可靠的数据分析体验。这也使得搭载openLooKeng的用户伙伴越来越多。也因为有来自ISV、政府，金融、互联网多个行业的支持，社区才愈加有活力。我们感谢用户与社区小伙伴的支持。金秋10月， openLooKeng 新版本 v1.4.0 正式发布。基于社区用户和开发者的体验和建议，新版本在原基础上进行了一些优化，以提升引擎性能。欢迎大家下载体验。op
2021-10-22 14:42:06
356
原创 超简单教程！自动部署openLooKeng
除了手动部署openLooKeng服务器外，还可以按照以下指导更快、更容易地完成部署。这个脚本对大多数Linux操作系统都很友好。但是，对于Ubuntu，需要手动安装以下依赖项。sshpass1.06及以上版本在单个节点上部署openLooKeng执行以下命令可以帮助你一键下载所需的软件包和部署openLooKeng服务器：bash <(wget -qO- https://download.openlookeng.io/install.sh)或：wget -O - https:/
2021-09-30 22:11:51
686
原创 基于Hive Connector的openLooKeng Connector 创建复用机制剖析
openLooKeng，Make Big Data SimplifiedopenLooKeng是一款开源的高效数据虚拟化分析引擎。本期，来自光大银行的小伙伴将为我们分享一篇博客，[基于Hive Connector的openLooKeng Connector创建复用机制剖析]，非常感谢这位小伙伴的投稿。基于Hive Connector的openLooKeng Connector 创建复用机制剖析本文作者 / 程一舰 中国光大银行总行信息科技部前言openLooKeng作为一种跨多源数据的联邦计
2021-09-18 18:23:36
408
原创 Hazelcast在openLooKeng中的应用（Cache篇）
openLooKeng，Make Big Data SimplifiedopenLooKeng是一款开源的高效数据虚拟化分析引擎。在使用openLooKeng过程中，社区一小伙伴遇到数据查询存在不同步的问题；对此，该小伙伴非常给力，向社区提供了解决方案。我们非常感谢他的支持，也希望本篇博客对其他小伙伴有帮助。欢迎访问openLooKeng官网https://openlookeng.io社区代码仓https://gitee.com/openlookeng本期分享问题openLooKeng的查
2021-09-15 18:06:30
328
原创 手把手教你如何在windows下搭建openLooKeng开发环境
当我们在进行openLooKeng某个项目任务时，很多情况下，需要在openLooKeng下进行开发调试，但只有windows 电脑的我们该怎么做？本期，小助手将介绍在Windows下搭建openLooKeng开发环境的方法，希望对朋友们有帮助。如果您有任何想要交流的，欢迎在社区内提Issue；也欢迎加小助手微信，进入专属技术交流群。欢迎访问官网 https://openlookeng.io搭建openLooKeng开发环境(win运行presto)首先要确认拥有代码的git clone权限
2021-09-12 11:31:56
666
1
原创 openLooKeng+Ranger+LDAP 认证鉴权能力演示
openLooKeng可以对接LDAP完成认证，同时对接Ranger完成权限控制。本次演示使用的是我们的实验openLooKeng版本（开源openLooKeng的三层结构catalog-schema-table，在实验版本中扩展为catalog-vdb-schema-table4层结构），你也可以采用开源openLooKeng达到完全相同的认证和鉴权的安全能力。总体演示步骤：LDAP上已经配置好用户tom，密码为：Huawei@123在Ranger已经配置好用户tom的访问权限通过openLooK
2021-09-08 18:24:39
644
原创 如何拥有自己的openLooKeng？超详细的安装配置指导看这里
朋友们，如果您关注我们，知道openLooKeng近期赛事活动很多，前有暑期2021，后有信创大赛、互联网+比赛等等。基于大家在赛题准备上的一些疑问，小助手联合社区的老师们，为大家准备一些相关的技术文章，希望对您有帮助。如果您有想要交流的，欢迎在社区代码仓内提Issue。社区代码仓 https://gitee.com/openlookeng欢迎访问官网 https://openlookeng.io本期主题**01 **软件安装说明：需要提前手动部署 jdk1.1
2021-09-03 19:16:22
1378
原创 openLooKeng新下推框架的介绍与实践
openLooKeng 1.2.0 版本有一个新的通用算子下推框架，让Connector 参与到执行计划优化中，提升查询性能。那Connector具体怎么参与到执行计划中？开发者又该如何进行适配？罗旦老师的这篇博客，将帮助我们进一步了解openLooKeng新下推框架。
2021-05-07 19:00:36
592
原创 openLooKeng-Hbase Connector的介绍与性能提升
1. HBase Connector介绍数据虚拟化引擎openLooKeng中的HBase Connector支持访问Apache HBase集群并进行查询和创建表的操作。用户可以在openLooKeng中创建表，并映射到HBase Cluster中已有的表，支持INSERT、SELECT和DELETE操作。——一个简单的全表扫描的sql的执行，会经历哪些阶段：首先该sql将要访问的数据，一定是属于某一个数据源的，那么一个通用的Connector需要做哪些事情。Sql的解析是由openLooKeng
2021-04-28 20:13:47
493
1
原创 基于openLooKeng的跨源、跨域大数据分析性能优化实践
1 大数据分析现状和背景1.1 大数据分析现状从2008年Hadoop成为Apache顶级项目之后，大数据技术经历了一个繁荣的发展阶段，各种组件层出不穷，上图显示了，当前查询分析软件有300+，这也导致了当前大数据平台就像堆积木一样，数据在各个组件之间流转，需要冗长的ETL过程，数据存在多个副本，开发者需要多种系统的编程语言，开发难度高，使用复杂；如上图所示，市场占有率最高也仅仅11%，老牌数据库厂商Oracle仅仅占优9%，而others占了53%，即没有巨头，新进入者有巨大的机会；从上图可
2021-04-21 16:18:04
1407
原创 如何使用Ranger增强权限管理？
日前，openLooKeng发布了新版本v1.2.0。在易用性和安全性上，该版本优化了数据加载性能，新增结果分页显示、动态添加目录等新功能，为用户提供更加友好的使用界面；同时也丰富了Ranger的功能，使openLooKeng可以提供更高细粒度的权限控制。本期，openLooKeng的开发工程师 - 马晓琦老师将为小伙伴们详细解读权限管理的内容。当然，您可以面对面跟老师交流• • •openLooKeng是一款开源的高性能数据虚拟化引擎，提供统一SQL接口，具备跨数据源/数据中心分析能力，为大数据用
2021-04-15 10:46:24
410
1
原创 openLooKeng v1.2.0 正式发布
暖春3月，在社区小伙伴的期待下，openLooKeng迎来了新版本V1.2.0。openLooKeng V1.2.0是在旧版本的基础上进行优化，并基于小伙伴们的体验和建议，新增一些技术，以提高引擎性能，争取为大家带来更丝滑流畅的体验。于引擎内核来说，主要增强两个维度：融合分析场景和性能。查询容错增强，提高引擎执行的可靠性在批查询处理运行的过程中，当某个工作节点出现故障时，可在其他节点上恢复任务，比如对Hive数据源的 insert 和 create table as select 操作。针对长时间
2021-04-14 19:28:54
403
2
转载 数据虚拟化引擎openLooKeng介绍
数据虚拟化引擎openLooKeng介绍大数据分析的现状及问题21世纪是信息爆炸的世纪，随着IT技术的飞速发展，越来越多的应用源源不断的产生数以亿计的数据。在过去的近一个世纪里，科学家与工程师发明了各种各样的数据管理系统来存储与管理各种各样的数据：关系型数据库、NoSQL数据库，文档数据库、Key-value数据库，对象存储系统等等。形态多样的数据管理系统为企业组织在管理数据上带来便利的同时，随之而来的是管理与充分利用这些数据系统存储的数据的难题。无论是关系型数据库中的PostgreSQL或者MyS
2021-04-14 19:22:42
1997
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人