延云YDB版本v1.0.7-beta版本上线

原创 2016年01月14日 20:57:05


本次新增与改动如下:

1,支持多个merger servrer
为了应对集群规模越来越大造成的单节点的merger server压力过大,可以通过 ydb.request.split: 4参数,随机选择一定数量的worker担任merger server.

2,ydb on spark支持多集群

    ydb on spark可以支持同一个表,跨多个ydb集群查询,用以应对单个ydb集群在集群规模达百台规模以后hdfs与zookeeper等系统响应变慢等因素,通过这种方式ydb可以支持线性扩展到数千台集群规模,额不用担心到达这个规模后zookeeper,namenode的问题。

3.完善ydb on spark是使用用例

  SparkExampleBasic 为ydb on spark基本使用用例

    SparkExampleJoin 为ydb on spark中的高性能的join使用用例

4.添加参数,可以配置当有部分worker失效依然可以查询

   允许部分对数据准确性不敏感的业务使用。可以通过ydb.topoplgy.worker.allowfail.count来配置,在某一时间允许出现多少个worker宕机后依然可以查询ydb.

5.重构核心代码,提升计算性能。

6.通过文件导入数据不在要求用户来控制数据粒度,不在要求用户保持均衡,而是自动进行文件切分,保证多个节点之间的数据均衡。

新的json导入接口为

http://127.0.0.1:8080/insertdir?hdfsdir=/data/myntest/jsondata_example.txt

新的按照分隔符导入配置与接口为


可以在ydb_site.yaml里添加如下配置

 ydb.reader.list: "default,filesplit"

 ydb.reader.read.class.filesplit: "cn.net.ycloud.ydb.server.reader.HdfsTxtDataReader"

 ydb.reader.parser.class.filesplit: "cn.net.ycloud.ydb.server.reader.FileSplitParser"

然后调用如下的接口完成批量导入

http://127.0.0.1:8080/insertdir?reader=filesplit&tablename=ydb_example_shu&partion=20160110&splitInfo=,&hdfsdir=/data/ydb/shu_discp


7,读与写的buffer合并,原先是分开的,现在在索引创建完毕后,刚刚生成的索引文件是在buffer中的,这样就不需要在读取这个索引的时候,再次从hdfs中读取索引了,从而提升查询效率。

8,在页面中添加表的数据预览功能sql view

9,优化删分区数据的处理逻辑

10,修正实时导数据会有百万分之一数据丢失的BUG

    bug原因为,原先的数据ID时根据crc32生成的,偶尔会碰到crc32碰撞,导致数据被覆盖。





YDB下载地址:

您必须同意授权使用协议才允许使用该软件  授权协议下载


当前版本v1.0.7

获取延云YDB


https://yunpan.cn/cuTv9KjLbNCYg  访问密码 b612


也可以访问延云官方 随时获取最新的版本 http://ycloud.net.cn



http://ycloud.net.cn/newsitem/277251571

延云YDB&&YA100安装部署文档

YDB:实时在线分析(OLAP)系统:是我们自主研发的一个大型分布式索引系统。旨在为数据总量为万亿级别、每天千亿级别数据增量的项目提供近似实时的数据导入,并提供近似实时响应的多维查询与统计服务。 Y...
  • qq_33160722
  • qq_33160722
  • 2016年05月01日 17:54
  • 10024

如何制作一个RPM包

1.下载安装rpm包制作工具‘rpmdevtools ’。 $ sudo yum install -y rpm-build rpmdevtools 2 . 运行 rpmdev-setuptr...
  • Hello_Word___
  • Hello_Word___
  • 2017年02月23日 16:34
  • 121

延云YDB安装与使用说明书

  • 2015年11月29日 18:17
  • 999KB
  • 下载

历时三个月的反反复复测试,延云YDB版本v1.1.6正式发布

历时三个月的反反复复测试,延云YDB版本v1.1.6正式发布 一、1000多项数据比对用例,近千种SQL。 二、包括业界基准测试tpc-h,tpc-ds以及近一年积累的全部的案例SQL。 三、循环生...
  • qq_33160722
  • qq_33160722
  • 2017年02月04日 13:52
  • 875

只需六点教您深度辨识延云YDB

暴力扫描。 暴力扫描的方式,不用多说,性能很差,需要狂堆机器,成本也太高。而这类系统一般的并发也不大,如果数据量在百亿级别,千台的集群规模,一天也就能进行几十万次的查询而已。 YDB则采用...
  • qq_33160722
  • qq_33160722
  • 2015年12月03日 21:03
  • 1209

延云YDB基础

第二章 YDB基础 一、YDB是什么?       YDB全称延云YDB,是一个基于Hadoop分布式架构下的实时的、多维的、交互式的查询、统计、分析引擎,具有万亿数据规模下的秒级性能表现,并...
  • weixin_37242857
  • weixin_37242857
  • 2017年02月25日 20:55
  • 503

延云YDB安装与使用说明书v1.0.2_

  • 2015年12月03日 13:49
  • 1.08MB
  • 下载

延云YDB-运行程序v1.0.1

  • 2015年11月30日 20:14
  • 50.27MB
  • 下载

延云YDB版本v1.0.7-beta版本上线

本次新增与改动如下: 1,支持多个merger servrer 为了应对集群规模越来越大造成的单节点的merger server压力过大,可以通过 ydb.request.split: 4参数...
  • muyannian
  • muyannian
  • 2016年01月14日 20:57
  • 1647

延云YDB 大数据 万亿数据秒查

  • 2016年12月02日 10:20
  • 2.83MB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:延云YDB版本v1.0.7-beta版本上线
举报原因:
原因补充:

(最多只允许输入30个字)