- 博客(7)
- 收藏
- 关注
RSS订阅原创 YupDB如何通过视图表优化小表过多导致的性能问题
设想一下假如业务有成百上千张表，每张表有上百个列。如果想要根据关键字进行大量表数据的模糊检索怎么做？难道要将所有想查的表都查一遍嘛？NO！ 其实对于资源汇聚类型的搜索可以一条SQL就搞定，既兼容原先的表结构，又能让业务其他部分依然可以单表查询。如果我们的表特别多，几十张甚至几百张表，每张表的数据量又不大大概几亿或者几十亿，如果是这种情况其实是比较浪费资源的，可能会导致下面几种情况1.首先每...
2018-12-04 18:58:07
258
原创 [大数据检索数据库也要权限管理]-YupDB权限管理功能简介
在程序员圈子中流传着一句笑谈-[从入门到删库跑路]，虽然是一句玩笑话，但数据丢失所造成的后果是公司和企业所不能接受的，为了避免造成数据损失和数据泄露，业内一般会有如下两个解决思路：一是完善的权限管理，让运维人员删不了库。二是有效的审批机制，就算非要删库，也必须先向上级申请审批。在保证数据安全和分级管理方面，YupDB提供了权限管理功能，接下来给大家简单介绍一下权限管理功能的具体情况和如何...
2018-10-15 16:13:53
431
原创 Hadoop数据盘损坏对YupDB的影响及解决方案
一、问题描述 某生产环境中发现YupDB运行的Hadoop集群中有个datanode不能正常启动，查看datanode的日志发现：org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 11, volumes configured: 12...
2018-09-14 13:35:47
884
原创 大数据技术概览
一、大数据技术的发展的三个阶段 1. 存起来-等待机遇2009年开始BAT大力发展Hadoop技术，这个期间主要解决海量数据的存储与简单分析问题。既然大数据有价值，那么就先将数据存起来。要发挥数据的价值，我们先要有数据。网站浏览点击行为日志存储简单的PV与UV统计，满足基本需求更注重存储能力、集群规模、扩展能力2.用起来-市场化开始注重对大数据的整合，构成全...
2018-09-14 11:59:26
683
转载 Spark Streaming kafka实现数据零丢失的几种方式
在使用Spark streaming消费kafka数据时，程序异常中断的情况下发现会有数据丢失的风险，本文简单介绍如何解决这些问题。 在问题开始之前先解释下流处理中的几种可靠性语义： 1、At most once - 每条数据最多被处理一次（0次或1次），这种语义下会出现数据丢失的问题； 2、At least once - 每条数据最少被处理一次 (1次或更多)，这个不会出现数...
2018-09-06 11:44:40
1082
原创 [大数据搜索数据库YupDB]YupDB功能介绍-异构存储
众所周知SSD的性能是普通SATA 盘的百倍以上，但是SSD真是太贵太贵了, 100T的存储用SATA盘可能才五六万块钱，同样大小即使最廉价的三星SSD也需要50～60万才能下来，如果是十台呢？二十台呢？如何用SATA盘的成本，让YupDB有着近似于SSD 的性能？ 答案就是———— 让我们先来了解下如何通过异构存储来节约我们的存储成本. YupDB的文件存储由两部分组成,分别为数...
2018-09-03 16:06:41
715
原创 基于Spark之上的YupDB技术原理
一.YUP DB的本质? 在Spark之上基于搜索引擎技术，实现索引和搜索功能。 既有搜索引擎的查询速度，又有Spark强大的分析计算能力。 可对多个字段进行关键字全匹配或模糊匹配检索，并可对检索结果集进行分组、排序、计算等统计分析操作。 二.多种技术组合-万亿数据秒级查询 三.整体架构 四.倒排索引与跳跃表 1. 倒排索引与跳跃表基本原理 2.与开源的倒排索引...
2018-09-03 16:05:34
571
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人