关闭

YDB资源整理汇总

YDB介绍 什么是延云YDB 基于spark排序的一种更廉价的实现方案-附基于spark的性能测试 大索引技术大数据的未来 YDB技术原理 YDB技术原理 那些年我们在spark SQL上踩过的坑 YDB跟Solr Cloud、ElasticSearch区别 YDB安装部署 YDB依赖的硬件环境详解 YDB依赖的操作系统环境详解 YDB依赖的软件环境详解 YDB基于原版Ha...
阅读(156) 评论(0)

YDB,一种Spark快速数据分析替代方案

排序可以说是很多日志系统的硬指标(如按照时间逆序排序),如果一个大数据系统不能进行排序,基本上是这个系统属于不可用状态,排序算得上是大数据系统的一个“刚需”,无论大数据采用的是hadoop,还是spark,还是impala,hive,总之排序是必不可少的,排序的性能测试也是必不可少的。 有着计算奥运会之称的Sort Benchmark全球排序每年都会举行一次,每年巨头都会在排序上进行巨大的投入,...
阅读(906) 评论(0)

spark、hadoop、storm、solr、es在车辆分析上的分析与比较

自2012年以来,公安部交通管理局在全国范围内推广了机动车缉查布控系统(简称卡口系统),通过整合共享各地车辆智能监测记录等信息资源,建立了横向联网、纵向贯通的全国机动车缉查布控系统,实现了大范围车辆缉查布控和预警拦截、车辆轨迹、交通流量分析研判、重点车辆布控、交通违法行为甄别查处及侦破涉车案件等应用。在侦破肇事逃逸案件、查处涉车违法行为、治安防控以及反恐维稳等方面发挥着重要作用。 随着联网单位和...
阅读(1165) 评论(0)

超越spark性能数百倍的性能测试

排序可以说是很多日志系统的硬指标(如按照时间逆序排序),如果一个大数据系统不能进行排序,基本上是这个系统属于不可用状态,排序算得上是大数据系统的一个“刚需”,无论大数据采用的是hadoop,还是spark,还是impala,hive,总之排序是必不可少的,排序的性能测试也是必不可少的。 有着计算奥运会之称的Sort Benchmark全球排序每年都会举行一次,每年巨头都会在排序上进行巨大的投入,...
阅读(275) 评论(0)

基于spark排序的一种更廉价的实现方案-附基于spark的性能测试

排序可以说是很多日志系统的硬指标(如按照时间逆序排序),如果一个大数据系统不能进行排序,基本上是这个系统属于不可用状态,排序算得上是大数据系统的一个“刚需”,无论大数据采用的是hadoop,还是spark,还是impala,hive,总之排序是必不可少的,排序的性能测试也是必不可少的。        有着计算奥运会之称的Sort Benchmark全球排序每年都会举行一次,每年巨头都会在排序...
阅读(844) 评论(0)

hadoop中的排序新思路-附基于spark之上的性能测试

排序可以说是很多日志系统的硬指标(如按照时间逆序排序),如果一个大数据系统不能进行排序,基本上是这个系统属于不可用状态,排序算得上是大数据系统的一个“刚需”,无论大数据采用的是hadoop,还是spark,还是impala,hive,总之排序是必不可少的,排序的性能测试也是必不可少的。        有着计算奥运会之称的Sort Benchmark全球排序每年都会举行一次,每年巨头都会在排序...
阅读(411) 评论(0)

大数据基础环境搭建的从spark到hadoop,从底层硬件到上层软件的一些必备注意事项

一、硬件环境 硬件如何搭配,能做到比较高的性价比,不存在短板。合理的硬件搭配,对系统的稳定性也很关键。 1.CPU不是核数越高越好,性价比才是关键。       经常遇到很多的企业级客户,他们机器配置非常高,CPU有128 VCore,256G内存,但是只挂载了1块8T的SATA硬盘,千兆网卡。       这样的机器配置比较适合计算密集型的业务,但是如果是IO密集型的业务的话,就会发...
阅读(373) 评论(0)

美国可以实现几乎对全球无死角的监控,这是可能的吗?

美国可以实现几乎对全球无死角的监控,这是可能的吗?在技术上是如何做到的?  在中国有类似的技术么?         这几天看了谍影重重5,感触很大。海瑟·李使用的追踪系统真的很强大,只要有一点蛛丝马迹暴力在外面,就会被这个痕迹追踪系统查询到。但是真的存在这样的系统么?         这个痕迹追踪系统,总结起来有两大主要功能,查询是谁做的与查询谁在哪?          事...
阅读(447) 评论(0)

《谍影重重5》黑科技之即席踪迹查询

美国可以实现几乎对全球无死角的监控,这是可能的吗?在技术上是如何做到的?  在中国有类似的技术么?         事实上,出于国家安全的最高利益考虑,通过收集特定人群的通话记录,位置信息,交易记录,网络行为记录,出行记录,聊天记录等等,并运用大数据、人工智能等技术对数据加以利用,是公共安全行业信息化发展的主要方向。         为保障我国经济的持续快速发展,社会的安全稳定是基础条件。我...
阅读(169) 评论(0)

《谍影重重5》中的黑科技

为保障我国经济的持续快速发展,社会的安全稳定是基础条件。我国正在投入大量资源,应用包括大数据技术在内的多种高新技术,在公共安全,社会维稳,反恐反爆,案件侦破等多个领域。         事实上,出于国家安全的最高利益考虑,通过收集特定人群的通话记录,位置信息,交易记录,网络行为记录,出行记录,聊天记录等等,并运用大数据、人工智能等技术对数据加以利用,是公共安全行业信息化发展的主要方向。我们已...
阅读(155) 评论(0)

《谍影重重5》中的黑科技

为保障我国经济的持续快速发展,社会的安全稳定是基础条件。我国正在投入大量资源,应用包括大数据技术在内的多种高新技术,在公共安全,社会维稳,反恐反爆,案件侦破等多个领域。事实上,出于国家安全的最高利益考虑,通过收集特定人群的通话记录,位置信息,交易记录,网络行为记录,出行记录,聊天记录等等,并运用大数据、人工智能等技术对数据加以利用,是公共安全行业信息化发展的主要方向。我们已经看到国内的一些部门和地...
阅读(496) 评论(0)

大数据江湖之即席查询与分析(下篇)--手把手教你搭建即席查询与分析Demo

上篇小弟分享了几个“即席查询与分析”的典型案例,引起了不少共鸣,好多小伙伴迫不及待地追问我们:说好的“手把手教你搭建即席查询与分析Demo”啥时候能出?说到就得做到,差啥不能差人品,本篇只分享技术干货,目的只有一个,就是让每一个伙伴都能根据本篇向导搭建出一个“即席查询与分析Demo”。         为了让各位伙伴能够尽快上手体验,所选案例就以上一篇中的“机动车缉查布控即席查询与分析”为例,上...
阅读(981) 评论(0)

大数据江湖之即席查询与分析(中篇)--即席查询与分析的典型场景

上篇提到了大数据做数据分析的三种最为典型计算模式:批处理(Batch),即席查询与分析(Ad-hoc),流计算(Stream);对于批处理和流计算,虽然小弟也略知一二,早在Hive还没出来之前,也是从一字一句的写MapReduce代码走过来的,还有后来作为JStorm的Committer,老东家阿里把JStorm贡献给了Apache基金会,也算是在这两个领域有所涉足,不过小弟是领教过一些大神的,这...
阅读(745) 评论(1)

大数据江湖之即席查询与分析(上篇)--即席查询与分析的前世今生

如今,大数据领域新技术层出不穷,可谓百家争鸣,甚是红火。不乏有些玩家动辄搞出个大数据平台,可谓包罗万象,号称无所不能。小弟则以为在大数据江湖中如能修炼好独门绝技,有能拿得出手的看家本领已然实属不易。小弟有幸从2010年投身于大数据,并先后就职于阿里和腾讯,见过世面之后,自知才疏学浅,仅专注于大数据即席查询与分析技术。在此将多年所学所做汇聚成文,留下“大数据江湖之即席查询与分析”三部曲,为大数据即席...
阅读(622) 评论(0)

YDB函数

第八章YDB函数 一、如何区分Spark 的SQL解析层与YDB的SQL解析层       对于YDB系统来说,我们将索引与Spark集成在了一起,但是YDB层的SQL解析与SPARK 层的SQL解析是分别处理,大家可以注意下架构图里面的那两个箭头,注意下Spark层与ydb层SQL解析的位置。 1.从架构角度 2.从SQL角度看   二、YDB的S...
阅读(579) 评论(0)

基于原版Hadoop的YDB部署

YDB依赖环境准备 一、硬件环境 硬件如何搭配,能做到比较高的性价比,不存在短板。合理的硬件搭配,对系统的稳定性也很关键。 1.CPU不是核数越高越好,性价比才是关键。       经常遇到很多的企业级客户,他们机器配置非常高,CPU有128 VCore,256G内存,但是只挂载了1块8T的SATA硬盘,千兆网卡。       这样的机器配置比较适合计算密集型的业务,但是如果是I...
阅读(725) 评论(0)

延云YDB版本v1.0.7-beta版本上线

本次新增与改动如下: 1,支持多个merger servrer 为了应对集群规模越来越大造成的单节点的merger server压力过大,可以通过 ydb.request.split: 4参数,随机选择一定数量的worker担任merger server. 2,ydb on spark支持多集群     ydb on spark可以支持同一个表,跨多个ydb集群查询,用以应对单个ydb...
阅读(1351) 评论(0)

大数据时代分析工具的演变

大数据时代分析工具的演变            大数据如今已经不再是什么新的名词,五中全会大数据上升为国家战略,BAT巨头早已布局多年,大数据时代已经真正来临,但我们真的准备好了么?          大家都知道大数据中蕴含大量的数据价值,比如说淘宝与天猫的用户消费行为、滴滴打车可以知道用户每天去了哪里、用户在优酷上都看了那些视频、移动运营商的海量客户终端信息以及上网行为等、大型零售商每天的...
阅读(1104) 评论(0)

Hermes与开源的Solr、ElasticSearch的不同

Hermes与开源的Solr、ElasticSearch的不同          谈到Hermes的索引技术,相信很多同学都会想到Solr、ElasticSearch。Solr、ElasticSearch在真可谓是大名鼎鼎,是两个顶级项目,最近有些同学经常问我,“开源世界有Solr、ElasticSearch为什么还要使用Hermes?”          在回答这个问题之前,大家可以...
阅读(2278) 评论(1)

大索引技术,大数据的未来

不管你信也好,不信也好,大数据时代真的来临了,随着Hadoop技术的普及,其生态圈发展的越来越壮大,Hive、Hbase、Spark、storm等的一系列新名词不断的涌现在我们的眼里。似乎nosql一夜间,攻陷了全部的大数据阵地。 那么传统的关系型数据库的一些思路,真的没有用武之地了么?真的就一去不复返了么?当大数据技术大旗在每个山头摇摆的时候,我们躲在角落里还能做些什么?“索引”,没错,数据库...
阅读(1623) 评论(0)
38条 共2页1 2 下一页 尾页
    个人资料
    • 访问:95769次
    • 积分:1339
    • 等级:
    • 排名:千里之外
    • 原创:37篇
    • 转载:1篇
    • 译文:0篇
    • 评论:20条
    文章分类
    最新评论