关闭

YDB资源整理汇总

YDB介绍 什么是延云YDB 基于spark排序的一种更廉价的实现方案-附基于spark的性能测试 大索引技术大数据的未来 YDB技术原理 YDB技术原理 那些年我们在spark SQL上踩过的坑 YDB跟Solr Cloud、ElasticSearch区别 YDB安装部署 YDB依赖的硬件环境详解 YDB依赖的操作系统环境详解 YDB依赖的软件环境详解 YDB基于原版Ha...
阅读(190) 评论(0)

YDB,一种Spark快速数据分析替代方案

排序可以说是很多日志系统的硬指标(如按照时间逆序排序),如果一个大数据系统不能进行排序,基本上是这个系统属于不可用状态,排序算得上是大数据系统的一个“刚需”,无论大数据采用的是hadoop,还是spark,还是impala,hive,总之排序是必不可少的,排序的性能测试也是必不可少的。 有着计算奥运会之称的Sort Benchmark全球排序每年都会举行一次,每年巨头都会在排序上进行巨大的投入,...
阅读(1037) 评论(0)

spark、hadoop、storm、solr、es在车辆分析上的分析与比较

自2012年以来,公安部交通管理局在全国范围内推广了机动车缉查布控系统(简称卡口系统),通过整合共享各地车辆智能监测记录等信息资源,建立了横向联网、纵向贯通的全国机动车缉查布控系统,实现了大范围车辆缉查布控和预警拦截、车辆轨迹、交通流量分析研判、重点车辆布控、交通违法行为甄别查处及侦破涉车案件等应用。在侦破肇事逃逸案件、查处涉车违法行为、治安防控以及反恐维稳等方面发挥着重要作用。 随着联网单位和...
阅读(1448) 评论(0)

超越spark性能数百倍的性能测试

排序可以说是很多日志系统的硬指标(如按照时间逆序排序),如果一个大数据系统不能进行排序,基本上是这个系统属于不可用状态,排序算得上是大数据系统的一个“刚需”,无论大数据采用的是hadoop,还是spark,还是impala,hive,总之排序是必不可少的,排序的性能测试也是必不可少的。 有着计算奥运会之称的Sort Benchmark全球排序每年都会举行一次,每年巨头都会在排序上进行巨大的投入,...
阅读(310) 评论(0)

基于spark排序的一种更廉价的实现方案-附基于spark的性能测试

排序可以说是很多日志系统的硬指标(如按照时间逆序排序),如果一个大数据系统不能进行排序,基本上是这个系统属于不可用状态,排序算得上是大数据系统的一个“刚需”,无论大数据采用的是hadoop,还是spark,还是impala,hive,总之排序是必不可少的,排序的性能测试也是必不可少的。        有着计算奥运会之称的Sort Benchmark全球排序每年都会举行一次,每年巨头都会在排序...
阅读(891) 评论(0)

hadoop中的排序新思路-附基于spark之上的性能测试

排序可以说是很多日志系统的硬指标(如按照时间逆序排序),如果一个大数据系统不能进行排序,基本上是这个系统属于不可用状态,排序算得上是大数据系统的一个“刚需”,无论大数据采用的是hadoop,还是spark,还是impala,hive,总之排序是必不可少的,排序的性能测试也是必不可少的。        有着计算奥运会之称的Sort Benchmark全球排序每年都会举行一次,每年巨头都会在排序...
阅读(458) 评论(0)

大数据基础环境搭建的从spark到hadoop,从底层硬件到上层软件的一些必备注意事项

一、硬件环境 硬件如何搭配,能做到比较高的性价比,不存在短板。合理的硬件搭配,对系统的稳定性也很关键。 1.CPU不是核数越高越好,性价比才是关键。       经常遇到很多的企业级客户,他们机器配置非常高,CPU有128 VCore,256G内存,但是只挂载了1块8T的SATA硬盘,千兆网卡。       这样的机器配置比较适合计算密集型的业务,但是如果是IO密集型的业务的话,就会发...
阅读(459) 评论(0)

美国可以实现几乎对全球无死角的监控,这是可能的吗?

美国可以实现几乎对全球无死角的监控,这是可能的吗?在技术上是如何做到的?  在中国有类似的技术么?         这几天看了谍影重重5,感触很大。海瑟·李使用的追踪系统真的很强大,只要有一点蛛丝马迹暴力在外面,就会被这个痕迹追踪系统查询到。但是真的存在这样的系统么?         这个痕迹追踪系统,总结起来有两大主要功能,查询是谁做的与查询谁在哪?          事...
阅读(514) 评论(0)

《谍影重重5》黑科技之即席踪迹查询

美国可以实现几乎对全球无死角的监控,这是可能的吗?在技术上是如何做到的?  在中国有类似的技术么?         事实上,出于国家安全的最高利益考虑,通过收集特定人群的通话记录,位置信息,交易记录,网络行为记录,出行记录,聊天记录等等,并运用大数据、人工智能等技术对数据加以利用,是公共安全行业信息化发展的主要方向。         为保障我国经济的持续快速发展,社会的安全稳定是基础条件。我...
阅读(185) 评论(0)

《谍影重重5》中的黑科技

为保障我国经济的持续快速发展,社会的安全稳定是基础条件。我国正在投入大量资源,应用包括大数据技术在内的多种高新技术,在公共安全,社会维稳,反恐反爆,案件侦破等多个领域。         事实上,出于国家安全的最高利益考虑,通过收集特定人群的通话记录,位置信息,交易记录,网络行为记录,出行记录,聊天记录等等,并运用大数据、人工智能等技术对数据加以利用,是公共安全行业信息化发展的主要方向。我们已...
阅读(169) 评论(0)

《谍影重重5》中的黑科技

为保障我国经济的持续快速发展,社会的安全稳定是基础条件。我国正在投入大量资源,应用包括大数据技术在内的多种高新技术,在公共安全,社会维稳,反恐反爆,案件侦破等多个领域。事实上,出于国家安全的最高利益考虑,通过收集特定人群的通话记录,位置信息,交易记录,网络行为记录,出行记录,聊天记录等等,并运用大数据、人工智能等技术对数据加以利用,是公共安全行业信息化发展的主要方向。我们已经看到国内的一些部门和地...
阅读(524) 评论(0)

大数据江湖之即席查询与分析(下篇)--手把手教你搭建即席查询与分析Demo

上篇小弟分享了几个“即席查询与分析”的典型案例,引起了不少共鸣,好多小伙伴迫不及待地追问我们:说好的“手把手教你搭建即席查询与分析Demo”啥时候能出?说到就得做到,差啥不能差人品,本篇只分享技术干货,目的只有一个,就是让每一个伙伴都能根据本篇向导搭建出一个“即席查询与分析Demo”。         为了让各位伙伴能够尽快上手体验,所选案例就以上一篇中的“机动车缉查布控即席查询与分析”为例,上...
阅读(1167) 评论(0)

大数据江湖之即席查询与分析(中篇)--即席查询与分析的典型场景

上篇提到了大数据做数据分析的三种最为典型计算模式:批处理(Batch),即席查询与分析(Ad-hoc),流计算(Stream);对于批处理和流计算,虽然小弟也略知一二,早在Hive还没出来之前,也是从一字一句的写MapReduce代码走过来的,还有后来作为JStorm的Committer,老东家阿里把JStorm贡献给了Apache基金会,也算是在这两个领域有所涉足,不过小弟是领教过一些大神的,这...
阅读(817) 评论(1)

大数据江湖之即席查询与分析(上篇)--即席查询与分析的前世今生

如今,大数据领域新技术层出不穷,可谓百家争鸣,甚是红火。不乏有些玩家动辄搞出个大数据平台,可谓包罗万象,号称无所不能。小弟则以为在大数据江湖中如能修炼好独门绝技,有能拿得出手的看家本领已然实属不易。小弟有幸从2010年投身于大数据,并先后就职于阿里和腾讯,见过世面之后,自知才疏学浅,仅专注于大数据即席查询与分析技术。在此将多年所学所做汇聚成文,留下“大数据江湖之即席查询与分析”三部曲,为大数据即席...
阅读(693) 评论(0)
    个人资料
    • 访问:98254次
    • 积分:1363
    • 等级:
    • 排名:千里之外
    • 原创:37篇
    • 转载:1篇
    • 译文:0篇
    • 评论:20条
    文章分类
    最新评论