- 博客(14)
- 资源 (4)
- 收藏
- 关注
原创 YDB资源整理汇总
YDB介绍什么是延云YDB基于spark排序的一种更廉价的实现方案-附基于spark的性能测试大索引技术大数据的未来YDB技术原理YDB技术原理那些年我们在spark SQL上踩过的坑YDB跟Solr Cloud、ElasticSearch区别YDB安装部署YDB依赖的硬件环境详解YDB依赖的操作系统环境详解YDB依赖的软件环境详解YDB基于原版Ha
2017-03-12 18:26:46 785
原创 YDB,一种Spark快速数据分析替代方案
排序可以说是很多日志系统的硬指标(如按照时间逆序排序),如果一个大数据系统不能进行排序,基本上是这个系统属于不可用状态,排序算得上是大数据系统的一个“刚需”,无论大数据采用的是hadoop,还是spark,还是impala,hive,总之排序是必不可少的,排序的性能测试也是必不可少的。有着计算奥运会之称的Sort Benchmark全球排序每年都会举行一次,每年巨头都会在排序上进行巨大的投入,
2017-03-12 15:23:22 3691
原创 spark、hadoop、storm、solr、es在车辆分析上的分析与比较
自2012年以来,公安部交通管理局在全国范围内推广了机动车缉查布控系统(简称卡口系统),通过整合共享各地车辆智能监测记录等信息资源,建立了横向联网、纵向贯通的全国机动车缉查布控系统,实现了大范围车辆缉查布控和预警拦截、车辆轨迹、交通流量分析研判、重点车辆布控、交通违法行为甄别查处及侦破涉车案件等应用。在侦破肇事逃逸案件、查处涉车违法行为、治安防控以及反恐维稳等方面发挥着重要作用。随着联网单位和
2017-03-12 14:06:00 6846
原创 超越spark性能数百倍的性能测试
排序可以说是很多日志系统的硬指标(如按照时间逆序排序),如果一个大数据系统不能进行排序,基本上是这个系统属于不可用状态,排序算得上是大数据系统的一个“刚需”,无论大数据采用的是hadoop,还是spark,还是impala,hive,总之排序是必不可少的,排序的性能测试也是必不可少的。有着计算奥运会之称的Sort Benchmark全球排序每年都会举行一次,每年巨头都会在排序上进行巨大的投入,
2017-03-12 08:26:34 1196
原创 基于spark排序的一种更廉价的实现方案-附基于spark的性能测试
排序可以说是很多日志系统的硬指标(如按照时间逆序排序),如果一个大数据系统不能进行排序,基本上是这个系统属于不可用状态,排序算得上是大数据系统的一个“刚需”,无论大数据采用的是hadoop,还是spark,还是impala,hive,总之排序是必不可少的,排序的性能测试也是必不可少的。 有着计算奥运会之称的Sort Benchmark全球排序每年都会举行一次,每年巨头都会在排序
2017-03-07 10:38:07 1824
原创 hadoop中的排序新思路-附基于spark之上的性能测试
排序可以说是很多日志系统的硬指标(如按照时间逆序排序),如果一个大数据系统不能进行排序,基本上是这个系统属于不可用状态,排序算得上是大数据系统的一个“刚需”,无论大数据采用的是hadoop,还是spark,还是impala,hive,总之排序是必不可少的,排序的性能测试也是必不可少的。 有着计算奥运会之称的Sort Benchmark全球排序每年都会举行一次,每年巨头都会在排序
2017-03-07 10:29:17 949
原创 大数据基础环境搭建的从spark到hadoop,从底层硬件到上层软件的一些必备注意事项
一、硬件环境硬件如何搭配,能做到比较高的性价比,不存在短板。合理的硬件搭配,对系统的稳定性也很关键。1.CPU不是核数越高越好,性价比才是关键。 经常遇到很多的企业级客户,他们机器配置非常高,CPU有128 VCore,256G内存,但是只挂载了1块8T的SATA硬盘,千兆网卡。 这样的机器配置比较适合计算密集型的业务,但是如果是IO密集型的业务的话,就会发
2017-03-06 18:03:57 2528
原创 美国可以实现几乎对全球无死角的监控,这是可能的吗?
美国可以实现几乎对全球无死角的监控,这是可能的吗?在技术上是如何做到的? 在中国有类似的技术么? 这几天看了谍影重重5,感触很大。海瑟·李使用的追踪系统真的很强大,只要有一点蛛丝马迹暴力在外面,就会被这个痕迹追踪系统查询到。但是真的存在这样的系统么? 这个痕迹追踪系统,总结起来有两大主要功能,查询是谁做的与查询谁在哪? 事
2017-03-05 17:06:40 4537 2
原创 《谍影重重5》黑科技之即席踪迹查询
美国可以实现几乎对全球无死角的监控,这是可能的吗?在技术上是如何做到的? 在中国有类似的技术么? 事实上,出于国家安全的最高利益考虑,通过收集特定人群的通话记录,位置信息,交易记录,网络行为记录,出行记录,聊天记录等等,并运用大数据、人工智能等技术对数据加以利用,是公共安全行业信息化发展的主要方向。 为保障我国经济的持续快速发展,社会的安全稳定是基础条件。我
2017-03-05 13:38:23 819
原创 《谍影重重5》中的黑科技
为保障我国经济的持续快速发展,社会的安全稳定是基础条件。我国正在投入大量资源,应用包括大数据技术在内的多种高新技术,在公共安全,社会维稳,反恐反爆,案件侦破等多个领域。 事实上,出于国家安全的最高利益考虑,通过收集特定人群的通话记录,位置信息,交易记录,网络行为记录,出行记录,聊天记录等等,并运用大数据、人工智能等技术对数据加以利用,是公共安全行业信息化发展的主要方向。我们已
2017-03-05 12:28:59 929
原创 《谍影重重5》中的黑科技
为保障我国经济的持续快速发展,社会的安全稳定是基础条件。我国正在投入大量资源,应用包括大数据技术在内的多种高新技术,在公共安全,社会维稳,反恐反爆,案件侦破等多个领域。事实上,出于国家安全的最高利益考虑,通过收集特定人群的通话记录,位置信息,交易记录,网络行为记录,出行记录,聊天记录等等,并运用大数据、人工智能等技术对数据加以利用,是公共安全行业信息化发展的主要方向。我们已经看到国内的一些部门和地
2017-03-05 12:19:45 1146
原创 大数据江湖之即席查询与分析(下篇)--手把手教你搭建即席查询与分析Demo
上篇小弟分享了几个“即席查询与分析”的典型案例,引起了不少共鸣,好多小伙伴迫不及待地追问我们:说好的“手把手教你搭建即席查询与分析Demo”啥时候能出?说到就得做到,差啥不能差人品,本篇只分享技术干货,目的只有一个,就是让每一个伙伴都能根据本篇向导搭建出一个“即席查询与分析Demo”。 为了让各位伙伴能够尽快上手体验,所选案例就以上一篇中的“机动车缉查布控即席查询与分析”为例,上
2017-03-05 12:07:06 5486
原创 大数据江湖之即席查询与分析(中篇)--即席查询与分析的典型场景
上篇提到了大数据做数据分析的三种最为典型计算模式:批处理(Batch),即席查询与分析(Ad-hoc),流计算(Stream);对于批处理和流计算,虽然小弟也略知一二,早在Hive还没出来之前,也是从一字一句的写MapReduce代码走过来的,还有后来作为JStorm的Committer,老东家阿里把JStorm贡献给了Apache基金会,也算是在这两个领域有所涉足,不过小弟是领教过一些大神的,这
2017-03-05 12:05:46 2881 1
原创 大数据江湖之即席查询与分析(上篇)--即席查询与分析的前世今生
如今,大数据领域新技术层出不穷,可谓百家争鸣,甚是红火。不乏有些玩家动辄搞出个大数据平台,可谓包罗万象,号称无所不能。小弟则以为在大数据江湖中如能修炼好独门绝技,有能拿得出手的看家本领已然实属不易。小弟有幸从2010年投身于大数据,并先后就职于阿里和腾讯,见过世面之后,自知才疏学浅,仅专注于大数据即席查询与分析技术。在此将多年所学所做汇聚成文,留下“大数据江湖之即席查询与分析”三部曲,为大数据即席
2017-03-05 12:04:43 1972
mathout in action (pdf)
2010-07-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人