大数据
我就是400
!!!
展开
-
Hermes:来自腾讯的实时检索分析平台
Hermes:来自腾讯的实时检索分析平台实时检索分析平台(Hermes)是腾讯数据平台部为大数据分析业务提供一套实时的、多维的、交互式的查询、统计、分析系统,为各个产品在大数据的统计分析方面提供完整的解决方案,让万级维度、千亿级数据下的秒级统计分析变为现实。 Hermes实时检索分析场景 1、营销分析 作为转载 2015-06-03 14:27:55 · 1662 阅读 · 0 评论 -
Heron(一)—-storm的一些短板
twitter在使用storm过程中发现了一些storm的弊端,开发Herons相对storm需要提升的几个特性:1)更好的扩展性, 2)更容易调试 3)更高的性能 4)更好管理–可以和其他系统复用资源 storm的短板:1)storm的worker调度策略非常复杂,一台机器上的多个worker由操作系统调度,worker中的每个exec转载 2015-06-25 18:18:56 · 794 阅读 · 0 评论 -
MapReduce的Shuffle过程介绍
MapReduce的Shuffle过程介绍Shuffle的本义是洗牌、混洗,把一组有一定规则的数据尽量转换成一组无规则的数据,越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程,把一组无规则的数据尽量转换成一组具有一定规则的数据。为什么MapReduce计算模型需要Shuffle过程?我们都知道MapReduce计算模型一般包括两个重要的阶段:Map是映射,转载 2015-06-08 11:40:40 · 796 阅读 · 0 评论 -
hive bug
1. hive的insert bug 001,如下:insert overwrite table XXX partition(dt='2016-04-09') asselect '' as a1 from YYY; 如此得到的表XXX有一个字段,但是这个字段的值并非空字符串,也就是('’),而是null。但是使用create select 不会出现。这个bug已经再新版本得到原创 2016-04-09 18:45:48 · 504 阅读 · 0 评论 -
矩阵的秩与行列式的几何意义
作者:曾博链接:https://zhuanlan.zhihu.com/p/19609459来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。这里首先讨论一个长期以来困惑工科甚至物理系学生的一个数学问题,即,究竟什么是面积,以及面积的高维推广?1 关于面积:一种映射大家会说,面积,不就是长乘以宽么,其实不然。我们首先明确,这里所讨论的面积,是欧转载 2017-01-12 17:10:35 · 1504 阅读 · 0 评论 -
Hive兼容底层Json格式文件的方法
底层json文件如何load进hive,用结构化的形式展示,用sql查询呢?其实目前已经有jar包支持了,答案如下:不解释,直接看语句:add jar /opt/cloudera/parcels/CDH/jars/hive-hcatalog-core-1.1.0-cdh5.5.1.jar;create table default.tao_json1(actualRecycle...原创 2019-05-07 10:10:21 · 414 阅读 · 0 评论