- 博客(7)
- 资源 (1)
- 收藏
- 关注
RSS订阅
翻译 Apache Arrow的内存结构
本文的目标清楚的描述Apach相对类型（原始类型和初始嵌套类型集）,到达可以实现的程度 每一种相对类型的内存结构和随机访问的模式 Null值的表达最终使读者对Apache Arrow的底层有一个大致清晰的了解，如果能够从中了解到一点硬件级性能优化的概念，那么便是超出了期望。字节顺序Apache Arrow默认使用Little-Endian，在Apache Arrow的Schem...
2018-08-18 09:37:15
3333
原创 精通Apache Flink必读系列文章
Flink是最接近于谷歌Dataflow大数据分析平台的设计的开源分布式计算引擎，其核心设计理念与Spark有很大的不同。从设计出发点，Flink是一个流计算处理计算引擎，把批处理视为无限流计算的一种特例，Spark是批处理计算引擎，把流处理视为迷你批处理，因为设计上的差异，导致在对处理时延要求高的场景中，Flink更加合适。从生态上来说，二者都有SQL、机器学习、图计算等基本的组件，但是...
2018-08-17 11:38:25
10991
1
原创 使用TCL语言解析MQTT协议简单示例
Tcl语言TIOBE的排名是100左右，对于很多人来说，可能根本就没听说过TCL这门语言。一些大型公司（思科、F5、Radware等硬件类的厂商，百度之类的互联网公司等）仍然在积极的使用Tcl，它可以非常快速简单的把Tcl变成它独有的Domain Specific Language，让它易读易写，在使用过程中，每家公司都加入了很多自己需要的特性，用在不同领域的Tcl也完全不一样，从某种意义上来说，...
2018-08-18 10:08:53
531
原创 Splunk常见分析场景参考2
Splunk是个平台，可以满足各种应用场景，那么到底能做什么，这是很多人的困惑，本文的目的是列举一些Splunk在实际使用中落地的场景，供大家参考。VPN接入VPN认证成功用户+来源IP清单时间、用户、源ip、登录次数VPN认证成功、失败时间序列图VPN来源IP地图分布VPN源IP访问的内部IP 来源IP、访问内部IP清单、访问内部IP统计 VPN 转换IP情况...
2018-08-16 10:42:53
1255
原创 Splunk常见分析场景参考1
Splunk是个平台，可以满足各种应用场景，那么到底能做什么，这是很多人的困惑，本文的目的是列举一些Splunk在实际使用中落地的场景，供大家参考。交易交易量统计交易量趋势交易金额趋势交易平均耗时 交易平均耗时趋势交易成功率、失败率统计上网行为员工使用设备占比员工访问网站Top N员工上传下载数据量员工搜索词排行榜员工持有...
2018-08-16 10:37:37
3723
1
转载 构建大数据平台的正确姿势
面对海量的各种来源的数据，如何对这些零散的数据进行有效的分析，得到有价值的信息一直是大数据领域研究的热点问题。大数据分析处理平台就是整合当前主流的各种具有不同侧重点的大数据处理分析框架和工具，实现对数据的挖掘和分析，一个大数据分析平台涉及到的组件众多，如何将其有机地结合起来，完成海量数据的挖掘是一项复杂的工作。在搭建大数据分析平台之前，要先明确业务需求场景以及用户的需求，通过大数据分析平台，想...
2018-08-06 17:03:09
542
原创 Apache Nifi vs StreamSets简单比较
前言 随着数据量的爆炸，数据来源越来越多，例如文件、数据库、Hadoop分布式文件系统, web服务接口, MQTT, RabbitMQ, Kafka, 甚至TCP、UDP端口都可以作为数据来源。 当用户的ETL需求比较复杂时，使用可视化Dataflow处理工具能降低使用门槛，提高效率。有两个开源的Dataflow数据处理工具，可以帮助完成复杂ETL的工作：Apac...
2018-08-03 17:19:34
15805
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人