大数据
小楞头
这个作者很懒,什么都没留下…
展开
-
spark与pandas中DataFrame对比
原创 2020-06-06 22:29:42 · 238 阅读 · 1 评论 -
Alink使用入门,基于flink的机器学习
一、什么是 Alink? Alink 是阿里巴巴计算平台事业部PAI团队从 2017 年开始基于实时计算引擎 Flink 研发的新一代机器学习算法平台,提供丰富的算法组件库和便捷的操作框架,开发者可以一键搭建覆盖数据处理、特征工程、模型训练、模型预测的算法模型开发全流程。 借助Flink在批流一体化方面的优势,Alink能够为批流任务提供一致性的操作。在实践过程中,Flink原有的机器...原创 2020-03-26 16:34:22 · 7133 阅读 · 0 评论 -
同样是消息队列,Kafka凭什么速度那么快?
Kafka的消息是保存或缓存在磁盘上的,一般认为在磁盘上读写数据是会降低性能的,因为寻址会比较消耗时间,但是实际上,Kafka的特性之一就是高吞吐率。即使是普通的服务器,Kafka也可以轻松支持每秒百万级的写入请求,超过了大部分的消息中间件,这种特性也使得Kafka在日志处理等海量数据场景广泛应用。针对Kafka的基准测试可以参考,Apache Kafka基准测试:每秒写入2百万(在三台廉价机...原创 2019-06-17 19:36:12 · 239 阅读 · 0 评论 -
Flink最全入门必备知识!!
翻译 2019-07-13 10:04:20 · 385 阅读 · 0 评论