小记——阿里云大数据平台实践线下交流会

最新推荐文章于 2024-09-06 00:00:00 发布
最新推荐文章于 2024-09-06 00:00:00 发布
阅读量318 收藏
点赞数
分类专栏： 大数据 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24118527/article/details/84194687
版权

LZ最近参加了一场大数据平台实践交流会，地点在杭州未来科技城海创园4号楼，就在阿里巴巴西溪园区附近。

LZ之前也没做过大数据平台相关的工作，对于大数据的了解基本来源于百度百科、微信文章以及知乎等问答网站，但是听了几位技术大佬的分享，很有收获（虽然我还不能get到他们最引以为傲的那些点qwq，毕竟对一些东西的实现难度还没概念）

下面写一点我自己觉得很有意思的东西。

ERM

一般就是指Amazon的EMR，EMR的全称是Elastic MapReduce

2009年4月，亚马逊提出EMR的概念，Elastic MapReduce自动提供Hadoop集群、运行和终止作业以及处理EC2（VM）和S3（对象存储）之间的数据传输。

去IOE

以后写

CDH

以后写

大中台+小前台

以后写

DataWorks

以后写

 

CodeForCoffee
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
期待已久的活动——Apache HAWQ开源数据库线下见面会
新一代数据仓库明星企业偶数科技
03-12 227
大家期盼已久的开源数据库线下见面会终于来啦~ 3月23日（周六），北京海淀知春路HAWQ开源数据库沙龙邀请您参加~ 这是一场什么活动？ 这是一场关于开源数据库Apache HAWQ的线下技术交流会。没有乱七八糟的推广，无论是分享嘉宾还是参会者，都是奔着纯粹技术交流目的聚在一起的。可以自由的探讨HAWQ的使用心得以及答疑解惑。纯公益性质。 时间：3月23日（周六）下午1:...
CSDN一个最好的技术交流社区
u77227的博客
05-05 466
感谢有缘来到CSDN技术交流社群，这是第一篇博客；希望今后在CSDN能够和各位技术大牛共同进步，感谢一路相遇。
Flutter成都开发者线下交流会实录
weixin_34212189的博客
12-08 156
在12.4日伦敦Flutter Live上Google终于宣布Flutter迎来了第一个正式版，同时带来的还有一系列重要更新以及统一全平台终端的终极目标。可以说Flutter成为了今年移动领域跨平台开发最热门的讨论话题。 为了建立起更加良好的开发者生态，CFUG - ChengDu在12.6日举办了一场Flutter爱好者与开发者的交流活...
如何让辅导员允许你去实习&amp；学校老师对线全程 (附聊天记录)
2301_79125642的博客
06-17 1075
有问必答#研一，很迷茫，控制类专业，导师方向也比较偏，估计对就业没啥帮助，转码是学。今年研二明年毕业，该找工作了，本人本硕重庆大学，机械设计制造及其自动化，硕士研究方向振动控制，六级低。研二才开始自学fpga，课题组也没有相关项目，只能自学一些烂大街的项目，也没有找到实习，还有几个月秋。公司很大，毕竟老品牌，工资发放准时，没有压力，完成自己分内的工作即可，但比较辛苦，属于旱的早死，涝的。蚂蚁是电话面试，等电话的过程真的很煎熬，不能开手机静音让我很紧张，在图书馆怕被骂，面完感觉人轻松了不。
阿里大数据分析平台使用小记
05-03
阿里大数据分析平台使用小记 阿里大数据分析平台是阿里巴巴集团旗下的数据分析平台，提供了大数据处理、存储和分析的能力。该平台主要应用于天池大数据竞赛平台，提供了一些使用经验和教程，但不是完整的开发使用...
天梯赛刷题小记 —— L1
m0_54674275的博客
03-21 590
最近在重刷 天梯赛，浅浅记录一下，就不管简易程度了。感觉已经很久没有做题了qaq。L1-002 打印沙漏。
Scrum过程实践小记
02-26
严格来说，不能算是真正的scrum实践，但实践敏捷的过程本身也是一种“敏捷方法”，所以就算是“敏捷实践之敏捷开发方法－scrum过程”吧。1.Scrum团队（5-7个人的小项目组）。　2.Backlog:急待完成的一系列任务，包括...
20200622小记——C#左侧菜单栏的实现（1）基本实现
叶舞枝头 凤翔云空
06-22 1890
WPF： XAML <TreeView x:Name="treeView_Set" Grid.Column="0" FontSize="25" Margin="5,5,5,5"> <TreeView.ItemTemplate> <HierarchicalDataTemplate ItemsSource="{Binding Path=Children}"> <Tex
【大数据】Canal实现MySQL数据增量同步至Kafka：原理与配置解析
一个不断前行的程序者
09-04 993
Canal是一款开源的数据库增量日志解析组件，主要用于监控数据库数据变更，并将变更数据同步到其他存储介质。Canal通过模拟MySQL Slave的交互协议，实时获取数据库的增量更新，从而实现数据同步。本文将介绍如何使用Canal将MySQL的数据通过监听Binlog，增量发送到Kafka。Binlog（Binary Log）是MySQL数据库的二进制日志，记录了所有对数据库数据的修改操作。开启Binlog后，MySQL会实时将数据变更记录到Binlog文件中。
自然语言处理系列五十》文本分类算法》SVM支持向量机算法原理
weixin_52610848的博客
09-01 1459
【配套新书教材】《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】新书特色：本书从自然语言处理基础开始，逐步深入各种NLP热点前沿技术，使用了Java和Python两门语言精心编排了大量代码实例，契合公司实际工作场景技能，侧重实战。
[Hive]五、Hive 源码编译
weixin_44428807的博客
09-02 1013
G:\Bigdata\2.hive\大数据技术之Hive源码编译。
rabbitmq高可用集群搭建
qq_40189664的博客
09-02 1280
在进行RabbitMQ搭建时，我们基于现有的连接数据和业务需求进行了深入分析。目前的统计数据显示，连接数为631，队列数为80418。为了确保业务需求的顺利满足，我们需要在云产品和自建RabbitMQ消息队列服务之间做出选择。经过比较发现，即使选择腾讯云的最高规格配置，其Queue数也难以满足我们的需求，并且成本相对较高。因此，我们决定搭建自建服务。为此，我们计划使用三台配置为的服务器节点，构建一个高可靠性集群，以确保系统的稳定性和可靠性。
Kafka：浅谈对Kafka的认识
王小二(海阔天空)
09-03 1861
消息系统都致力于让Consumer以最大的速率最快速的消费消息，一些消息系统比如Scribe和Apache Flume采用了Push模式，将消息推送到下游的Consumer。更进一步的性能优化是零拷贝的使用，也就是从磁盘日志到消费者客户端的数据传递，因为Kafka是MQ，对于msg不具备加工处理，所以得以实现。物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个Broker上，但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处。注意：ack的默认值就是1。
计算机毕业设计Python+Tensorflow股票推荐系统 股票预测系统 股票可视化 股票数据分析 量化交易系统 股票爬虫 股票K线图 大数据毕业设计 AI
最新发布
全网粉丝100W+、全栈领域优质创作者、B站、github、CSDN等社区技术专家、专注于高端精品毕业项目源码实战
09-06 531
计算机毕业设计Python+Tensorflow股票推荐系统 股票预测系统 股票可视化 股票数据分析 量化交易系统 股票爬虫 股票K线图 大数据毕业设计 AI
大数据-120 - Flink Window 窗口机制-滑动时间窗口、会话窗口-基于时间驱动&基于事件驱动
永远好奇，无限进步！
09-05 825
滑动窗口是固定窗口更广义的一种形式，滑动窗口由固定的窗口长度和滑动间隔组成。Flink 的滑动时间窗口（Sliding Window）是一种常用的窗口机制，适用于处理流式数据时需要在时间范围内定期计算的场景。滑动窗口会按照指定的窗口大小（window size）和滑动步长（slide interval）不断地划分数据，并对每个窗口内的数据进行聚合计算。窗口长度固定，可以有重叠。场景：我们可以每30秒计算一次最近一分钟用户购买的商品数 基于事件驱动 会话窗口 由一系列事件组合一个指
142. Go操作Kafka（confluent-kafka-go库）
YouMing_Li的博客
09-01 1537
是一个开源分布式事件流平台，用于高性能数据管道、流式分析、数据集成和关键任务应用程序。它提供了诸如流数据管道、实时分析、数据集成、事件源和日志聚合等多种能力。Kafka的用例和能力流数据管道：Kafka提供了一个分布式发布-订阅消息系统，可以在系统或应用程序之间流式传输数据。它提供了具有数据复制和容错能力的强大队列。Kafka允许使用工具如和KSQL处理实时数据流，用于构建流式分析和数据处理应用程序。Kafka可以用来通过在不同数据源和格式之间流式传输数据来集成不同的系统。这使它对流式ETL非常有用。
大数据系列之：OutOfMemoryError: unable to create new native thread
zhengzaifeidelushang的博客
09-02 160
接下来，您可能会想知道Java中的堆栈大小是否设置得太高。如果设置的限制很高，那么如果您是为正确的用户执行此操作，则可能不会达到此限制。您必须是运行的进程的相同用户。通常情况下，这不是内存溢出的情况，这可能会产生误导。在Linux上还有一种称为cgroups的方式，可以实现上述相同的功能。有时候当Java尝试创建一个新的线程时，操作系统会阻止它。第一种老式方法是检查您的 ulimit。根据配置方式的不同，有两种方法可以更新最大任务限制。通过在这两个位置上删除设置的值，实际上可以移除限制。
聚焦数据，探索分布式数据库与湖仓一体的前沿应用
qq_22201881的博客
09-04 1495
陈潜龙在演讲时引用了信通院对未来数据库技术发展划分的九个方向和四大目标，提出融合，即架构融合，利用统一架构代替混合架构和平台融合，统一数据湖、数据仓库、数据集市才是数据平台架构的发展趋势。高经郡表示，Lakehouse湖仓一体是一种新型开放式架构，充分结合数据湖和数据仓库的优势，并构建在数据湖低成本的数据存储架构之上，它继承了数据仓库的数据处理和管理功能，能全面满足BI、DI、AI应用需求。同时，基于特定规则将不同的业务，如查询、跑批，分发到不同的计算资源上，以此实现业务的分流，减少业务间的相互影响。
php公众号第三方登录,微信公众号开发小记——3.接入三方登录
05-20
用户同意授权后，会重定向到 `$redirect_uri` 指定的 URL，带上授权码 `code` 和 `state` 参数。 ```php $code = $_GET['code']; $state = $_GET['state']; ``` 3）获取 access_token 和 openid： 使用授权码 `...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值