云祁QI

一、依赖关系配置依赖关系原理概述三种依赖配置方式“自动解析”配置依赖关系：推荐使用手动配置依赖关系“自动推荐”配置依赖关系1.1 依赖关系原理概述可扩展性差，缺乏解耦重跑任务的成本太高输出名称每个节点（Task）输出点的名称。用于在单个租户（阿里云账号）内设置依赖关系时，连接上下游两个节点（Task）的虚拟实体。【原则】每个节点必须配置至少一个本节点输出名称、一个父节点输出名称每个输出点必须在同租户、同Region唯一1.2 三种依赖配置方式【依赖模式】

文章目录前言一、Tunnel 上传功能概述二、Tunnel 上传问题分类三、数据问题四、网络问题五、计费问题前言在阿里云大学学习了付帅师兄关于《MaxCompute Tunnel Upload 上传典型问题》的分享，将学习笔记做了整理如下：一、Tunnel 上传功能概述二、Tunnel 上传问题分类数据问题网络问题计费问题三、数据问题Q：使用Tunnel Java SDK上传数据，上传数据可以自动分配到各个分区吗？A：目前Tunnel是无法自动上传数据并自动分配到各个分区的：每一次

文章目录一、前言二、长尾的原因三、优化思路与解决方案3.1 Group By 长尾3.2 count distinct 长尾3.3 动态分区 长尾3.4 Join 长尾一、前言长尾问题是分布式计算里最常见的问题之一，也是典型的疑难杂症。究其原因，是因为数据分布不均，导致各个节点的工作量不同，整个任务就需要等最慢的节点完成才能完成。处理这类问题的思路就是把工作分给多个Worker去执行，而不是一个Worker单独抗下最重的那份工作。如何查看是否发生了长尾？发生在什么阶段？Maxcompute 任务

文章目录一、Maxcompute在优酷的应用1.1 优酷业务的特点1.2 Maxcompute 简单易用1.3 Maxcompute 生态完善1.4 Maxcompute 性能强悍1.5 MaxCompute 资源弹性1.6 大数据整体方案1.7 数据分层1.8 业务赋能1.9 计算优化1.10 存储优化二、斗鱼 MaxCompute + Hadoop 混搭大数据架构实践2.1 自建集群的发展瓶颈2.2 大数据上云的挑战2.3 混合云模式带来的变化三、MaxCompute SQL 优化3.1 SQL 成本计

文章目录一、前言一、搭建电商网站Demo1.1.通过阿里云管理控制台部署云上资源1.1.1.创建专有网络VPC1.1.2.创建云服务器ECS1.1.3.申请弹性公网IP并绑定ECS1.1.4.配置安全组规则1.1.5 创建云数据库RDS1.2.通过Terraform部署云上资源1.3.电商网站初始化1.3.1.电商应用环境初始化1.3.2.电商网站账号注册二、同步数据至DataHub2.1.创建DataHub项目2.2.通过DTS同步数据至DataHub2.3.验证订单数据同步功能三、使用Blink实时处理

文章目录一、前言二、搭建电商网站Demo2.1.创建专有网络VPC2.2.创建并配置ECS2.3.创建RDS数据库2.4.电商网站初始化2.5.构造用户数据一、前言本文以电商行业为例，将业务数据和日志数据同步到ADB之后通过QuickBI做快速可视化展现，其中对业务场景数据的ETL采用MaxCompute处理。本文提供全流程完整的Demo演示，可作为客户、架构师PoC验证使用。应用范围互联网行业、电商、游戏行业等网站、App、小程序应用内BI分析场景。可扩展到各类网站BI分析场景使用。方案架

文章目录一、前言二、适用场景三、技术架构四、方案优势五、自建Hadoop集群规划5.1 Hadoop集群安装规划5.2 创建 VPC 网络5.3 批量创建 ECS 实例5.4 初始化配置5.5 配置hadoop各ECS之间的无密钥登录5.6 loggen操作5.7 Kafka操作5.8 Zookeeper操作5.9 Hadoop操作5.10 Flume操作5.11 MySQL操作5.12 Hive操作5.13 Hbase操作5.14 Azkaban操作六、创建 DataWorks 工作空间七、Hive数仓迁

文章目录一、云安全中心二、云监控三、RAM访问控制四、安全众测五、堡垒机六、安全责任七、架构和网络优化建议八、主机应用优化建议及报警策略设置九、总结一、云安全中心云安全中心二、云监控三、RAM访问控制四、安全众测五、堡垒机六、安全责任七、架构和网络优化建议八、主机应用优化建议及报警策略设置九、总结...

文章目录一、加密服务二、密钥管理服务三、SSL证书四、数据库审计一、加密服务二、密钥管理服务三、SSL证书四、数据库审计

文章目录一、Web 应用防火墙二、网站威胁扫描系统一、Web 应用防火墙配置方法二、网站威胁扫描系统

文章目录一、安全管家二、服务器代运维一、安全管家二、服务器代运维

文章目录一、基础DDoS防护二、DDoS防护包与抗D流量包三、DDoS高防IP四、DDoS高防（国际）五、云防火墙六、安全组一、基础DDoS防护DDoS 攻击究竟是什么？可能举个例子会更加形象点。我开了一家有五十个座位的重庆火锅店，由于用料上等，童叟无欺。平时门庭若市，生意特别红火，而对面二狗家的火锅店却无人问津。二狗为了对付我，想了一个办法，叫了五十个人来我的火锅店坐着却不点菜，让别的客人无法吃饭。上面这个例子讲的就是典型的 DDoS 攻击，全称是 Distributed Denial of Se

文章目录一、互联网的组成二、互联网的风险三、Top N 攻击详解四、阿里云安全体系五、云盾的安全防护一、互联网的组成二、互联网的风险三、Top N 攻击详解四、阿里云安全体系五、云盾的安全防护...

阿里云机器学习平台PAI（Platform of Artificial Intelligence），为传统机器学习和深度学习提供了从数据处理、模型训练、服务部署到预测的一站式服务。

Quick BI是阿里云旗下产品，是一个基于云计算致力于大数据高效分析与展现的轻量级自助BI工具服务平台。通过对数据源的连接和数据集的创建，对数据进行即时的分析与查询；通过电子表格或仪表板功能，以拖拽的方式进行数据的可视化呈现。

数据集成（Data Integration）是阿里云对外提供的稳定高效、弹性伸缩的数据集成平台，为阿里云大数据计算引擎提供离线（批量）数据进出通道。

DataWorks（数据工场，原大数据开发套件）是阿里云重要的PaaS平台产品，提供数据集成、数据开发、数据地图、数据质量和数据服务等全方位的产品服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘和探索。阿里云大数据ACP认证学习的笔记 (*/ω＼*) 课程只要0.1元，四舍五入等于白嫖，快点来学习!