weixin_42796403的博客

阿里云E-MapReduce操作阿里云E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR构建于云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。一、E-MapReduce的用途以往在使用Hadoop和Spark等分布式处理系统时，通常需要执行如下步

阿里云协同工作配置阿里云存在多个服务，显然是无法一个人完成的，需要多个人协同开发。但是所有的服务器又都是有一个账号统一管理（一般是公司的账号），这个账号非常关键不可能让所有的开发人员人手一个，那么如何让这些程序员一起参与开发呢？这就要用到RAM子账户。一、RAM简介RAM（Resource Access Management）是阿里云为客户提供的用户身份管理与资源访问控制服务。RAM允许在一个云账号下创建并管理多个身份，并允许给单个身份或一组身份分配不同的权限，从而实现不同用户拥有不同的云资源访

阿里云RDS组件简介与使用一、RDS服务器购买阿里云关系型数据库（Relational Database Service，简称RDS）是一种稳定可靠、可弹性伸缩的在线数据库服务。购买RDS for MySQL服务器：https://www.aliyun.com/product/rds/mysql1）点击立即购买2）购买RDS服务器配置3）点击立即购买4）控制台列表注意：实例一旦创建，服务开始计费，使用过程中不能停机，只能释放实例。二、RDS服务器配置服务建立好以后，首先要建

DataHub安装及使用一、DataHub简介DataHub类似于传统大数据解决方案中Kafka的角色，提供了一个数据队列功能。对于离线计算，DataHub除了供了一个缓冲的队列作用。同时由于DataHub提供了各种与其他阿里云上下游产品的对接功能，所以DataHub又扮演了一个数据的分发枢纽工作。DataHub输入组件包括Flume：主流的开源日志采集框架DTS：类似Canal，日志实时监控采集框架Logstash：也是日志采集框架，通常和Elasticsearch、Kibana集合使

阿里云技术架构云数仓技术选型

阿里云DataWorks和MaxCompute简介与使用一、简介MaxCompute（大数据计算服务）是阿里巴巴自主研发的海量数据处理平台，主要提供数据上传和下载通道，提供SQL及MapReduce等多种计算分析服务，同时还提供完善的安全解决方案。DataWorks（数据工场，原大数据开发套件）是基于MaxCompute计算引擎的一站式大数据工场，它能帮助您快速完成数据集成、开发、治理、服务、质量、安全等全套数据研发工作。盘古：相当于Hadoop中的HDFS伏羲：相当于Hadoop中的YARN