介绍
文章平均质量分 73
小东子李
学习Java,大数据云计算,最近一直在阿里云上学习。
展开
-
E-MapReduce
E-MapReduce简介EMR构建于云服务器ECS上,基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统(例如,阿里云OSS和RDS等)进行数据传输。EMR的SmartData组件是EMR Jindo引擎的主要存储部分,为EMR各个计算引擎提供统一的存储优化、缓存优化、计算缓存加速优化和多个存储功能扩展。E-MapReduce的用途以往在使用Hado原创 2021-06-20 19:03:14 · 322 阅读 · 2 评论 -
MaxCompute
MaxCompute大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。产品优势大规模计算存储MaxCompute适用于100 GB以上规模的存储及计算需求,最大可达EB级别。多种计算模型MaxCompute支持SQL、MapReduce、UDF(Java/Python)、Graph、基于DAG转载 2021-06-20 18:56:11 · 870 阅读 · 0 评论 -
文件存储 HDFS3
文件存储 HDFS阿里云文件存储HDFS(Apsara File Storage for HDFS)是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。文件存储HDFS允许您就像在Hadoop分布式文件系统 (Hadoop Distributed File System) 中管理和访问数据。您无需对现有大数据分析应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统。 文件存储HDFS适用于互联网行业、金融行业等有大数据计算与存储分析需求的行业客户原创 2021-06-13 21:28:07 · 170 阅读 · 0 评论 -
对象存储 OSS
对象存储 OSS对象存储服务(Object Storage Service,OSS)是一种海量、安全、低成本、高可靠的云存储服务,适合存放任意类型的文件。容量和处理能力弹性扩展,多种存储类型供选择,全面优化存储成本。阿里云对象存储OSS(Object Storage Service)为您提供基于网络的数据存取服务。使用OSS,您可以通过网络随时存储和调用包括文本、图片、音视频在内的各类数据文件。使用控制台您可以通过OSS控制台创建Bucket,并将文件上传至Bucket。上传完成后,将文件(Obje原创 2021-06-13 21:14:12 · 1890 阅读 · 1 评论 -
负载均衡SLB
负载均衡SLB一.应用型负载均衡ALB应用型负载均衡ALB(Application Load Balancer)是阿里云推出的专门面向HTTP、HTTPS和QUIC等应用层负载场景的负载均衡服务,具备超强弹性及大规模七层流量处理能力。ALB具备处理复杂业务路由的能力,与云原生相关服务深度集成,是阿里云官方提供的云原生Ingress网关。ALB特性弹性自动伸缩ALB同时提供域名与VIP,多级分发承载海量请求在可用区间弹性缩放,避免单可用区资源瓶颈允许用户自定义可用区组合,适应原有计算资源的分布。原创 2021-06-06 08:30:00 · 2223 阅读 · 7 评论 -
弹性伸缩Auto Scaling
弹性伸缩Auto Scaling使用弹性伸缩(Auto Scaling),您可以根据业务需求和策略设置伸缩规则,在业务需求增长时自动为您增加ECS实例以保证计算能力,在业务需求下降时自动减少ECS实例以节约成本。弹性伸缩不仅适合业务量不断波动的应用程序,同时也适合业务量稳定的应用程序。弹性伸缩效果示例您需要提前设置触发弹性伸缩的条件。下图中,监控项为伸缩组内ECS实例的vCPU使用率平均值,并假设触发弹性扩张的阈值为80%,触发弹性收缩的阈值为30%。弹性扩张当您的业务升级时,弹性伸缩为您自动完原创 2021-06-06 07:57:13 · 912 阅读 · 7 评论 -
文件存储 HDFS中SDK示例
文件存储 HDFS中SDK示例本文列出了创建目录、删除目录、上传文件、下载文件、显示目录、写入文件,读取文件、测试等操作的SDK示例,您可以参考示例工程开发您的应用。准备工作已完成文件存储HDFS的配置已安装SDK在计算节点上安装JDK,版本不能低于1.8。在计算节点上安装hadoop,版本建议不低于2.7.2。配置maven的依赖配置。 <dependency> <groupId>org.apache.hadoop</groupI原创 2021-05-27 11:54:10 · 901 阅读 · 32 评论 -
基于阿里云的API简介
基于阿里云的API简介API简介如果您熟悉网络服务协议和一种以上编程语言,推荐您调用API管理您的云上资源和开发自己的应用程序。使用说明ECS API支持HTTP或者HTTPS网络请求协议,允许GET和POST方法。您可以通过以下方式调用ECS APIOpenAPI开发者门户示例Java SDK示例示例代码中的下列参数需要您根据实际情况自行填写。:您的AccessKeyId。获取方式请参见创建AccessKey。:您的AccessKeySecret。:ECS实例所在的地域ID。取值请原创 2021-05-26 16:36:39 · 2812 阅读 · 28 评论 -
SDK参考Java版
Java SDK的安装方法一.SDK(IMS)( identity management service)身份管理服务二.SDK(RAM) 访问控制三.SDK(STS) 阿里云临时安全令牌(Security Token Service,STS)一.SDK(IMS)( identity management service)身份管理服务您可以通过下面两种方法安装Java SDK。方法一:通过Maven管理项目依赖(推荐)使用Maven创建项目:mvn archetype:generate -D原创 2021-05-25 10:21:47 · 659 阅读 · 14 评论 -
实例RAM角色
实例RAM角色概述实例RAM角色允许您将一个角色关联到ECS实例,在实例内部基于STS(Security Token Service)临时凭证访问其他云产品的API,临时凭证将周期性更新。即可以保证云账号AccessKey安全,还可以借助访问控制RAM实现精细化控制和权限管理。操作步骤步骤一:创建实例RAM角色1.云账号登录RAM控制台。2.在左侧导航栏,单击RAM角色管理。3.单击创建RAM角色。4.当前可信实体类型选择为阿里云服务,单击下一步。5.选择角色类型为普通服务角色。6.输原创 2021-05-25 09:58:35 · 1838 阅读 · 4 评论 -
SSH密钥对概述
SSH密钥对概述阿里云SSH密钥对是一种安全便捷的登录认证方式,由公钥和私钥组成,仅支持Linux实例。功能优势*安全性:SSH密钥对登录认证更为安全可靠*。 * 密钥对安全强度远高于常规用户口令,可以杜绝暴力破解威胁。 * 不可能通过公钥推导出私钥。*便捷性:* * 如果您将公钥配置在Linux实例中,那么,在本地或者另外一台实例中,您可以使用私钥通过SSH命令或相关工具登录目标实例,而不需要输入密码。 * 便于远程登原创 2021-05-24 06:53:12 · 1411 阅读 · 21 评论 -
账号访问控制RAM
账号访问控制本文介绍了如何使用访问控制RAM(Resource Access Management)在账号级别上控制对云服务器ECS资源的访问,具体通过创建RAM用户(组)并授予特定权限策略实现。背景信息访问控制RAM是阿里云提供的资源访问控制服务。访问控制RAM的典型场景:用户:如果您购买了多台云服务器ECS实例,您的组织里有多个用户(如员工、系统或应用程序)需要使用这些实例,您可以创建一个策略允许部分用户使用这些实例。避免了将同一个AccessKey泄露给多人的风险。用户组:您可以创建多原创 2021-05-23 14:21:52 · 2219 阅读 · 13 评论 -
基于阿里云的安全组介绍
安全组1.安全组概述安全组是一种虚拟防火墙,具备状态检测和数据包过滤能力,用于在云端划分安全域。通过配置安全组规则,您可以控制安全组内ECS实例的入流量和出流量。2.安全组定义安全组是一个逻辑上的分组,由同一地域内具有相同安全保护需求并相互信任的实例组成。安全组具有以下功能特点:(1)一台ECS实例至少属于一个安全组,可以同时加入多个安全组。(2)一个安全组可以管理同一个地域内的多台ECS实例。(3)在没有设置允许访问的安全组规则的情况下,不同安全组内的ECS实例之间默认内网不通。(4)安原创 2021-05-22 13:21:42 · 4966 阅读 · 16 评论 -
基于阿里云的快照介绍
快照1.快照概述阿里云快照服务是一种无代理(Agentless)的数据备份方式,可以为所有类型的云盘创建崩溃一致性快照,用于备份或者恢复整个云盘。它是一种便捷高效的数据容灾手段,常用于数据备份、制作镜像、应用容灾等。2.定义快照是某一时间点云盘数据状态的备份文件。云盘第一份快照是实际使用量的全量快照,不备份空数据块,后续创建的快照均是增量快照,只存储变化的数据块。3.应用场景推荐您在以下场景中使用快照。(1)容灾备份:为云盘创建快照,再使用快照创建云盘获取基础数据,实现同城容灾和异地容灾。原创 2021-05-21 07:04:00 · 1468 阅读 · 15 评论 -
基于阿里云的块存储介绍
块存储1.块存储概述块存储是阿里云为云服务器ECS提供的块设备产品,具有高性能和低时延的特点,支持随机读写。您可以像使用物理硬盘一样格式化并建立文件系统来使用块存储,满足大部分通用业务场景下的数据存储需求。2.块存储类型基于分布式存储架构的云盘以及基于物理机本地硬盘的本地盘产品。3.产品性能云盘衡量块存储产品的性能指标主要包括IOPS、吞吐量和访问时延。部分块存储产品对容量也有要求,例如不同性能等级的ESSD云盘对应的容量范围不同。IOPS(Input/Output Operations原创 2021-05-20 07:35:48 · 2204 阅读 · 8 评论 -
基于阿里云的镜像介绍
镜像概述1.镜像类型ECS镜像根据来源不同,分为公共镜像、自定义镜像、共享镜像和镜像市场镜像。2.地域镜像是一种地域性资源,您不能跨地域使用镜像创建实例。3.操作系统选择Windows系统版本建议您选择高版本Windows系统。相对低版本来说,高版本系统漏洞更少,并且IIS 7.5比IIS 6提供了更多功能以及更方便的控制台。vCPU为1核且内存为1 GiB的实例规格无法启动MySQL数据库。Windows实例用于建站、部署Web环境时,最少需要2 GiB内存。为了保证性能体验,使用原创 2021-05-19 12:43:35 · 1191 阅读 · 10 评论 -
基于阿里云的实例介绍
实例1.实例概述一台云服务器ECS实例等同于一台虚拟机,包含vCPU、内存、操作系统、网络、磁盘等最基础的计算组件。可以方便地定制、更改实例的配置。对该虚拟机拥有完全的控制权,和本地服务器的区别在于,只需要登录到阿里云,即可使用云服务器,进行独立的管理、配置等操作。2.实例规格ECS实例可以分为多个规格族,同一个规格族里,根据vCPU和内存的配置,可以分为多种不同的规格。不同实例规格具有不同的vCPU和内存等配置,包括物理CPU型号、主频等。实例规格族可分为企业级实例规格族和共享型实例规格族。转载 2021-05-18 20:14:16 · 397 阅读 · 14 评论 -
基于阿里云的ECS(云服务器)
ECS1.什么是云服务器ECS性能卓越、稳定可靠、弹性扩展的IaaS(Infrastructure as a Service)级别云计算服务。高效地使用服务器,实现计算资源的即开即用和弹性伸缩.2.为什么选择云服务器ECS*无需自建机房,无需采购以及配置硬件设施。*分钟级交付,快速部署,缩短应用上线周期。*快速接入部署在全球范围内的数据中心和BGP(Border Gateway Protocol,边界网关协议)机房。*成本透明,按需使用,支持根据业务波动随时扩展和释放资源。*提供GPU和FP原创 2021-05-17 08:08:56 · 2258 阅读 · 13 评论