亚马逊云计算
weixin_40988315
这个作者很懒,什么都没留下…
展开
-
amazon sagemaker 练习
亚马逊的sagemaker 提供了模型训练到部署的全流程支持,下面这个例子是其参考手册的入门例子,记录一下整体流程,具体代码操作可以查看其手册。1 创建Amazon账号,建立IAM 用户(identify and access management)2 建立 S3 bucket (Amazon simple storage service ) 用于存放训练数据和调优后的模型代码/模型工件(mode...原创 2018-06-21 16:05:26 · 4336 阅读 · 1 评论 -
amazon 云平台入门
一 基本概念 1 Amazon Elastic Compute Cloud (Amazon EC2) 在 Amazon Web Services (AWS) 云中提供可扩展的计算容量。使用 Amazon EC2 可避免前期的硬件投入,因此您能够快速开发和部署应用程序。通过使用 Amazon EC2,您可以根据自身需要启动任意数量的虚拟服务器、配置安全和网络以及管理存储。A...原创 2018-08-22 20:56:37 · 1062 阅读 · 0 评论 -
亚马逊EMR 熟悉
Amazon EMR 是一个托管集群平台,可简化在AWS上运行大数据框架(Hadoop 和spark)以处理和分析海量数据的操作。借助相关的开源项目(Hive和Pig), 处理数据和商业只能工作负载。还可以使用EMR转换大量数据和将大量数据移入和移出其他AWS数据存储和数据库如S3和DynamoDB。集群(cluster) ,一组EC2实例的集合,每一个节点都有不同的角色即节点类型主节点;...原创 2018-08-23 11:07:16 · 909 阅读 · 0 评论 -
Hive简介
Hive是基于Hadoop文件系统上的数据仓库架构,为数据仓库的管理提供了很多功能:数据的抽取转换加载工具/存储管理和大型数据集的查询和分析能力,还定义了类SQL语言 Hive QL 允许用户进行和SQL相似的操作,同样允许开放人员方便的使用mapper和reducer操作。但Hive 延迟较高,不适合小数据集,适合稳定的大规模数据集的批量任务。...原创 2018-08-23 11:13:27 · 83 阅读 · 0 评论 -
aws EMR 调试
通过CLI工具创建、交互shell调用aws cli 首先在终端中输入aws configure 按照要求输入credentials.csv中的ID,key创建EMR clusteraws emr create-cluster --name "Spark cluster" --release-label emr-5.16.0 --applications Name=Spark \...原创 2018-08-28 14:54:08 · 1023 阅读 · 0 评论 -
sagemaker common data formats
在aws上导入数据对模型进行训练和推理需要进行数据的序列化、反序列化,模型的序列化、反序列化 (数据流和结构化数据之间的转换)其中数据的反序列化和模型的序列化直接有程序完成,模型的反序列化是可选操作。主要需要用户设置的是数据的序列化。training data formats在训练时,使用protobuf recordIO结构能够优化训练过程,这是因为讲结构化的数据转换成了流式数据,能够使...原创 2018-09-27 10:59:54 · 346 阅读 · 0 评论