cloud
文章平均质量分 83
公有云使用
Andy____Li
烹饪工具箱
展开
-
AWS S3 数据完整性校验
近期在处理OTA升级包数据完整性这个问题 引发了一系列的review。如何保证服务器上传到S3 S3收到的升级文件是完整的,如何保证设备获取到的升级文件是完整。这里其实就涉及到两个问题:1 在上传文件到S3如何确定上传过程数据不被损坏2 如何把保证下载过程数据如何不被损坏这里S3果然有进行考虑:https://aws.amazon.com/cn/premiumsupport/knowledge-center/data-integrity-s3/1 关于S3 ETag实体标签(ETag)代表原创 2022-02-16 09:59:38 · 3589 阅读 · 0 评论 -
AWS STS在region ap-east-1支持问题
原来一直没有用过香港区域STS 来签发临时授权令牌。然后近期开启了香港区域ap-east-1 然后进行测试发现通过STS签发的凭着获取S3中的文件抛出:The provided token is malformed or otherwise invalid真的是相当的令人困惑。然后在东京区域 ap-northeast-1 建立了同样的存储桶,然后同样的代码去获取文件,就可以获取成功,让人不禁怀疑香港区域有点特殊。最后知道翻到了 https://docs.aws.amazon.com/IAM/lat原创 2021-09-09 17:06:59 · 4268 阅读 · 0 评论 -
AWS Cloud Watch及Lambda 执行定时任务
1 背景目前有一个报表功能,希望能定时扫描统计Dynamodb 数据库并在月初生成上月统计分析数据并填入统计结果表中。所以看能不能写一个定时任务来处理。但分析了一下场景,实际上和web应用服务器并没有关系且不希望统计功能占用到应用服务器资源影响运行。利用cloudwatch 来实现定时任务的触发。利用Lambda函数实现读取数据库,统计整理数据,并回写数据的功能。这里好处是就完成应用web服务器直接查询统计结果数据即可,不用参与较高复杂度的统计分析回写操作。而利用cloudwatch和原创 2020-12-10 16:18:45 · 3967 阅读 · 0 评论 -
Minio 搭建对象存储服务
文章目录1 mino简介2 环境3 部署3.1 获取程序3.2 存储类别3.3 挂载硬盘3.4 单机部署3.4.1 部署及测试3.4.2 作为Linux Service启动3.5 分布式集群扩容方案3.5.1 部署及测试3.5.2 作为Linux Service启动3.6 多机部署,扩容支持4 客户端及演示5 Prometheus+Grafana 搭建监控系统监控minio集群5.1 搭建Prometheus 收集minio集群数据5.2 使用Grafana 优化监控界面6 参考1 mino简介Mi原创 2020-08-04 15:19:58 · 7853 阅读 · 0 评论 -
AWS STS 临时授权方案
官方文档:https://docs.amazonaws.cn/IAM/latest/UserGuide/id_credentials_temp_request.html描述一下这篇文章的背景:1 背景使用cognito 控制app接入:APP 通过cognito服务的开发者授权验证方式接入到的cognito服务身份池。通过userid 作为开发人员标识换到cognito indentity pool 的唯一标识 indentityid。 而每一个通过验证的用户都可以用身份映射到一个AWS IAM原创 2020-06-16 16:38:34 · 5293 阅读 · 0 评论 -
阿里云资源编排(ROS)Sample
原来用过AWS cloudFormation 服务感觉用于帮客户搭建环境很好用。近期需要客户创建一个阿里云OSS 桶资源,并给一个对应用户mobile APP访问的RAM角色和一个用于server访问的子账号。 文档写了5小节,整个过程比较繁琐,如果需要客户手动操作可能会造成一些困扰。所以这里就看了下和AWS cloudFormation对应的阿里云 资源编排服务(ROS)。此文档记录一些Sample方便以后接着填这种坑。 阿里云的文档写的还是不错的:模板的基本语法: https://help.aliyun原创 2020-05-28 19:49:40 · 855 阅读 · 0 评论 -
AWS S3 监控请求数及流量
AWS S3 云存储 是按照存储容量,请求数,及网络流量三个维度进行收费。而如果涉及到使用S3 对外提供SaaS服务,成本分布及估算自然称为比较重要的需求。自然而言需要监控以上三个指标。先上官网说明性文档:https://docs.amazonaws.cn/AmazonS3/latest/dev/monitoring-overview.html文章目录1 监控指标2 Cloudwatch使用2...原创 2019-12-10 20:01:30 · 3795 阅读 · 0 评论 -
AWS IOT 离线检测功能(MQTT 遗言)
本文环境基于AWSIOT 嵌入式C lib:https://github.com/aws/aws-iot-device-sdk-embedded-C环境:ubuntu语言 : C关于AWS IOT 基础操作可参见:https://blog.csdn.net/m0_37263637/article/details/80989986关于AWS IOT 嵌入式lib基础使用:https://blog...原创 2019-10-24 20:04:41 · 4138 阅读 · 0 评论 -
架构图绘制 (AWS工具)
最近需要花一份系统架构图,用VISO画出来黑丑,一直觉得用阿里云和AWS的架构图相当漂亮,但又没有找到相应工具,今天发现绘制AWS 架构图工具网站 真的相当棒:https://cloudcraft.co/login效果如下,可自行添加相应AWS基础设置和画线条,效果如下:APP 后台架构:IOT 架构图:...原创 2018-11-16 16:56:38 · 24213 阅读 · 4 评论 -
AWS DynamoDB 生存周期(TTL)使用
Mongodb 具有自动删除某些过期数据的功能,同样dynamodb也有相应功能,那就是timetolive(生存周期),我们可以用它来删除一些oauth2认证中过期的oauth_code 和oauth_token。相关文档: https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/TTL.html环境:aws s...原创 2018-08-06 19:58:40 · 2676 阅读 · 0 评论 -
AWS EC2(ubuntu)新增用户及连接方法
环境: 有台EC2已经运行起了 ,但需要多增加一个账户去连接EC2。已经在EC2后台创建了相应密匙对,用该密匙连接出现了: 所选用户密匙未在远程主机注册。EC2:ubuntu 连接软件:xshellPS:在网络上查阅资料时,还有种情况即是新创建的EC2无法连接, 这是用户名不对的原因造成,可参阅2.1~2.2 , 3节1 问题原因启动实例时,应指定计划用于连接到实例的密...原创 2018-08-06 19:52:21 · 6362 阅读 · 0 评论 -
阿里云短信服务接入
最近需要在邮件注册服务上接入手机号注册功能,这里就涉及到短信验证码。看来下AWS的方案如果不使用AWS中国服务,在东京发短信,一条成本就在0.06 0.09 0.09~0.09,阿里云0.045¥一条。 所以把方案换成了阿里云短信方案, 但阿里云短信会审核短信内容,一般只能用来发发验证码。官方引导文档:https://help.aliyun.com/document_...原创 2018-08-09 13:26:58 · 1370 阅读 · 0 评论 -
服务器并发量估算
最近需要对再次对服务器进行压力测试,这里整一下最近学习到的估算方案和估算方式。1 并发值估算1.1 经典公式一般来说,利用以下经验公式进行估算系统的平均并发用户数和峰值数据 1)平均并发用户数为 C = nL/T 2)并发用户数峰值 C‘ = C + 3*根号C C是平均并发用户数,n是login session的数量,L是login session的平均长度,T是值考察的时间...原创 2019-03-18 20:21:18 · 9411 阅读 · 0 评论 -
AWS V4签名实现(C版本)
如果要使用AWS提供各种服务的restful API 都不能避开AWS V4签名。(当然你可以使用sdk,简单粗暴)AWS V4签名逻辑文档: https://docs.aws.amazon.com/zh_cn/AmazonS3/latest/API/sig-v4-authenticating-requests.html JavaScript实现签名流程: https://blog.c...原创 2018-07-30 13:30:44 · 4397 阅读 · 1 评论 -
AWS Dynamodb 跨区域迁移数据方案(cross-region replication)
最近实在受不了中国访问AWS首尔区域了 ,决定把整个环境迁移到新加坡,服务器迁移倒是比较简单,但数据库迁移遇到很大的麻烦。原以为DynamoDB 全局表可以很容解决跨区域数据同步的问题,结果发现DynamoDB全局表只能在为空表的前提下使用,即必须是新建的表。而不能说 用到中途把普通表改成支持多区域的全局表。文章目录1 AWS Data Pipeline 方案2 git上AWS的迁移工具包dy...原创 2018-12-20 09:58:11 · 2056 阅读 · 0 评论 -
AWS中国EC2 80端口无法访问
AWS 中国和全球区有很大差异,80/8080端口均需要备案才能访问。安全组配置80端口,没有备案实际上也是没有效果的。原创 2019-01-10 20:12:08 · 11127 阅读 · 0 评论 -
AWS 不同区域网络测试方案
最近被AWS 首尔区域整的焦头烂额,后来发现是北京到东京掉包严重。这里就涉及到新的AWS服务器选型的问题。需要评估一个更稳定的新区域。这里提供部分评估方法和调试经验。https://www.cloudping.info/一个有网站可以辅助测试不同可用区访问情况。当然我们也可以自行测试:http://ec2-reachability.amazonaws.com/首先可以在这个网址内找到相应...原创 2019-01-17 19:59:49 · 10678 阅读 · 1 评论 -
AWS SES发QQ邮箱拒收解决方案
文章目录1 背景1.1 现象1.2 环境1.3 测试2 分析与解决2.1 原因分析2.2 解决2.2.1 Mail From2.2.2 使用 DKIM 对电子邮件进行身份验证2.3 小结1 背景1.1 现象先说现象,现象是用使用AWS SES发送邮件,QQ邮件收件箱和垃圾箱都没有mail。Mail 必须要在自助查询-收件查询才能找到,发现下面有一栏被系统拦截的选项。本文并不是因为ip...原创 2019-02-22 10:48:12 · 8147 阅读 · 0 评论 -
DynamoDB 关系建模(多对多)
前一阵在Stack Overflow 上看到一篇关于DynamoDB 建模的回答,回答很好。所以这里整理一篇文章回顾该回答,指导以后的设计。文章目录1 Dynamodb 基础概念2 一对一3 一对多3 多对多3.1 辅助表3.2 外键集3.3 图形模式4 参考链接1 Dynamodb 基础概念每个DynamoDB表都有一个唯一的主键。主键必须由分区键组成,并且可以选择性地具有排序键。...原创 2019-04-29 09:54:55 · 1721 阅读 · 2 评论 -
AWS IOT使用模型及限制
1 AWS IOT接入模型1.1 AWS shadow 使用模型APP 通过HTTP 更新AWS Thing shadow属性控制Device ,当Device 更新完相关属性对应操作后会response AWS IOT Cloud 更新对应AWS Thing shadow中属性。 APP 通过http 轮询去查询Thing Shadow更新状态是否成功。该方式通信单向,即APP ...原创 2019-05-21 19:32:43 · 1483 阅读 · 0 评论 -
AWS Client端SDK授权方案(Amazon Cognito 身份池)
文章目录1 Amazon Cognito 简介用户池身份池2 移动端通过Amazon Cognito接入架构2.1 使用用户池或公共登录提供商2.2 经过开发人员验证的身份3 实际使用3.1 创建身份池并自定义验证方案及权限3.2 账户服务器返回token及IdentityId3.3 终端使用token及IdentityId授权AWS SDK4 参考链接协助同事接入AWS mobile SDK,...原创 2019-05-21 19:35:55 · 9764 阅读 · 4 评论 -
AWS 创建EC2及使用ssh登录
AWS EC2创建的区域即右上角你选择的服务器决定。目前成都测试,下午电信联通环境下,都是绕北京到AWS 日本 首尔线路十分拥堵掉包严重,所以建议可以考虑AWS 新加坡区域,测试发现是直接从香港出海,掉包率较低。1 AWS后台创建EC2实例1 登录AWS EC2控制台并选择EC2服务进入EC2控制界面点击启动实例(确定拥有足够权限)2 选择你需要为EC2预装的操作系统版本,这里我选择ubu...原创 2019-06-06 16:06:04 · 23628 阅读 · 2 评论 -
AWS Lambda使用
亚马逊AWS Lambda文档: https://docs.aws.amazon.com/zh_cn/lambda/latest/dg/welcome.htmlAWS Lambda是什么AWS Lambda 是一项计算服务,可使您无需预配置或管理服务器即可运行代码。AWS Lambda 只在需要时执行您的代码并自动缩放,从每天几个请求到每秒数千个请求。您只需按消耗的计算时间付费 – 代码未运行时不原创 2018-02-05 19:18:52 · 9444 阅读 · 1 评论 -
AWS IOT Device C SDK 使用
AWS shadow使用可参考: https://blog.csdn.net/m0_37263637/article/details/81103440 关于C SDK测试及交叉编译可参考: https://blog.csdn.net/m0_37263637/article/details/81103497 前排C SDK API文 档镇楼: http://aws-iot-device-s...原创 2018-07-19 13:19:17 · 4745 阅读 · 0 评论 -
AWS IOT Device C SDK交叉编译(嵌入式linux)
本文前提:为iot 环境已测试完成且事物(设备已创建)的情况下。 注意这篇文章是将C SDK交叉编译到嵌入式linux,并不是其他操作系统或没有操作系统的单片机中。环境测试及设备创建请参考: https://blog.csdn.net/m0_37263637/article/details/80989986 本文仅用于验证aws-iot-device-sdk-embedded-C,如何控...原创 2018-07-18 19:02:19 · 4667 阅读 · 1 评论 -
极光推送 服务端开发(nodejs)
极光官网: https://www.jiguang.cn/1 极光推送环境配置1.1 注册极光免费账号1.2 进入应用中心,创建应用 得到AppKey 和 Master Secret Master Secret:用于服务器端 API 调用时与 AppKey 配合使用达到鉴权的目的,请保管好 Master Secret 防止外泄。1.3 创建极光推送包名...原创 2018-04-13 18:05:06 · 3071 阅读 · 0 评论 -
AWS redis服务
本文目的是使用AWS 提供的官方托管的redis服务。官方文档: https://docs.aws.amazon.com/zh_cn/AmazonElastiCache/latest/UserGuide/GettingStarted.ConnectToCacheNode.html1 使用AWS的服务Amazon ElastiCache 是一项 Web服务,借助该服务,用户能够在云中轻松部署、运行和原创 2018-04-18 11:35:26 · 4337 阅读 · 0 评论 -
AWS mongodb部署(官方推荐实现)
前排提示1 这不是自己手动在EC2上建一个mongodb,而是调用AWS 服务生成。 2 因为涉及到要使用新的EC2 所以本文并没有实现,仅为记录学习的过程1 背景AWS 提供nosql数据库是 DynamoDB,所以原来操作mongodb方式就不再适用,必须要使用AWS SDK 进行重写编写相关代码。(ali和tencent均提供mongodb) 在这样的背景下,在AWS体系内寻找一种官方推荐原创 2018-04-16 20:06:06 · 5113 阅读 · 1 评论 -
AWS S3 V4签名实现(nodejs)
虽然亚马逊提供了sdk,使用SDK会自动帮你计算签名。如果你能使用SDK 请一定使用SDK。 但是目标平台为嵌入式平台(非Linux)只支持C接口,很多库移植成本过高,为了使用S3服务,我们应该首选restfulAPI 这种方案。这就涉及到了自己实现AWS V4签名的问题。前排资料: 我们可以阅读AWS SDK(nodejs) 源码签名实现进行参考验证: aws-nodejs-sample\n原创 2018-03-14 13:48:53 · 10388 阅读 · 7 评论 -
AWS S3资源短时间共享
功能实现提供一个URL供三方短时间访问S3中资源。前置条件1 资源私有2 第三方无AWS账号解决方案AWS S3 预签名(Pre-signi)sample codevar bucket = s3Bucket ;var key = S3key;var params = {Bucket: bucket, Key: key, Expires:60*60*12}...原创 2018-03-20 09:55:21 · 1667 阅读 · 0 评论 -
百度云 人脸对比API 使用(nodejs)
百度提供的web demo测试地址:http://ai.baidu.com/tech/face/compareAPI : https://aip.baidubce.com/rest/2.0/face/v2/match http方法:post URL参数:access_token 值 :参考http://ai.baidu.com/docs#/Beginner-Auth/top 获取 H...原创 2018-02-09 17:10:36 · 3949 阅读 · 5 评论 -
AWS Rekognition nodejsAPI使用
Rekognition是AWS图像识别服务API 文档: https://docs.aws.amazon.com/AWSJavaScriptSDK/latest/AWS/Rekognition.html AWS提供网页端测试: https://console.aws.amazon.com/rekognition/home?region=us-east-1#/face-comparison1 配置原创 2018-02-09 17:53:48 · 1101 阅读 · 0 评论 -
AWS IOT C++ SDK 使用
测试在Linux环境下使用makefile。 使用的是openssl 作为mqtt的网络实现。C++ SDK samples 中PubSub.cpp写的很清楚该怎么用。 本文主要讲怎么把我们想要的部分从sdk源码中分离出来。重点:AWS iot message 负载只支持128kb 128kb 128kb 意味着图片视频数据基本上都走不了iot了1 构建工程环境整个工程目录结构原创 2018-01-30 20:13:55 · 3624 阅读 · 0 评论 -
AWS API网关Region的问题
有些AWS 服务在某些地区是不提供的,所以使用SDK时要找对自己 Region。否则就会报下列错误: Missing region in config。 使用nodejs SDK时通过这样设定请求API区域和版本:var s3 = new AWS.S3({apiVersion: '2006-03-01', region: 'us-west-2'});或者这样:AWS.config.update(原创 2018-02-01 11:36:23 · 3103 阅读 · 0 评论 -
阿里云oss c-sdk交叉编译
阿里云oss c-sdk交叉编译1 简介阿里云官方地址: https://github.com/aliyun/aliyun-oss-c-sdk/blob/master/README-CN.md 目前device平台设备为嵌入式linux环境,故选择使用C-SDK作为开发接口包实现对OSS基本操作是应用。依赖库:LibcurlAprapr-utilminixml2 libcurl原创 2017-11-21 11:40:39 · 9222 阅读 · 7 评论 -
数字签名
为了支持https ,所以有必要弄清楚数字签名的概念。参考阮一峰大神的博文进行学习: http://www.ruanyifeng.com/blog/2011/08/what_is_a_digital_signature.html1 加密方法加密方法可以分为两大类。 - 单钥加密(private key cryptography) - 双钥加密(public key cry...原创 2018-05-11 18:16:53 · 1710 阅读 · 0 评论 -
AWS DynamoDB基础使用
因AWS并没有提供mongodb的云服务。所以需要将数据库从mongodb切换到AWS 的dynamodb。Dynamodb 提供了本地调试版本,本文主要介绍dynamodb本地调试使用。 PS:说句题外话,刚接触感觉很难用,文档感觉已经很久没有维护了。数据库环境:Linux(Dynamodb环境) server环境:AWS SDK server端语言: nodejs(ubuntu)...原创 2018-05-29 20:22:20 · 8961 阅读 · 0 评论 -
AWS Device Shadow使用
AWS Device shadow 是AWS 官方推荐管理控制IOT设备的方式。Device:aws iot device sdk(nodejs) client端:aws sdk(nodejs)关于更多AWS IOT内容可参考:https://docs.aws.amazon.com/zh_cn/iot/latest/developerguide/iot-device-shadows.ht...原创 2018-07-18 18:57:51 · 7533 阅读 · 0 评论 -
AWS IOT Device SDK使用(nodejs )
AWS IOT 基于是的mqtt协议,关于关于mqtt协议更详细内容可参见: https://blog.csdn.net/m0_37263637/article/details/81087831 关于设备接入及创建请参考:本文主要介绍如何通过mqtt协议进行点对点模式进行通信,并熟悉相关概念及node SDK。 关于设备的控制,可以采用直接发布控制命令的方式。但AWS更为推荐使用shad...原创 2018-07-18 13:21:42 · 3189 阅读 · 7 评论 -
AWS IOT接入及测试
AWS IoT 能够通过 MQTT 和 HTTP 在连接 Internet 的设备 (如传感器、执行器、嵌入式设备或智能设备) 和 AWS 云之间实现安全的双向通信。device端:nodejs (aws-iot-device-sdk) client端:aws iot 控制台mqtt客户端1 AWS IOT基本概念1.1 AWS IoT组件(功能)设备网关:使设备能够安全...原创 2018-07-10 18:10:37 · 12576 阅读 · 23 评论