aws
文章平均质量分 86
spcof
这个作者很懒,什么都没留下…
展开
-
在Windows操作系统上使用rtsp simple server和ffmpeg推送录屏视频流
解压后,通过cmd进入FFmpeg所在的目录,执行下面的命令(其中rtsp://localhost:8554/mystream是上一步生成的地址)。从https://github.com/aler9/rtsp-simple-server/releases下载Windows版本的编译结果。填入rtsp://172.168.1.218:8554/mystream。从https://ffmpeg.org/download.html下载Windows版本的编译结果。我们可以看到console会出现下面的变化。原创 2023-12-05 12:46:03 · 868 阅读 · 0 评论 -
在AWS Lambda中使用FFmpeg处理m3u8视频流
在直播里领域,我们经常需要对视频流进行处理。FFmpeg则是该领域中处理的利器。这篇文章,我们将以视频流截图为例,讲解如何在AWS Lambda中对m3u8视频流进行截图。因为Lambda是无服务架构,其本地存储是不可靠的,于是最后我们需要将截图文件上传S3桶。原创 2023-12-05 12:45:23 · 717 阅读 · 0 评论 -
在AWS Lambda上部署标准FFmpeg工具——自定义层的方案
FFmpeg被广泛应用于音/视频流处理领域。对于简单的需求,我们可以直接运行FFmpeg二进制程序命令就可以完成。但是对于定制性的功能,则需要熟悉系统的代码设计框架,进行二次开发。文本讨论的是在AWS无服务架构的Lambda上,如何通过自定义层部署FFmpeg二进制程序。原创 2023-12-05 12:44:50 · 1082 阅读 · 0 评论 -
在AWS Lambda上部署标准FFmpeg工具——Docker方案
FFmpeg被广泛应用于音/视频流处理领域。对于简单的需求,我们可以直接运行FFmpeg二进制程序命令就可以完成。但是对于定制性的功能,则需要熟悉系统的代码设计框架,进行二次开发。文本讨论的是在AWS无服务架构的Lambda上,如何通过Docker部署FFmpeg二进制程序。原创 2023-12-05 12:44:12 · 666 阅读 · 0 评论 -
在AWS Lambda上部署EC2编译的FFmpeg工具——自定义层的方案
FFmpeg被广泛应用于音/视频流处理领域。对于简单的需求,我们可以直接运行FFmpeg二进制程序命令就可以完成。但是对于定制性的功能,则需要熟悉系统的代码设计框架,进行二次开发。文本讨论的是在AWS无服务架构的Lambda上,如何通过自定义层部署线下编译的FFmpeg二进制程序。原创 2023-12-05 11:58:11 · 705 阅读 · 0 评论 -
在AWS EC2中部署和使用Apache Superset的方案
本文将讲解如何在AWS EC2中部署Apache Superset,并通过AWS Glue连接AWS S3、AWS RDS、AWS RedShift中的数据,进行可视化展现。原创 2023-12-05 11:57:07 · 766 阅读 · 0 评论 -
在AWS EC2中部署和使用Apache Superset的方案
本文将讲解如何在AWS EC2中部署Apache Superset,并通过AWS Glue连接AWS S3、AWS RDS、AWS RedShift中的数据,进行可视化展现。原创 2023-12-05 11:54:30 · 855 阅读 · 0 评论 -
在AWS CodeBuild中更新Lambda导致进程被占用(status error 255)的解决方案
在Lambda的部署实践中,我们尝试使用CodeBuild将代码更新到Lambda函数中。在这个过程中,偶尔会触发一个不太常见的状态:Lambda状态一直是处于Pending的状况。这个时候Lambda是被锁死的,导致CodeBuild无法更新Lambda函数的代码。很可惜,Lambda的操作界面没有提供重置Lambda状态的功能,这个时候只能借助cli工具来解决。Lambda所在的region。构建日志页面提供的错误提示。Lambda的name。lambda的name。Lambda的arn。原创 2023-12-05 11:53:59 · 601 阅读 · 0 评论 -
一文看懂AWS IAM设计和使用
对照IAM,我们将上述内容拆开看。即“对什么”对应于代码仓库——“资源或服务”;“做什么”对应于操作类型——“策略”。原创 2023-12-05 11:52:37 · 105 阅读 · 0 评论 -
使用AWS Glue与AWS Kinesis构建的流式ETL作业(一)——数据实时采集
在此案例中,我们使用了CloudWatch + Kinesis Data Stream完成了前期的数据实时采集的工作,并且,使用了Lambda来作为触发器来对数据进行了一个验证操作(也可使用Lambda来进行ETL工作)。原创 2023-12-05 11:48:40 · 833 阅读 · 0 评论 -
使用AWS Glue与AWS Kinesis构建的流式ETL作业(二)——数据处理
说明:在此脚本中,引入了python其他的包。写入PG使用的是sqlalchemy,是为了实现有则更新,无则写入的操作。若无特殊要求,可参考 “2.4.1”由于Glue Job 在运行的时候,是在独立的服务器上,因此不能直接访问到私有子网中的服务。于是借助Glue连接,可以使得Job在运行时连接AWS服务。类型的Job,因此Job会一直运行。需要注意的是:RedShift需要创建一个终端节点,具体的方法请看。下文中提供了AWS RedShift和PG数据库的连接创建过程,在实际使用中我们可以二选一。原创 2023-12-05 11:45:57 · 504 阅读 · 0 评论 -
使用 Amazon S3 托管静态网站
AWS的S3对象存储服务除了具备存储功能,还具备服务器功能。我们可以使用它托管静态网站,而不需要另外启动一台Web服务器。下图1和2就是传统Web服务器场景,最后一个是S3的静态托管场景。具体的操作也很简单。只有在权限配置时,需要灵活的调整下。原创 2023-12-05 11:42:14 · 138 阅读 · 0 评论 -
将rtsp视频流发送到AWS Kinesis Video Streams的方案——使用Gstreamer(C++) Command Line
我们的实验都是在us-east-1上进行的。如果想在其他区域做实验,可以将下面us-east-1都改成对应的区域。原创 2023-12-04 19:14:34 · 332 阅读 · 0 评论 -
基于AWS Serverless的Glue服务进行ETL(提取、转换和加载)数据分析(一)——创建Glue
在此实验中,我们使用Glue 的爬网程序自动解析存储在s3桶中的原始数据,自动创建了表。通过Glue数据库中的表,我们可以使用Athena对表进行查询(Athena每次检索表对应的s3桶数据,按检索量收费)。接下来我们会对原始数据进行转换、清洗以及分区操作,以及使用API Gateway+Lambda实现一个无服务架构,通过API查询数据。原创 2023-12-04 19:13:53 · 627 阅读 · 0 评论 -
基于AWS Serverless的Glue服务进行ETL(提取、转换和加载)数据分析(三)——serverless数据分析
到此,我们已经完成了基于Glue ETL(提取、转换和加载)的serviceless 数据分析的全部过程了。在此案例中,我们使用到了AWS 服务中的Glue、S3、APIGateway、Lambda等服务实现了一个通过API访问的数据统计与分析接口。原创 2023-12-04 19:09:53 · 1021 阅读 · 0 评论 -
基于AWS Serverless的Glue服务进行ETL(提取、转换和加载)数据分析(二)——数据清洗、转换
到这一步,我们已经使用Glue ETL对s3桶中的数据进行了清洗、分区操作。在进行上篇中的Athena操作后,我们已经可以通过Athena直接查询到清洗、分区后的数据集了。接下来,我们会通过使用APIGateway+Lambda+Athena来构建一个无服务器的数据查询分析服务。原创 2023-12-04 19:09:20 · 642 阅读 · 0 评论 -
公有云迁移研究——AWS Translate
Translate是一种文本翻译服务,它使用先进的机器学习技术来提供高质量的按需翻译。原创 2023-12-04 18:59:07 · 730 阅读 · 0 评论 -
公有云迁移研究——AWS Route53
Amazon Route 53 是一种可用性高、可扩展性强的域名系统 (DNS) Web 服务。AWS Route53提供了强大的DNS、流量管理和可用性监控服务。Route53是一个Gloabl 的服务,我们可以通过该服务现实对其他Region的流量管理和分流。原创 2023-12-04 18:57:42 · 810 阅读 · 0 评论 -
公有云迁移研究——AWS DMS
AWS Database Migration Service (AWS DMS) 是一项云服务,可轻松迁移关系数据库、数据仓库、NoSQL数据库及其他类型的数据存储。您可以使用AWS DMS将数据迁移到AWS Cloud。在平时开发项目的时候尽量少用外键约束,这样会增加数据库迁移的复杂度和数据修复的复杂度。迁移完成后要对数据库的表结构进行检查,这样可以降低迁移带来的各种系统灾难。原创 2023-12-04 18:57:08 · 751 阅读 · 0 评论 -
AWS攻略——子网
现实场景中,我们希望一些服务器不可以被外网SSH登录上去,但是可以通过某一台跳板机登录。这样只用加固这台跳板机的安全性,就可以在一定程度上保障整个集群的安全。在AWS场景下,我们一般使用子网去做IP地址段的分割,然后限制子网的访问性来达到这样的目的。回顾下,其架构通过主ACL或者子网ACL来实现安全访问。如果我们不用子网,也可以直接使用复杂的ACL规则来达成。但是这就要求EC2实例不能新增,因为新增的EC2会在子网IP/CIDR下自动分配一个IP,而该IP不能指定。原创 2023-12-04 18:54:14 · 701 阅读 · 0 评论 -
AWS攻略——使用中转网关(Transit Gateway)连接同区域(Region)VPC
在中,我们使用Peering打通了不同VPC。如果需要打通多个VPC,则需要建立多个Peering,如下图:虽然Peering非常强大,可以直接跨账户、跨区域连接VPC。但是如果连接的VPC数量比较多的情况下,建立的Peering数量也会增加。在一个场景下——如果不同VPC在同一区域中,则可以只使用一个中转网关来实现连接。原创 2023-12-04 18:53:39 · 1066 阅读 · 0 评论 -
AWS攻略——使用中转网关(Transit Gateway)连接不同区域(Region)VPC
区别于一文中介绍的方案,我们将在本文中讨论如何通过中转网关连通不同区域的VPC。如果每个区域里只有一个VPC,则可以优先考虑的方案,因为非常简单。如果需要连接的区域中有多个VPC需要连接,这可以考虑中转网关。原创 2023-12-04 18:53:00 · 759 阅读 · 0 评论 -
AWS攻略——使用Public NAT解决私有子网实例访问互联网
在一文中,我们分别创建了一个Public子网和一个Private子网,并让Public子网中的实例可以SSH登录到Private子网的实例中。现实场景中,我们可能存在如下需求:实例可以访问互联网,但是互联网不可以访问实例。而我们的Private子网中的实例,既不能访问互联网,也不能被互联网访问。为了解决这个问题,我们引入共有NAT网关。原创 2023-12-04 18:52:29 · 885 阅读 · 0 评论 -
AWS攻略——使用ACL限制访问
假如我们希望限制只有公司内部的IP可以SSH登录到EC2,则可以考虑使用ACL来实现。我们延续使用的案例,在它的基础上做相关修改来实现相关功能。原创 2023-12-04 18:51:54 · 884 阅读 · 0 评论 -
AWS攻略——创建VPC
在一文中,我们在AWS默认的VPC下部署了一台可以SSH访问的机器实例。这篇文章我们将修改一个“变量”——创建一个简单的VPC,并使用相似的步骤,部署另外一个可以SSH访问的机器实例。原创 2023-12-04 18:46:38 · 1187 阅读 · 0 评论 -
AWS攻略——VPC初识
VPC是在AWS架构服务的基础,有点类似于我们在机房里拉网线和设置路由器等。等这些设施完备后,我们才能考虑给机器部署服务。而很多初识AWS的同学,可能连机房都没进去过,对网络这块更是停留在课本上。于是VPC成了横亘在征服者面前的一座大山。本系列将由浅入深讲解VPC的基础知识,希望可以修筑一条清晰的捷径,辅助征服者跨过这座大山。(另外一座大山是IAM,可以参阅我们以需求/解决方案的形式一步步深入了解VPC,同时尽量少接触其他服务,比如EC2等。原创 2023-12-04 18:41:54 · 917 阅读 · 0 评论 -
AWS攻略——Peering连接VPC
我们回顾下在全球化部署的场景下,往往会出现不同Region要相互通信,这就意味着不同VPC之间要相互通信。在不增加任何措施的情况下,VPC只能通过暴露在互联网上的地址通信,但是互联网存在带宽限制、安全性和稳定性等问题。为了解决这些问题,AWS提供了Peering(对等连接)设施。Peering走的是AWS自己搭建的网络,不走因特网,于是在安全性和稳定性这块得到保证,而其带宽号称无限制(我们实测可以达到几十兆每秒)。原创 2023-12-04 18:40:40 · 890 阅读 · 0 评论 -
Aws迁移之-Route53
AWS R53原创 2023-01-10 17:49:41 · 353 阅读 · 1 评论 -
Aws迁移之-DMS
aws 迁移之DMS原创 2023-01-10 17:49:00 · 374 阅读 · 0 评论 -
Aws迁移之--Translate
aws 迁移之--translate原创 2023-01-10 17:48:26 · 163 阅读 · 0 评论 -
使用aws搭建一个区块链(私有链)-- 搭建篇B
【代码】使用aws搭建一个区块链(私有链)-- 搭建篇B。原创 2022-09-20 19:10:31 · 2284 阅读 · 0 评论 -
使用aws搭建一个区块链(私有链)-- 搭建篇A
由于aws提供的托管模式的区块链的搭建,我们通过aws的Amazon Managed Blockchain配合docker + Hyperledger Fabric 来搭建属于我们自己的区块链服务(私链)或直接加入到公链里面。地址:https://console.aws.amazon.com/managedblockchain/到此我们在aws控制台上的操作已经完成了,接下来我们要在ec2上通过docker搭建客户端部分了。这里需要将我们创建的blockchain加入到我们准备的vpc 和安全组里面。原创 2022-09-19 17:57:37 · 3524 阅读 · 0 评论 -
AWS 使用ivs chat 实现直播聊天功能
aws ivs 直播 直播聊天室 ivs chat rooms原创 2022-08-26 16:24:13 · 1202 阅读 · 0 评论 -
aws ffmpeg+ lambda来完成视频stream的截图 python docker 版
aws lambda docker ffmpeg python原创 2022-08-23 21:50:38 · 1023 阅读 · 0 评论 -
AWS 的cloudfront是如何实现S3桶的file缓存的
aws cloudfront原创 2022-08-22 21:23:32 · 884 阅读 · 0 评论 -
aws ffmpeg+ lambda来完成视频stream的截图 python 版
ffmpeg + lambda 实现视频流提取截图原创 2022-08-22 15:30:06 · 914 阅读 · 0 评论 -
aws lambda 通过codebuild上线踩坑指南之 lambda 进程被占用 status error 255
aws lambda 通过codebuild上线踩坑指南之 lambda 进程被占用 status error 255问题描述 我们使用的aws的无服务架构,在通过aws的codebuild将代码上线到aws的lambda函数中的时候,遇到了一个aws lambda 的bug,就是在codebuild的时候lambda状态一直是处于 Pending 的状况,这个时候lambda是被锁死的,所以codebuild是无法将新代码上线到指定的lambda中的,但是aws的lambda的操作界面又没有提供重原创 2021-09-17 00:10:57 · 462 阅读 · 0 评论