栗子哥BroLiz-CSDN博客

原创 [Aliyun] 实时数仓Hologres Demo01实时计算实时写入数据至Hologres

部分内容直接摘抄阿里官网作为背景和概述：背景在实时数据业务场景中，最常见的链路是将实时采集的数据，通过实时计算初步清洗，实时写入数据至数据库，再对接BI工具实现数据的可视化分析。数据处理流程如下图所示。整个业务链路中，要求数据库提供高性能的计算服务，存储海量数据，同时对接多种BI分析工具。单一的数据库很难实现以上所有功能，您必须借助其他数据库的相关能力完成业务流程。在导入导出数据时会产生冗余存储，浪费存储资源。同时需要维护多套系统，给开发及运维增加了一定难度。概述为解决实时场景的业务痛点，Ho

2020-10-09 00:54:21 600

原创阿里云_弹性公网IP地址(EIP)切换到新的ECS的方法

1.购买固定带宽包年包月不能转换有没有其他方法？方法一：见3.阿里云ECS的EIP挂载到新ECS实例方法(非官方)方法二：VPC网络都是基于SDN设计的，是可以在后台配置，所以联系售后理论上是可以更改的。2.购买非固定带宽的实例，可以转为弹性公网IP。（但大多数客户不是这种情况）公网IP可以转换为弹性公网IP。3.阿里云ECS的EIP挂载到新ECS实例方法(非官方)我们可以把固定带宽计费的包年包月ECS实例变更为按流量计费的包年包月ECS实例。步骤一：到ECS console里升降

2021-03-29 01:43:56 1060

原创 Azure AD 与 AWS IAM 集成实现SSO—下（AWS部分）

再回顾一下架构，我们都要做什么，别乱：看来在AWS上做的工作要多一些。登录AWS控制台：进入到IAM这个服务：在配置提供程序中，选择SAML，提供商名称自定义，比如WAAD，将刚才下载的元数据文档XML，导入到进去。创建成功后如下图所示：然后我们创建策略，目的是通过AAD中的用户（我们以John为例），他可以在AWS上执行什么操作，给他什么权限：为了测试，我们只赋予它ListRoles的权限，如下图：也就是这个用户通过SSO登录到AWS上，只能查看AWS role的权限，其他的什么

2020-08-12 01:50:32 1543

原创 Azure AD 与 AWS IAM 集成实现SSO—上（Azure部分）

整体的架构和流程是下面这个样子：Azure部分：登录Azure的portal通过Azure Active Directory创建一个测试用户：返回Azure Active Directory 创建新的应用程序 Amazon Web Service搜索 Amazon Web Service并确认添加完成后，选择单一登录，并选择设置单一登录：在设置单一登录的操作如下：下载联合元数据XML，并保存好，在AWS的IAM配置中会用到：https://login.microsoftonl

2020-08-12 01:35:38 766

原创 AWS DevOps 通过Config自动审计Security Group配置——下篇

再讲一下背景, 这个实验的一个场景是，运维同事设计安全组Security Group的时候，打开了除了HTTP和HTTPS的入口访问权限。其他协议或端口如果打开，除了审计不通过的同时，会自动触发一个函数将它修改成我们定义好的权限。（如果你了解一些Lambda就会非常清楚这个逻辑了）逻辑是：修改，添加或已有的Security —— 触发Config的审计—— 触发Lambda来修改正确的规则（这个实验是自定义rule，AWS Config提供了90几个rule可以满足大部分场景的需求）AWS DevO

2020-08-12 01:12:57 229

原创 AWS DevOps 通过Config自动审计Security Group配置——上篇

这个实验的一个场景是，运维同事设计安全组Security Group的时候，打开了除了HTTP和HTTPS的入口访问权限。其他协议或端口如果打开，除了审计不通过的同时，会自动触发一个函数将它修改成我们定义好的权限。（如果你了解一些Lambda就会非常清楚这个逻辑了）逻辑是：修改，添加或已有的Security —— 触发Config的审计—— 触发Lambda来修改正确的规则（这个实验是自定义rule，AWS Config提供了90几个rule可以满足大部分场景的需求）先决条件：了解AWS Lamb

2020-08-12 01:11:12 529

原创 AWS扩展EBS卷——Windows文件系统

Windows文件系统的扩展，在本地环境我们通常的做法是，插一块SAS或SSD磁盘（没有RAID的情况下），然后扩展卷。其实在云端的做法也是类似的。值得注意一点的是，如果你的AMI（系统镜像）直接从AWS启动的，则Windows Server 2008 R2 及更高版本包含 AWS NVMe 驱动程序。如果使用的不是 Amazon 提供的最新 AWS Windows AMI，请参阅安装或升级 AWS NVMe 驱动程序。分为以下几个步骤：1.创建实验用的Windows虚拟机这里我建议配置稍微高一些

2020-08-12 00:22:19 417

原创 AWS扩展EBS卷——Linux文件系统

AWS扩展文件系统，目前主要是根据基于不同的实例类型：Nitro和非Nitro系统，扩展卷的方式也不一样。我的EC2是不是基于Nitro构建的？简单解释一下Nitro，Nitro 系统是 AWS 构建的硬件和软件组件的集合，可实现高性能、高可用性和高安全性。此外，Nitro 系统还提供了裸机功能，从而消除了所有虚拟化开销并支持需要完全访问主机硬件的工作负载。有关更多信息，请参阅 AWS Nitro 系统。以下实例基于 Nitro 系统而构建：虚拟机：A1、C5、C5d、C5n、G4、I3en、M5

2020-08-12 00:16:16 217

原创 [AWS][计算][EC2] Windows OS 通过SSM RunCommand 登录EC2

最近有使用windows的用户问我，他的登录证书丢了怎么办? 非常着急登录去配置服务。有什么办法可以破？下面简单说一下，首先我们要将丢失密钥的EC2给他赋予一个Role，这个角色有访问和使用SSM的权限。AmazonEC2RoleforSSMRole附加完成后，等1分钟左右。进入到SSM中的Run Command，因为是Windows Server ，RunPowerShellScript在Commands写添加用户，并加入某个组，附加该用户密码的命令行；然后Run。通

2020-06-19 11:52:20 365

原创 [AWS][数据库] RDS子网组与VPC

1. 定义VPC中两个AZ中4个子网，这里不再赘述。AZ1：subnet001和subnet002AZ2：subnet003和 subnet004具体参考下图：2. 创建RDS子网组并绑定到刚刚创建的VPC。2.1 创建子网组：2.2 添加并绑定VPC和子网（这里我添加AZ1的subnet001和AZ2的subnet003）后面会有解释。添加第二个可用区的子网创建成功后返回子网组页面：可以看到刚刚创建好的rds subnet test13. 创建RDS服务启动数据库，创建完

2020-06-19 11:50:24 1068

原创 [AWS][容器][ECS] ECS动手实验101

实验目的，熟悉AWS Elastic Container Service实验包括：1. 创建和定义ECS的任务（Task）2. 创建ECS Cluster3. 部署应用到ECS Service中实验前准备：AWS账号熟悉IAM role、EC2、Docker等知识Task1：使用ecs-sample image注册和定义Task进入到ECS服务，创建Task Definitions：{ "family": "myContainer", "containerDefini

2020-06-19 11:49:17 463

原创 [AWS][容器][ECS] 容器动手实验201

实验之前，还是先了解一下本次实验整体ECS的架构：实验包括：1. 创建和定义ECS的任务（Task）2. 创建ECS Cluster3. 部署应用到ECS Service中4. 通过Task Definition更新应用5. 容器的扩展实验前准备：AWS账号熟悉IAM role、EC2、Docker等知识Amazon ECS 的一些关键组件：Container Instance：EC2实例，包含ECS agent 并且注册到ECS集群中。ECS Fargate：不需要管理和配

2020-06-19 11:46:59 711

原创 [AWS][存储] 制作自己的企业网盘S3 Policy+S3 Browser

最近很多客户问我S3有没有客户端工具？如何通过IAM用户和权限通过一个客户端来管理我的存储桶？本文以第三方工具S3 Browser 结合 S3 的一些特性（Bucket，Objective-level-logging，IAM user，IAM Policy，S3 versioning）一步一步带你实现客户端的存储桶管理。非常适合的场景是多个部门或Team，比如开发，市场，运营，人事等他们都需要有各自的权限各自的桶来管理文件。先建立一个bucket：s3-bucket-devgroup 来作为测试

2020-06-19 11:43:42 1294

原创 [AWS][迁移] 使用 VM import 将 Azure 虚拟机迁移至 AWS 平台

通常我们做虚拟化，需要先做P2V然后将镜像导入到虚拟机中。而P2V后需要根据虚拟化层所支持的镜像类型做镜像格式的转换。在云平台间的虚拟机迁移，原理是差不多，可以看作是不同的虚拟化平台的迁移。这里我以Azure的VM虚拟机（ARM资源管理模式）迁移到AWS的EC2虚拟机为例：（如果你使用的是早期的经典模式虚拟机Classic Model VM，请将经典模式转为资源管理模式ARM VM）本篇Blog使用VM Import/Export 可以让您轻松将虚拟机映像从现有环境导入到 Amazon EC2 实例中。

2020-06-19 11:40:34 741

原创 [AWS][安全] 通过 AWS Config 服务检查配置是否合规

AWS Config 可以提供关于您的 AWS 账户中的 AWS 资源配置的详细信息，您可以查看准备修改的资源如何与其他资源相关联，并评估更改所产生的影响。同时利用 AWS Config 的预定义规则，您也可以监控资源是否合规，比如是否开启了 AWS CloudTrail，RDS 是否开启了备份，IAM 用户的密码策略是否符合要求等。本次示例中，我们将用 AWS Config 来检查 AWS 账号内是否都开启了 S3 存储桶日志记录。在 AWS Console 界面，点击左上角”服务”----“Co

2020-06-19 11:39:08 521

原创 [AWS][安全] 监控登录 Console 失败

AWS CloudTrail 是一项支持对您的 AWS 账户进行监管、合规性检查、操作审核和风险审核的服务，您可以通过创建 CloudTrail 追踪，将日志保存到 S3 存储桶和 CloudWatch Logs 中，结合 CloudWatch Logs 的过滤条件创建警报，可以实现针对于 AWS 平台某些特定操作的警报: 比如当监控到账号内有人启动 4xlarge 或者 8xlarge 类型的实例的时候就触发警告，或者当有人修改了安全组规则的时候出发警告等。本次示例中，我们以在 5 分钟之内登录

2020-06-19 11:37:20 661

原创 [AWS][安全] S3存储桶策略-Bucket Policy

在上一个实验”IAM 策略”中，我们了解到可以对 IAM 用户赋予一些策略，使这些用户只能对特定的资源赋予特定的权限，以及在策略中，我们也可以通过变量的方式动态控制每一个 IAM 用户的策略。但在某些场景下，我们需要对某些资源赋予权限，比如有一个 S3 存储桶，我们想要把这个存储桶/存储桶中的对象共享给某一个 AWS 账号，或者某一个 AWS 账号下的 IAM 用户，在这种情况下，我们需要创建基于资源的策略。S3 存储桶策略和 IAM 用户策略看起来很相似，都是通过 JSON 来进行定义。不同的是

2020-06-19 11:34:36 5132 1

原创 [AWS][安全][S3] IAM 角色授权 EC2 访问 S3

实验说明:在先前的中，我们讲到使用 AWS CLI 对 S3 中的对象进行操作，在配置 AWS CLI 的时候，我们创建了 IAM Access Key 和 Secret Key，这种 Key 属于 Long Term Key，也就意味着如果您不 rotate Key，那么 key 将长期有效，如果 Key 不慎丢失，就需要在 AWS IAM 界面删除这个 key 或者停用 key。当我们将服务部署在 AWS EC2 的时候，还有另外一个可选方案，即使用 EC2 Role(角色)的方式，使 EC2

2020-06-19 11:32:35 2547

原创 [AWS][Nosql]DynamoDB动手实验101

这个实验包括：创建一个DynamoDB 的Table（表）添加数据到Table中查询Table中的数据删除数据库补充，JSON和 Python 的queryTask1：创建一个DynamoDB 的Table（表）Task2：添加数据到Table中Task3：查询Table中的数据条件是and ，不是or。可以添加FilterTask4：删除数据库那么应用程序查询的方式呢？以下是 DynamoDB 中的几个 Query 示例：###返回 Aritist

2020-06-17 18:41:47 289

原创 [AWS][Nosql] Elasticache for Redis 动手实验101

实验包括：创建一个Amazon ElasticCache 集群连接这个集群运行命令删除集群Task1：创建一个ElasticCache 集群参数的解释我在视频课上跟大家说一下。创建完成后是下面这个状态：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0jfrsxKp-1592388839326)(https://s4.51cto.com/images/blog/202006/16/f586adbbd07e8772ccf8f922efaf42fa.png?

2020-06-17 18:16:36 418

原创 [AWS][数据仓库]Redshift 动手实验---分析美联航airline数据

实验包括：创建一个Amazon Redshift集群通过SQL客户端连接Amazon Redshift加载S3的数据到Amazon Redshift查询Amazon Redshift中的数据监控Amazon Redshift的性能Task1：创建一个Amazon Redshift集群Nodes 为2个下拉到Database configuration 中：Database name：labMaster user name：masterMaster user password：

2020-06-17 17:57:14 671

原创 [AWS][CloudEndure]CloudEndure迁移阿里云到AWS

CloudEndure 是 AWS 的一家公司，现在免费提供 CloudEndure Migration，该产品让您可以将应用程序从任何物理、虚拟或基于云的基础设施迁移到 AWS。所有 AWS 客户和合作伙伴都可以使用该产品。CloudEndure Migration 通过提供高度自动化的直接迁移解决方案来简化和加快云迁移并降低成本。您可以使用 CloudEndure Migration 快速将大量计算机重新放在 AWS 上，而无需担心兼容性、性能中断或花费较长的转换时间。借助基于代理的解决方案 Clou

2020-06-17 17:18:14 2461 1

原创使用 Visual Studio 结合 AWS Beanstalk 发布高可用Web应用

背景介绍开发人员最喜欢做的事情是直接通过IDE管理发布代码，AWS Toolkit可以让开发人员将应用程序直接发布到AWS的云平台，并轻松实现部署调用与开发，并通过Elastic Beanstalk堆栈实现应用程序的一键部署，代码版本管理，数据库管理，负载均衡与自动扩展等。AWS Elastic Beanstalk 是一项易于使用的服务，用于在熟悉的服务器（例如 Apache 、Nginx、Passenger 和 IIS ）上部署和扩展使用 Java、.NET、PHP、Node.js、Python、Rub

2020-06-17 17:08:11 648

栗子哥的云计算博客