shenghuiping2001
提供Splunk 安装升级技术支持,Splunk 字段截取,dashboard 报表制作。Splunk 接入各种网络设备和Add-on APP.(毕业于南京航空航天大学,在IBM工作过10年,现在专注splunk架构和数据分析。拥有Oracle: OCP认证, AWS: ASP认证, Azure: admin系统管理员认证。)
展开
-
解决prometheus node cert exporter 的日志输出问题。
promethues node exporter 每个都有自己的封装的参数,这个可以通过-help 来查看,并且可以调整输出。原创 2023-09-03 22:08:49 · 262 阅读 · 0 评论 -
Prometheus 监控初体验
Prometheus 的监控一直都在和Zabbix 比较,随着Cloud 服务越来越多,Prometheus 也用的越来越广。原创 2023-04-30 15:29:34 · 896 阅读 · 0 评论 -
AWS Lambda快速上手 - 接受SNS,并且插入DynamoDB
Lambda 在aws 扮演这很重要的位置:1:下面开始用Lambda 导入SNS的消息,并且发送到DynamoDB 的过程:先创建一个Lambda: (注意要选择一个可以执行DynamoDB 的role,没有建的话,要创建一个,否则会报对数据库没有权限的错)2: 在lambda 下面贴好触发代码 (这个在文章最下面有):3: 下面创建DB: 注意不要选default, capacity 都选1 就可以啦,这个费用小。4: 创建好SNS:5: 在lambd...原创 2021-01-17 10:54:32 · 510 阅读 · 0 评论 -
s3cmd 对 S3 minio 存储的使用
s3cmd 的使用,不仅仅是对aws s3, 不一定要放到公用云上面。s3cmd 可以用在minio storage 上面。原创 2021-12-15 18:19:53 · 1842 阅读 · 0 评论 -
AWS【亚马逊服务器】 解决EC2使用ROOT登录/解决Disconnected:No supported authentication methods available
aws ec2默认是使用ec2-user账号登陆的,对很多文件夹是没有权限的。如何使用root账号执行命令就是一个问题了。解决办法如下:1.根据官网提供的方法登录连接到EC2服务器(官网推荐windows用户使用PUTTY连接)主机:是服务器的Public DNS端口:222.创建root的密码,输入如下命令:sudo passwd root3.然后会提示你输入new password。输入一个你要设置的root的密码,需要你再输入一遍进行验证。4.接下来,切换到root身份,输入如下原创 2021-08-07 19:15:05 · 1543 阅读 · 0 评论 -
aws S3 access 的IP 监控
Cloudwatch log insights。通过 Cloudwatch log insights 我们可以像类似 sql 语句一样区查询日志,例如我们用到的查询、统计客户端访问 s3 时所用 ip 的语句:fields sourceIPAddress,requestParameters.key,@message| sort @timestamp desc| filter eventSource = 's3.amazonaws.com'| filter requestParameters.buck原创 2021-07-02 18:02:45 · 253 阅读 · 0 评论 -
AWS S3 监控size 大小和 number 数量
最近要把aws 上 S3 的数据放到 阿里云上,先要看一下数据量的大小,先到S3:注意,要把右上角的显示时间改成3天以上,或者是1week, 就可以显示出来了。参考:https://docs.amazonaws.cn/en_us/AmazonS3/latest/userguide/metrics-dimensions.html#s3-cloudwatch-metrics...原创 2021-07-02 10:35:12 · 484 阅读 · 0 评论 -
AWS cloudwatch 来监控资源
1:今天实现在cloudwatch 上监控资源:如何监控您的资源 - Amazon Web Services (AWS)2: 创建alarm: 选择下面的EC2:3: 进入EC2:4: 创建alarm, 设置75%是警报线:5:设置发送邮件:参考文档:如何监控您的资源 - Amazon Web Services (AWS)...原创 2021-06-30 16:41:32 · 393 阅读 · 0 评论 -
aws VPC link 在API gateway 作用
今天实践了VPC link 的使用:先看一下架构:(如果没有api gateway, 那么就是 domain -> SLB, 有了api gateway 就是: domain -> apigateway )1: 创建vpc link:2: 先看创建的net load bvalancer:3: 注意上面的oad balancer 的scheme 是internal, 所以说这个是不能公网访问的。注意上面的 type 是network 的load balancer..原创 2021-06-22 15:07:30 · 537 阅读 · 0 评论 -
AWS 费用清清楚楚
最近收到aws 的账单,说我最近占用资源比较多,我就登入aws ,然后进入cost management exporer 进去看看:原创 2021-06-21 15:25:07 · 534 阅读 · 0 评论 -
aws S3 额外关联账号的研究-cloudfront 自动生成的aws 账号
1:今天audit 发现s3 bucket 里面有关联的其它aws account:原创 2021-06-11 22:41:00 · 207 阅读 · 0 评论 -
aws ECS Task 增加内存
1: 先看一下ECS 的Task 的定义:2:原创 2021-06-08 11:55:40 · 387 阅读 · 0 评论 -
AWS IAM certification
今天发现aws 的IAM 还有放证书的地方,这个证书在console 控制台上还看不了,一定要ACL 才可以看到,下面先登入ACL 看一下:原创 2021-06-04 10:59:01 · 439 阅读 · 0 评论 -
aws SLB 监控负载均衡 - 访问日志access log
今天被要求设置ALB 的访问日志,结果设置的时候,总是报错,结果查了文档:https://docs.amazonaws.cn/elasticloadbalancing/latest/application/load-balancer-access-logs.html发现s3 的权限设置要加下面这么一段:{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": {...原创 2021-05-24 16:58:02 · 1097 阅读 · 0 评论 -
aws S3 对部分文件-文件夹的public access访问控制
今天实验了aws S3 上对bucket 上面部分文件夹,或者文件进行public access 的设置:1:先了解“can be public access” 和public 的区别:(先把下面的block public access 给disable 就可以看到: Objects can be public)2: 继续向下面看权限:如果是public access: everyone 进入这个也设置成write and read, 那么权限就变成: public了:3: 关于部分文.原创 2021-05-23 10:15:46 · 969 阅读 · 0 评论 -
aws S3 仅仅允许https 登入 not http 登入
方法: 可以先去aws s3 的策略生成器下面先生成:AWS Policy Generator可以在permission 下面加入如下策略: (注意 生成的策略,需要改成aws - > aws-cn)改好之后,可以测试一下,https 是可以的,但是http 是不行的。{ "Id": "Policy1621578773057", "Version": "2012-10-17", "Statement": [ { "Sid": "Stmt1621...原创 2021-05-21 18:01:29 · 622 阅读 · 0 评论 -
AWS S3 服务器端加密 SSE-KMS 后, S3 中文件访问不了
今天做了实验,实现了aws 服务器端的两种加密方式,sse-s3 对 S3 中的文件访问没有任何影响,但是sse-kms 加密后,URL 访问不了了:1: 先创建一个kms:(熟悉KMS 可以把操作用户也加进去)2: S3 的属性中用这个KMS 加密:3: 访问s3, 就会出现如下的报错:4: 如果改成SSE-s3 的加密,就可以访问s3 上面的 文件啦。出现这个问题的原因是因为:通过浏览器来访问对象时,所发出的get请求并不是通过AWS SigV4签名之后发出的,所以这些请原创 2021-05-15 22:09:43 · 1165 阅读 · 2 评论 -
aws S3 access log 的设置
1: 关于aws S3 的access log 的设置:(下面显示不在同一个region 会报错,可以建一个在同一个region 的bucket)2: 建好bucket 后,可以设置一个文件夹,这个文件夹不一定要存在,如果没有s3 会自动创建:(但是最后要写 " / ")3: 写好后,一定要配一个life-cycle: (apply all object in the bucket)设定一个过期时间,就可以实现几天前的delete....原创 2021-05-14 17:54:54 · 616 阅读 · 0 评论 -
AWS public IP 重启后改变
今天给客户加密disk 后重启,发现他们的public 变了,以前的public IP 找不到了,一开始找原因,开了case, 到系统cloud trail 里发现,这个ip 根本就不是Elastic IP1: 查找方法:(可以看到下图的resource name 里面有生成的ip).2: 如果这个Elastic IP 被绑定到一个instance 里面,可以看如下的查找:(右下角有instance ID).3: 如果是查找其它的操作,也可以同样方法,查找 addtag 的记录:..原创 2021-05-13 23:42:01 · 1595 阅读 · 0 评论 -
AWS EC2 里面安装docker
1: 按照aws 的官方文档,安装docker:Docker 基本知识Amazon ECS - Amazon ECS2: 安装好以后,运行docker:docker run -it --name=test hello-world发现报错:AH00558: apache2: Could not reliably determine the server’s fully qualified domain name, using 172.17.0.2. Set the ‘ServerName...原创 2021-05-12 18:00:44 · 1105 阅读 · 0 评论 -
aws auto-scaling 自动扩展: 与加密卷一起使用所需的 CMK 密钥策略
今天aws 给ecs 中ec2实例实现auto-scaling 的时候,没有成功,后来开了case, 发现auto-scaling 的镜像AMI 是加密的,这个加密的kms 是没有对auto-scaling 的权限的,下面一起来看一下:1: 先去aws auto scaling 的 启动配置上看一下:2: 可以选择上面的"create launch configuration" 创建新的,也可以从已有的copy: 如下:3: 点击上面的copy 后,可以看到如下的界面:(要特别注意,选.原创 2021-05-11 21:25:43 · 331 阅读 · 0 评论 -
aws ECS 的ec2 加入到auto-scaling
今天把ec2 加入到auto-scaling 组里:1: 为了防止instance stop 被terminate 掉,可以先加一层保护:(change termination protection)2: 然后再点上面的" attach to auto scaling group", 就可以加入到auto-scaling group 里面了:3: 然后选中这个instance ,点右边的action, 可以点击:" set scale-in protection" , 保护在auto-.原创 2021-05-11 11:20:44 · 368 阅读 · 0 评论 -
AWS ECS -ec2 disk 加密
今天客户要求把ECS 关联的ec2 的disk 加密:先看一下操作步骤:1.登录ECS控制台页面,选择您的集群cnawsXXXXX,然后选中“ECS instances”,在该页面中您会看到当前的两台EC2实例,选中其中一台,然后点击“Actions”,并选则“Drain instances”来排干实例[1]。 上述操作会将您选中的EC2实例中的task排干、并重新调度到另外一台EC2实例中。2.在通过ECS控制台查看、确认实例被DRAINING后,您可以操作实例、为实例的EBS卷做加密。.原创 2021-05-10 16:26:55 · 345 阅读 · 0 评论 -
AWS 脚本输出EC2, RDS 的信息
在有些时候,客户又很多账号,每个账号下面又有很多ec2 / RDS / S3 等,要列出他们的属性,可以参考一下的命令:EC2:aws ec2 describe-instances --query "Reservations[*].Instances[*].[Tags[?Key=='Name']|[0].Value,InstanceId,InstanceType,Platform,State.Name,PrivateIpAddress,PublicIpAddress,Placement.Availa原创 2021-05-04 14:46:03 · 519 阅读 · 0 评论 -
AWS 创建load balansor
1: 利用 aws 创建一个可以远程访问的EC2 实例,具体的创建方法还有网络,可以参考:(7条消息) aws EC2 对外网实现通信_shenghuiping2001的专栏-CSDN博客2:在ec2 里面安装httpd 服务:yum install httpd.3: 看了可能是国内的80 端口的问题,把端口改成3005,试一下,在EC2 的安全组把3005 加入到允许访问的列表:4: 访问一下web page: success:5: OK, 下面配置负载均衡器: (注意;进来.原创 2021-04-26 13:53:41 · 178 阅读 · 0 评论 -
aws EC2 window 实例创建后,用户不能登入
今天为可以创建好ec2 window 实例后,用户访问权限有问题:2:发现是remote 的access 没有打开:下面开始进入 控制面板:3:点上面的“change setting”, 进入下面的"remote" 界面:4: 把要登入的用户加进去,还有可以试试,如果提前把这个用户加入到administrator 的组了,就可以登入了。然后登入就可以了。5,提醒一下,如果试server 装了chef 的控制软件,aliyun 上的ECS 的非administrator 的原创 2021-04-11 16:42:40 · 780 阅读 · 0 评论 -
Amazon S3 设置对象的生命周期Lifecycle
今天实践了一把,对操作日志进行定期清理,用到的是s3 的lifecycle 中的expire current object:1: 先创建4个文件:3个test 大头,一个不是,为了区分测试效果:2:先看一下2021.txt 文件的属性:其他test 打头的文件属性也是一样,OK,下面开始创建lifecycle: (设置过期时间为一天:注意,这个1天是指这个创建好的时间开始向后算的,如果文件是2天前就创建好的,那么创建好lifecycle 后,delete date 是昨天,这个要测试一把,原创 2021-04-05 20:13:42 · 2799 阅读 · 0 评论 -
Lambda + Cloud Watch + EC2, 在AWS上每天定时启动关闭实例和运行脚本
准备我们将要用到的AWS的服务包括:EC2, 即云端虚拟机,将用于运行我们的脚本。 Lambda, 用于操作我们的EC2实例,即启动和关闭。 IAM, AWS Identity and Access Management, 用于赋予Lambda函数操作我们EC2实例的权限。 Cloud Watch, 用于定时执行我们的Lambda函数,达到定时开关机的效果。1:下面先建好EC2 后,就可以建IAM role 了,注意在建role 的时候,要先新建policy:在建立政策选项卡,将以.原创 2021-04-03 16:19:03 · 1206 阅读 · 0 评论 -
Centos7下没有iptables文件
在安装tomcat的时候最后出现了需要开放8080端口,发现默认的Centos7并没有iptables文件,这里我来说下这种情况怎么办;因为Centos7默认使用的是firewall作为防火墙,把它停掉再安装iptable命令如下: systemctlstopfirewalld systemctlmaskfirewalld yuminstall-yiptables yuminstalliptables-services 现在就看到/et...原创 2021-04-02 11:54:18 · 363 阅读 · 0 评论 -
aws 赋予用户 MFA 开通的权限
今天碰到用户要求自己可以开通 MFA的权限,操作方式是:先创建policy: 在把这个policy 赋予这个user:1: 先创建policy:{ "Version": "2012-10-17", "Statement": [ { "Sid": "AllowViewAccountInfo", "Effect": "Allow", "Action": "iam:ListVirtualMFADevic...原创 2021-04-01 22:42:52 · 524 阅读 · 0 评论 -
Amazon EBS LifeCycle Manager 实现EC2 定期备份
现在AWS 推出了 Lifecycle manager, 备份越来越简单了:1: 创建两个测试实例:(注意,aws 的界面界面有不同,看下图的左上角,点一下,就可以看到instance 的界面不一样了)可以先创建好一个EC2, 然后点击上图中的: Launch More like This, 可以创建一个相同类型的instance.2: 给这两个instance 加上相同的tag: Key: SERVER, Value: TEST: (注意: 是instance 的tag)3: 下.原创 2021-03-28 19:24:03 · 354 阅读 · 1 评论 -
利用AWS快照和AMI特性快速开新服
如果在亚马逊平台上有一组服,想快速再开一组一模一样架构的,还包括RDS,而且RDS不用重新建库,EC2实例也不用停机,怎么最快最省事?步骤简述:(1)将线上服EC2实例注册成AMI(2)基于该AMI创建实例,可同时创建多个(3)给线上RDS做snapshot(4)restore该快照到新RDS实例详细介绍:(1)选中EC2实例,右键,选择Create Image (EBS AMI)此操作会将当前实例整个打包注册成系统镜像AMI(2)填写AMI基本信息以及确认注意:勾选No Rebo原创 2021-03-27 12:02:49 · 387 阅读 · 2 评论 -
AWS EC2 备份恢复IP不变 + 定期备份
问题描述:1. AWS 从备份恢复实例如何保持IP地址不变2. 如果定期做备份分析与解答:1. 从备份恢复实例的时候,private IP是会发生变化的,public IP如果想保持不变的话,您需要把源实例的EIP 取消关联,再关联到新启动的实例上,这样您可以使用同样的EIP去登录实例。在启动新实例时,配置实例详细信息的时候,您可以跟源实例保持相同的配置,例如VPC,子网,安全组等。您对实例创建备份时,建议直接采用Create Image的方式创建备份,这样会将整个实例下的所有EBS卷都进行原创 2021-03-27 11:52:37 · 544 阅读 · 0 评论 -
aws EC2 的实例备份和恢复
今天实现了aws EC2 的实例备份和恢复:1: 先创建一个公网可以访问的ec2 instance: 参考:https://blog.csdn.net/shenghuiping2001/article/details/1122368322: 看到上面ec2 已经成功连上了, 注意,我试过这个ec2 的public ip 是ping 不通的,但是连可以连上看到上面我加了两块盘: /dev/xvda,/dev/xvdb, 但是df -h ,只有root 盘,下面把/dev/xvdb 给格式化:.原创 2021-03-27 09:55:00 · 1927 阅读 · 0 评论 -
aws RDS 数据加密和 恢复restore
1: 今天实践是AWS RDS 的数据加密,和从snapshot 恢复的过程:先创建一个RDS:2: 在创建一个snapshot:3: 创建一个snapshot 的copy, 可以看到下面有个encry 的选项, 如果 创建的RDS没有加密,那么下图中就encrytion 的 出现了,可以点一下 encrytion,选择一个key:4: 创建copy 的时候,就出现下图:5: 创建好以后,就可以尝试开始恢复:(注意要在下面的identifiter 起个后来的instanc原创 2021-03-15 17:08:37 · 541 阅读 · 0 评论 -
个人PC链接 aws 的EC2 window insntance
今天为了到aws EC2 上部署点东西,要求登入ec2 的window 实例:Step1: 首先找到如下图的instance, DNS name:Step2: 找到这个instance 下的 security group:Step3: 选择一个security group, 然后点击edit:Step4: 出现下面的图: 点击RDP 和myIP 的选项:Step5: aws 的instance 设置好以后,就可以设置自己PC了:Step6:点上面的 “启用或关...原创 2021-02-26 10:44:37 · 213 阅读 · 0 评论 -
aws 非加密EBS转换为加密
先说一下没有直接的方式进行状态转换方法1:前提时未加密EBS挂载在云主机上创建一个加密EBS; 将加密EBS挂载到该云主机上; 将未加密的EBS的数据复制到新挂载的EBS上。方法2:不加密EBS生成快照; 复制快照时选择加密; 通过生成的快照新建一个EBS.下面进行第二种方法来实现EBS 实现加密:先看一下没有加密的EBS :2: 下面开始从这个 volume 创建一个snapshot:3: 看一下创建 snapshot 的步骤:4: 创建好snap...原创 2021-02-23 11:50:20 · 366 阅读 · 0 评论 -
aws 创建 container
1:container 已经是个趋势,今天在AWS 实践了一把:2:点击下一步后,要点击load balance:3: 创建好以后的界面是这样的:4: 点击 上图的负载均衡器:看到下图,就可以知道是成功啦~原创 2021-02-07 10:21:59 · 363 阅读 · 1 评论 -
Terraform 快速生成aws 实例+ VPC+ 子网
早就听说Terraform 可以对aws 进行集成,今天实践了一把:1:下面开始编写配置文件:config.tf: provider "aws" { access_key = "aws的accesskey" secret_key = "aws的secretkey" region = "aws地区代码" }编写好以后,开始执行terraform init. 这个初始化,需要有点耐心,要花点时间:(生成好以后,会在文件夹下面生成.terraform 文件夹)原创 2021-02-06 21:07:52 · 1682 阅读 · 0 评论 -
为何我无法从 Amazon EC2 实例连接到 Amazon S3 存储桶
今天实验了从VPC的私有子网中的EC2 来访问S3: (利用VPC 的endpoint 技术)step1: 先创建一个EC2,注意,先不建立IAM role:step2: 创建EC2, 后,发现本地连接不上,看一下这个VPC的路由,发现只有本地的,难怪连不上:step3: 添加一个internet Gatway:然后手动为这个VPC添加一条通往iternet gateway:结果如下:Step4:下面就可以连接成功了:Step5: 下面开始测试从.原创 2021-01-31 22:16:58 · 1096 阅读 · 3 评论