![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
AWS
与数据交流的路上
这个作者很懒,什么都没留下…
展开
-
aws-cli相关操作
s3:下载数据到本地:# BUCKET1:桶名称# dir/my_images.tar.bz2:s3中的对象# my_images.tar.bz2 复制到本地的名称# aws-cof:aws配置的项目名(将aksk配置到配件里,这样就不用在环境变量中写aksk了)aws s3api get-object --bucket BUCKET1 --key dir/my_images.tar.bz2 my_images.tar.bz2 --profile aws-cof......原创 2023-02-01 15:23:51 · 516 阅读 · 0 评论 -
aws-aws help报错
二、解决1.可以看到报错的重要信息为2.查看版本3.调整版本至此,问题解决原创 2022-07-05 18:56:51 · 191 阅读 · 0 评论 -
AWS-服务更新
一、背景AWS上的服务如rds,redis等不定期会有服务更新操作,这种操作有些是强制的,不自己更新,到期后aws会自动更新,可能会影响业务,那么需要怎么看呢二、查看控制台-对应服务-服务更新-查看...原创 2022-02-25 13:42:20 · 915 阅读 · 0 评论 -
aws挂载本地磁盘不能正常重启
一、背景今天将一个挂载本地磁盘的aws ec2机器进行重启,这之后aws显示机器已经正常启动,能ping通ip,但是telnet却返回 port 22: Connection refused二、原因是因为以前采用的挂载方式为vi /etc/fstabUUID=c51eb23b-195c-4061-92a9-3fad812cc12f /data1 ext4 defaults,nodelalloc,noatime 0 2mkdir /data1 && \mount -a这样就原创 2022-02-08 16:11:22 · 736 阅读 · 0 评论 -
aws rds外网登录
客户对RDS实例sql-novadao01sg开启了外网访问,但是客户发现3306端口不通。客户发现转换子网后就可以正常从外网链接,客户希望针对这一部分获取一些解释信息。问题分析:您好,通常情况下,RDS在创建数据库时会在您选定的VPC内的特定子网内创建一个网络接口(ENI)并附加一个在公网可以被路由的IP地址。默认情况下,该网络接口会自动选用所在子网的路由。 如果您的所在子网的路由并没有一个互联网网络出口(例如0.0.0.0/0 IGW),那么您是无法从互联网上直接访问到这台实例的。除此之外,还原创 2022-01-06 18:56:23 · 3217 阅读 · 0 评论 -
aws cli
官网地址:https://docs.aws.amazon.com/cli/latest/reference/选择对应的命令,如想知道缓存类的命令就如上图选择原创 2021-09-29 14:18:29 · 101 阅读 · 0 评论 -
AWS-rds 表主从不一致如何解决
一、背景因为某些修改造成了表的主从不一致,所以需要备份表恢复数据,物理机大家都有很多种做法,但是因为aws rds限制了账户的权限,所以这里用不到普通的办法,想了一阵想到一种可行性的方法,暂时没有发现隐患,或者更好的办法,如果有大佬知道的话,欢迎随时指教二、步骤1.查看主库二进制状态(主库执行)# 记录当前的二进制和pos点,mysql-bin.123,111show master status2.等待一段时间,确定所要备份的表没有还未执行完的大事务,开始备份 这里可以用多种方式,我使用的为m原创 2021-09-17 14:22:46 · 340 阅读 · 0 评论 -
aws-redis数据非实时迁移
一、背景因为一套环境要迁移到aws redis上二、使用工具redis-shake同步时候出现报错2021/07/23 09:27:33 [PANIC] read error, please check source redis log or network[error]: EOF[stack]:1 /Users/tongyao.lty/Work/RedisShake/src/redis-shake/common/utils.go:930redis-shake/common.Iocop原创 2021-07-28 17:54:11 · 1575 阅读 · 0 评论 -
aws-用脚本实现自动快照总是指定从库
背景:使用aws redis,因为某些更新情况等会造成主从切换,原来自动备份的节点为从库,现在就变成了自动备份的节点为主库,因为aws中自动备份一旦指定节点之后就不会更换,除非手动更改,这样就造成了流量都打到了主节点,所以做了自动脚本来实现这个功能–output json 以json格式输出,默认是文本列出所有复制组aws elasticache --profile test describe-replication-groups --output json通过这一句来确定哪个节点是主节点aw原创 2021-07-15 18:37:40 · 169 阅读 · 0 评论 -
mysql-aws从rds实例上拉取慢日志
一、安装awspip install awscli二、配置项目aws configure --profile test(test项目名)AWS Access Key ID [None]: ******AWS Secret Access Key [None]: ******Default region name [None]:******Default output format [None]: text三、列出慢日志aws rds describe-db-log-fi...原创 2021-07-14 17:32:20 · 434 阅读 · 0 评论 -
AWS-redis之坑
坑一:升级配置的时候会改变ip,如果有根据ip做绑定的程序就会出现问题坑二:做补丁更新的时候会做主从切换,且这种切换是不可控的,这种更新是强制的坑三:自动备份不会根据主从切换来自动切换,即原来备份的是从节点,主从切换之后备份的就是主节点了,这样在备份的时候流量都会打在主节点上,会影响程序的运行坑四:默认配置文件不能进行修改,需要自建配置文件才能进行修改...原创 2021-07-14 14:22:37 · 669 阅读 · 0 评论 -
mysql-AWS-RDS骚操作
一、背景目前云时代,好多公司都上云了,但是rds的使用方法和物理机上的自建传统数据库可能有些不一样,这里慢慢来做对比。二、操作处理问题一、kill thread描述: 我们自己在aws上创建的超级用户并不能kill其他用户的线程解决: aws封装了一个存储过程在里面,不同的rds可能名字不一样,可以通过 select * from ROUTINES where routine_name like '%kill%'来查询。**使用: **call mysql.rds_kill(thread_id)原创 2021-07-02 14:24:21 · 519 阅读 · 0 评论 -
AWS-DMS的使用
一、创建复制实例二、创建终端节点1 创建源终端节点,目标终端如果有rds实例点选之后,自动填写,如果是物理机或其他实例需要手动填写2 手动填写数据库账号密码三、创建迁移任务1 选择迁移类型(如果是全量+增量则选择红框内)2.填写要复制的库表3.填写转换规则比如要改写库名,表名,前缀,大小写等等......原创 2021-06-25 15:30:45 · 1831 阅读 · 0 评论