
数据迁移
我要用代码向我喜欢的女孩表白
已经换工作了,现在在某家安全公司打工。
又换工作了,现在在某金融公司打工
马上失业了,还要还房贷,要饿死了,大家可以私聊联系我,进行投喂,谢谢
展开
-
应用割接/迁移流程
1、用户应用割接后,如果出现了问题,解决,如果解决不了,那么可以直接切域名回去。这时候还没有切流量,所以不会有生产数据,是可以当天发现的。2、用户割接后,如果当天测试没出现问题,过了一段时间发现不对了,这种就得链接回滚库,可以缩短停机窗口,然后把dns切回去。专门给大厂,如x山,x讯,xx银行,xx云等各种大厂做迁移服务。第一步干啥,第二步干啥,通向哪些组件(因为保密原因,图我是不能提供的,除非新画,但是我懒的新画了)4.功能测试已经测试,应用提前部署,链接的大数据是原来的。1.确保网络环境没有问题。原创 2025-04-27 14:47:39 · 179 阅读 · 0 评论 -
hive全量迁移脚本
input_table.txt要保证,里面是一个个表名,并且他们都在同一个hdfs库的目录下。原创 2025-02-17 16:02:54 · 372 阅读 · 0 评论 -
增量hdfs数据追平
1、假设客户只改了最近的分区。他不会去修改历史的分区表,如果大量改历史的分区表,那纯纯把hive当mysql用了。这样我们就只能找出变动的表,然后删除,重新迁移。2、此处是确保他们不会大量改历史分区,只有少部分改(删除,重新迁移),但是他们会改最近分区,我们不能确保他的任务迁移过程中,修改了数据。所以这里我们删除的是最新分区的数据,然后在进行对表update(这样也可以把新增的表迁移过来)。原创 2025-02-10 15:00:42 · 229 阅读 · 0 评论 -
elasticsearch es数据迁移es-dump
分三步,首先下载npm,然后在npm安装es-dump,然后通过dump的命令,从远程服务器把数据备份到文件夹中,然后在通过dump的导出命令,将文件夹中的数据导出到测试服。由于现在接管了同事的代码,同事的代码操作es时,导致了线上问题,我又对es不熟悉,怕操作影响了其他线上业务,于是现在将es数据复制一版到本地来。现在将远程转换为本地,我们采用【elasticdump工具】来进行迁移,至于用它的原因,就是看起来不影响线上服务,而且非常易懂,学习成本低。(用来并行备份多个索引)(用来备份单个索引),原创 2023-02-13 15:54:05 · 1649 阅读 · 0 评论 -
NFS磁盘挂载
需求,客户给了一块NAS磁盘,上面还要重要数据,放在了一台机器上,我还要3台机器,要使用这台机器上的剩余磁盘空间,我想每台机器,分这台机器上的一点磁盘。先了解一下磁盘类型。查看磁盘类型df -HT创建nas磁盘mkdir /hadoop/nfs 这个就是拿来奉献的,我会把它改成nas磁盘vi /etc/exports 修改,你让哪个ip能访问他。...原创 2022-08-18 17:50:30 · 580 阅读 · 0 评论 -
python读取execel表格(xls等格式)转换为csv,并且加载到hive表中
保存的名称叫Python3.sublime-build默认位置。2.使用sublimeText3,配置python。3.python3安装pandas和xlrd。hive建表的前置语句(我已经建了这个表)如果是在hue中执行,需要设定权限。我把csv上传到/root目录下了。5.hive表,前置建表语句。在安有hive的机器执行(1.安装python3。6.hive导入csv。......原创 2022-07-29 15:41:38 · 983 阅读 · 0 评论