干货 | 非结构化数据迁移-Java 版S3Transfer

于 2019-07-17 12:06:42 发布
阅读量1.7k 收藏 1
点赞数
分类专栏： 技术分享 文章标签： 非结构化数据 数据迁移 S3Tranfer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jdcdev_/article/details/96275890
版权

在这里插入图片描述

一、操作说明

1、JAVA版迁移工具说明

Java版S3Transfer工具目前为公测阶段，此迁移工具支持从AWS S3、阿里云、腾讯云、百度云等存储迁移文件到京东云对象存储；同时也支持本地文件列表迁移。大概逻辑为先获取文件的地址或外链，然后根据外链读取数据，然后进行迁移，这个工具是listObject，transfer，md5check 三个工具的集成：

listObject工具的目的是列出用户配置bucket下的所有文件的列表。如配置prefix，则列出该prefix下的所有文件列表；

transfer工具的目的是将源文件迁移到oss对象存储中；

md5check工具用于md5值校验。

2、工具特点

  • 支持丰富的数据源：
    本地数据：将本地存储的数据迁移到 OSS；
    其他对象存储:目前支持 AWS S3，阿里云 OSS，腾讯云COS,百度BOS，华为 OBS存储迁移至京东云OSS，后续会不断扩展;
    URL 列表：根据指定的 URL 下载列表进行下载迁移到 京东云OSS;
    Bucket 相互复制：京东云OSS的 Bucket 数据相互复制, 支持跨账号跨地域及同区域的数据复制。
  • 支持断点续传；
  • 支持流量控制；
  • 支持迁移特定前缀的文件；
  • 支持并行数据下载、上传；
  • 迁移校验：对象迁移后的校验。

3、实操迁移场景说明

为保证实操的可操作性和直观性，本文档采用大文件传输（2个10G大小的文件），类型为s3file，从京东云账号①通过外网传输至京东云账号②对象存储空间，用来模拟跨公有云之间的对象存储迁移，任务控制端为京东云的一台Centos 7.4云主机。

在这里插入图片描述

4、备注

1.文件传输会将单个文件分成若干个切片进行传输，如图：

在这里插入图片描述

2.迁移过程中，迁移日志将默认打印到 ./log 目录下。迁移的所有文件将打印到audit-0.log中，迁移成功的文件将打印到audit.success日志中（如果将目标端传输成功的文件删除后，需要删除audit.success日志文件方可进行重新传输），如果需要筛选迁移失败的文件，请使用命令：

 grep "1$" audit-0.log*

 

二、环境准备

1、新建云主机
地域 操作系统 配置 带宽 JDK版本华北-北京 CentOS 7.4 64位 8核16G 20Mbps 1.8.0_191
2、新建Bucket

需要准备两个京东云账号，一个在华北-北京创建对象存储空间，一个在华东-上海创建对象存储空间，以此来模拟跨公有云的对象存储迁移。

账号①-华北-北京：beijing-to-shanghai
账号②-华东-上海：shanghai-from-beijing
在这里插入图片描述
在这里插入图片描述

3、使用S3fs在云主机实例上挂载Bucket

1.安装依赖包

yum install automake fuse fuse-devel gcc-c++ git libcurl-devel libxml2-devel make openssl-devel -y

2.安装以及编译

git clone https://github.com/s3fs-fuse/s3fs-fuse.git
2cd s3fs-fuse
./autogen.sh
./configure
make && make install

3.创建密码文件

echo Access_Key_ID:Access_Key_Secret > ~/.passwd-s3fs
chmod 600 ~/.passwd-s3fs

Access_Key_ID:Access_Key_Secret获取方式：https://uc.jdcloud.com/account/accessKey

在这里插入图片描述
4.挂载对象存储到本地目录/hcc（目录名称根据自己的名字简称定义）

mkdir /hcc
s3fs bucketname /hcc -o passwd_file=~/.passwd-s3fs -o

url=“https://s3.cn-north-1.jcloudcs.com” mkdir：创建hcc文件夹作为本地挂载目录
s3fs：手动挂载命令，其中bucketname为bucket名称、/hcc是本地挂载路径、passwd_file为密码文件位置、url为京东云对象存储兼容S3域名（请输入空间的Bucket域名）

5.查看挂载结果

df -h

在这里插入图片描述

6.通过dd命令在所挂载的对象存储里生成文件

这个命令会在所挂载的源对象存储Bucket里生成2个大小为10GB的小文件。

cd /hcc
for ((i=1;i<=2;i++));do dd if=/dev/zero of=block_$i.file bs=1M count=10240;done

文件生成结果：

在这里插入图片描述
在这里插入图片描述

4、部署JAVA环境

下载解压jdk

[root@pocenv-hcc-test-hb ~]# wget https://pocenv-hcc.oss.cn-north-1.jcloudcs.com/jdk-8u191-linux-x64.tar.gz && tar zxf jdk-8u191-linux-x64.tar.gz && mv jdk1.8.0_191/ /usr/local/ && ln -s /usr/local/jdk1.8.0_191/ /usr/local/jdk

配置环境变量

vim /etc/profile

在配置文件尾部加入

######## JDK #######
JAVA_HOME=/usr/local/jdk1.8.0_191
JAVA_BIN=/usr/local/jdk1.8.0_191/bin
PATH=$PATH:$JAVA_BIN
CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH

重新加载变量配置文件并查看jdk版本

[root@pocenv-hcc-test-hb jdk8]# source /etc/profile
[root@pocenv-hcc-test-hb jdk8]# java -version
java version "1.8.0_191"
Java(TM) SE Runtime Environment (build 1.8.0_191-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.191-b12, mixed mode)

 

三、迁移操作

1、下载Java 版S3Transfer

1 [root@pocenv-hcc-test-hb ~]# mkdir -p /root/java_transfer;cd /root/java_transfer;wget https://downloads.oss.cn-north-1.jcloudcs.com/transfer-tools-java-1.0.0.jar;wget https://downloads.oss.cn-north-1.jcloudcs.com/application.yml

2、配置文件说明application.yml

重点说明：

  • jobType：任务类型，分为listObject列出文件、transfer传输、md5check md5检查，我们这里是传输，所以选择transfer；
  • sourceType：数据来源的类型，分别为urlfile,diskfile，s3file（AWS S3、腾讯云COS、百度BOS、华为 OBS、京东云 OSS）aliyunfile,disklistfile（本地文件列表），我们京东云是兼容s3的，所以选择s3file；
  • src.access.id/ src.secret.key：源对象存储的AK/SK；
  • src.endpoint：源对象存储的Endpoint；
    阿里云：https://help.aliyun.com/document_detail/31837.html?spm=a2c4g.11186623.6.572.6a537f5ewpHZJZ
    腾讯云：https://cloud.tencent.com/document/product/436/6224
    百度云：https://cloud.baidu.com/doc/BOS/S3.html#.E6.9C.8D.E5.8A.A1.E5.9F.9F.E5.90.8D
    华为云：https://support.huaweicloud.com/api-obs/zh-cn_topic_0136050628.html
  • src.bucket：源对象存储的Bucket；
  • des.access.id/des.secret.key：目标对象存储的AK/SK；
  • des.endpoint：目标对象存储的Endpoint；
  • des.bucket：目标对象存储的Bucket；

注：如下标红内容是我们需要关注的（“:“ 后要加个空格才能生效）：

##########################################################################################
#jobType 为 listObject,transfer jobType: transfer
#sourceType 类型共有：urlfile,diskfile，s3file,aliyunfile,disklistfile sourceType: s3file
#urlType : onlyUrl
#############################################################################################
#sourceType 为 urlfile ，diskfile时，filePath 为必填项
#filePath:
#urlFilePrefix: 10
#该链接的Content-Disposition超过京东云限制，如不获取该header值继续传，则配置为true；否则将该url打印在错误日志里，由用户对该url的header值自行修改
ContentDispositionTooLongContinue: false
#sourceType为urlfile，表示从用户提供的url列表中迁移。文件列表内容为[ object外链,objectkey ] 使用逗号分隔
###########################源bucket配置################################################
#jdcloud
#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.endpoint : https://s3.cn-north-1.jcloudcs.com
#aliyun
#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.endpoint : https://oss-cn-beijing.aliyuncs.com
#tencent
#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.endpoint : https://cos.ap-beijing.myqcloud.com
#baidu
#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.endpoint : https://s3.bj.bcebos.com
#aws
#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.endpoint : https://s3.us-east-2.amazonaws.com
#huawei
#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.endpoint : https://obs.cn-north-1.myhuaweicloud.com
#qiniu
#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.endpoint : https://cn-south-1-s3.qiniu.com
#src.domainOfBucket : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#-bucket
#src.bucket : beijing-to-shanghai
#src.prefix :
##################目标bucket配置 destination ############################################################ des.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX des.secret.key:
XXXXXXXXXXXXXXXXXXXXXXXXXXXXX des.endpoint :
http://s3.cn-east-2.jdcloud-oss.com des.bucket : shanghai-from-beijing
des.prefix :

3、启动 S3Transfer

后台启动：

[root@SpringBoot-forbuild java_transfer]# nohup java -jar transfer-tools-java-1.0.0.jar --Dspring.config.location=application.yml &

前台启动：

[root@SpringBoot-forbuild java_transfer]# java -jar transfer-tools-java-1.0.0.jar --Dspring.config.location=application.yml

4、启动效果

通过传输过程提示，我们可以看到文件传输状态和结果：

在这里插入图片描述

5、传输结果

任务传输完成后如下图：

在这里插入图片描述
我们点击目标对象存储空间shanghai-from-beijing，能看到在源对象存储空间beijing-to-shanghai生成的两个10GB文件已经传输过来了。

在这里插入图片描述
 
 

欢迎点击“京东云”了解更多精彩内容。
在这里插入图片描述

在这里插入图片描述

京东云开发者
关注
专栏目录
博客
【黄金圆环】在研发领域的实践分享
09-13 666
黄金圆环是由美国营销顾问西蒙·斯涅克（Simon Sinek）提出的一个用来阐释激励人心的领袖力的模型。它由三个同心圆组成1.Why（为什么）：核心动机，为什么要做这件事。2.How（如何）：方法和手段，如何实现目标。3.What（做什么）：具体的行动和产出，做了什么。我们大部分人的思考方式是先考虑外面，都知道自己在做什么，其中一部分人知道自己怎么去做，但很少的人知道自己为什么要做这件事情。然而，成功的伟大领袖的思考模式与大多数人完全相反的。
博客
第一，才够安全！
09-12 165
作为智能化的统一安全运营平台，京东云安全AI SOC产品来自京东内部大规模真实场景历练，以大模型驱动智能核心，通过安全可视、安全预防、威胁分析、调查响应等安全能力，理解用户意图，帮助用户实现高效安全运营闭环。此次获奖不仅肯定了京东云安全AI SOC产品在革新传统安全领域解决方案上的杰出能力，更标志着京东云在安全技术领域的领先地位，进一步巩固了其在人工智能网络安全应用中的创新角色。面向未来，京东云安全将持续致力于推动大模型在安全领域的创新应用，提供领先、优质的产品及服务，为企业的数智化升级之路保驾护航。
博客
桌面运维工具之打印机驱动安装
09-12 688
DevCon (Devcon.exe)（即设备控制台）是一种命令行工具，用于显示有关运行 Windows 的计算机上的设备的详细信息。可以使用 DevCon 启用、禁用、安装、配置以及删除设备。其主要语法如下：其主要命令如下：这里我们不详细介绍这些命令，感兴趣的同学可以查看官方文档：Devcon命令文档。本文主要介绍打印机驱动自动化安装的一个基本实现思路，通过运维工具，我们可以实现部分桌面工单自动化，帮助运维同事提高工作效率。
博客
AutoBots在ToB订单履约场景的落地应用
09-11 610
由于AutoBots必须指定erp，要对用户来源进行数据权限过滤和验证，需要提前提取识别到企业微信群ID信息，而AutoBots本身暂不支持系统环境变量设置并透传，需要定制化改变用户输入信息，通过提示词提取企业微信群ID作为插件接口参数，实现数据权限的隔离和安全保障。搭建的智能体是知识库（大脑）、插件和工作流（手脚）的综合载体。的时效类咨询，查询时效系统的预计送达时间，进行个性化话术回复，给客户提供获取其自身相关数据的入口和渠道，预计实现的ROI收益可使相关咨询进线率下降30%。关注订单信息和交付时效、
博客
京东鸿蒙上线前瞻——使用 Taro 打造高性能原生应用
09-11 368
Taro 目前已经成为一个全业务域的跨端开发解决方案，实现 Web 类（如小程序、Hybrid）和原生类（iOS、Android、鸿蒙）的一体化开发，在高性能的鸿蒙适配方案的加持下，业务能快速拓展到新兴的鸿蒙系统中去，可以极大满足业务集约化开发的需求。京东鸿蒙原生应用是 Taro 打响在鸿蒙端侧适配的第一枪，证明了 Taro 方案适配鸿蒙原生应用的可行性。
博客
京东技术专家的修炼之道——成为一名“六边形战士”
09-11 564
参加行业峰会也是锻炼自己输出能力的好机会，你可以练习表达演讲能力，展示自己的见解和技术能力，让更多人了解你的工作和成就，另外与行业内的专家和同行交流，了解最新的技术和趋势。在我们处于初级阶段的时候，一开始我也觉得掌握很多种语言是一种优势，但是当我们认知的越多，就会发现我们追求的不是选择哪一个框架或者技术细节，我们追求的是架构，是如何求解的问题，我们要提升的是面对复杂问题的抽象能力。机会总是留给有准备的人，经历了第一次的积累，在第二次参赛中，我和团队找到了一个非常有前景的技术创新方向，再次获得冠军。
博客
京东鸿蒙上线前瞻——使用 Taro 打造高性能原生应用
09-10 38
背景2024年1月，京东正式启动鸿蒙原生应用开发，基于HarmonyOSNEXT 的全场景、原生智能、原生安全等优势特性，为消费者打造更流畅、更智能、更安全的购物体验。同年6月，京东鸿蒙原生应用尝鲜版上架华为应用市场，计划 9 月完成正式版的上架。早在2020年，京东与华为就签署了战略合作协议，不断加大技术投入探索HarmonyOS 的创新特性。作为华为鸿蒙生态的首批头部合作伙伴，在适配鸿蒙...
博客
《代码整洁之道》-大师眼中的整洁代码是什么样
09-09 592
我们在修改代码或写新代码之前都要阅读周边代码，如果阅读代码很难，则写代码也会很难，据统计读代码和写代码时间比例是10：1，编写代码的难度，取决于读周边代码的难度。”，从中能大概了解到不好维护的代码是什么样，有哪些坏味道，那肯定有人会反问，难以维护的代码见的太多了，也知道长什么样，但是对于好维护的代码是什么样的比较模糊，带着这个问题，本人读完了世界软件开发大师马丁的《代码整洁之道》这本书，来了解下大师眼中的整洁代码画像是什么样的，相信能给你带来不一样的理解和感悟。下面先看下几位大师是如何定义的。
博客
京东.Vision —— 空间计算时代的用户购物之旅
09-09 701
谢邀。感谢组织的机会和帆哥的信任，有幸作为主产品参与了京东.Vision首个版本的构建。我曾在3D创业公司负责过第二曲线，也曾在友商跟随家居创新业务一起成长，如今在京东正好做3D和家居的结合。正值我的京东一周年，也借此机会记录下这段难忘又有趣的经历。我读的电商专业，大学期间就对于消费者终端印象深刻。90年代的PC带来了Web时代的阿里巴巴、淘宝和京东；10年代的手机带来了移动端时代的手淘、天猫、手机京东、抖音和拼多多。相信每一位互联网人都期望自己能赶上一次这种黄金浪
博客
卓越笔触：打造高质量文章的艺术与科学
09-09 978
等等这类的文章，通过生活中常见的例子通俗易懂的描述了技术点。这个也尤其重要，毕竟。
博客
AIGCDesign 开放式跨端 AI 组件解决方案
09-09 234
下面这段话是来自 ChatGPT 对 AIGC 的定义：AIGC（人工智能生成内容）指的是利用人工智能技术生成文本、图像、音频和视频等类型的内容。它通过机器学习模型，特别是深度学习模型，分析大量数据，学习语言或视觉模式，从而生成新的原创的内容。一、我们为什么要做这样的一件事情？2022年11月30日，OpenAI团队发布全新ChatGPT模型，通过简洁的聊天交互界面，实现涵盖诸多领域的内容输出，...
博客
RaftKeeper v2.1.0版本发布，性能大幅提升!
09-06 316
在RaftKeeper整个请求处理链路中，创建snapshot是在主链路中进行处理的，当数据量大的时候会长时间阻塞用户请求，造成请求超时、leader切换等引起服务不可用的问题，在我们线上场景中对于6000w的数据做snapshot需要180s。一个很直观的优化思路，可以设计一个compact strings，数据采用紧凑的方式存储，在以下的设计中，采用两个连续内存空间，一个用于存储数据，一个用于存储offset，具体参考：CompactStrings实现。
博客
业务复杂度治理方法论--十年系统设计经验总结
09-06 180
01复杂度综述理解，首先 MCube 会依据模板缓存状态判断是否需要网络获取最新模板，当获取到模板后进行模板加载，加载阶段会将产物转换为视图树的结构，转换完成后将通过表达式引擎解析表达式并取得正确的值，通过事件解析引擎解析用户自定义事件并完成事件的绑定，完成解析赋值以及事件绑定后进行视图的渲染，最终将1、什么是复杂度软件设计的核心在于降低复杂性。--《软件设计的哲学》业界对于复杂度并没有...
博客
糟糕，被SimpleDateFormat坑到啦！
09-06 657
Ok,以上就是针对本次问题排查的主要思路及流程，这个我刚开始的排查思路也一直局限于规则引擎的线程不安全或者是传入的env（由于使用的是HashMap）线程不安全，还是受到组内大佬的启发和帮助才进一步去分析类可能会存在线程不安全。本次问题排查确实提供一个经验打破常规思路，比如类看起来只是对日期进行格式化，很难和在并发场景下线程不安全会导致数据错乱关联起来。以上。
博客
哎呀，当时怎么没有想到
09-06 980
测试完成并上线不是终点，除了配合业务进行线上验证及观察线上数据、进行线上巡检之外，还应花点时间回顾一下交付的过程，总结经验教训，主动分享。对于核心的用例，看能否沉淀为自动化的回归及巡检用例。万一出现了线上问题，先尽快恢复业务，再分析原因，进行复盘，总结教训和改进方案。
博客
spark为什么比mapreduce快？
09-06 359
因为mapreduce计算模型只能包含一个map和一个reduce,所以reduce完后必须进行落盘，而DAG可以连续shuffle的，也就是说一个DAG可以完成好几个mapreduce，所以dag只需要在最后一个shuffle落盘，就比mapreduce少了，总shuffle次数越多，减少的落盘次数就越多。
博客
自增主键去哪了?---一次开发过程中的思考
09-05 40
前情提要：最近新接了一个需求，需要去创建两张表，其中有一张表需要根据业务id和业务类型建立唯一索引，对数据唯一性进行约束。因为涉及到业务嘛，表结构就进行缩略了表结构示例如下：CREATE TABLE `example_table` ( `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT '自增主键', `business_id...
博客
万字长文浅谈三高系统建设方法论和实践
09-04 66
1 概述整个软件的发展历程是一部软件复杂性对抗史，软件的复杂性分为技术复杂性和业务复杂性，业务复杂性主要是建模和抽象设计，技术复杂性主要是三高（高性能，高并发，高可用）的应对，C端的业务一般以技术复杂性为主，业务复杂性为辅，而B端或者M端的业务通常以业务复杂性为主，技术复杂性为辅。本篇文章主要是从后端研发的视角结合自己多年的B C端系统建设实践谈下三高系统的建设方法论和实践，希望和大家相互交流，共...
博客
“京东云深海数据平台” 焕新升级 免费体验！
09-03 49
深海数据平台 致力于为每一个数据客户提供灵活化、一站式、智能化的数据开发与管理工具。同时，根据客户行业提供成熟的数据业务全链路解决方案，包括数据集成、开发、元数据管理等功能，帮助数据开发人员快速高效地完成数据相关工作，使得企业更加科学规划和合理构建全域数据，以开放的方式实现企业内部数据共享，充分发挥数据价值。升级背景自深海数据平台上线以来，我们已成功在金融证券、政府部门、零售等行业领域得到广泛应用...
博客
工作五年小结 | 面对不确定性快速上升的外部环境，我们该如何寻求突破？
09-02 711
工作五年了，来京东马上满一年，前四年在开水团，不禁感叹时间过的真快啊！回想19年从西安交大硕士毕业孤身前往北京开始职业生涯，经历了孤独迷茫到自立坚定，再到23年下定决心携妻还蜀安家，并来到京东开始新的征程，这5年过的很快也很充实。今年也是我的而立之年，感觉一迈过这个坎，眼前的世界就不一样了，事业上还未成气候，更多的生活琐事就开始扑面而来。网上有段子笑称现代的“五子登科”中的五子分别指的是“车子、票子、房子、妻子和孩子”，这个词本来表达的是人们对美好生活的向往，但旧词新义体现更多的是中年人的无奈。。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值