parquet文件上传到hdfs_如何用Python实现腾讯云CDB备份文件自动上传到COS！来了解一下！...

最新推荐文章于 2023-11-10 15:04:05 发布
最新推荐文章于 2023-11-10 15:04:05 发布
阅读量119 收藏
点赞数
文章标签： parquet文件上传到hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39800112/article/details/111636617
版权

Python实现腾讯云CDB备份文件自动上传到COS！

  • 需求：目前遇到的客户需求为将腾讯云CDB备份文件自动上传到腾讯云COS内，在此抛砖引玉，还有很多类似的需求均可以采用此类方法解决，线下IDC数据文件备份至云端COS内，或根据文件下载地址url将文件上传至COS内。
  • 思路：首先获取到CDB的备份下载url，通过COS的API上传文件，大佬如有更好的方法欢迎一块讨论。

二、技术细节

  • COS：COS有API同时有SDK，这就很方便我们来通过Python对COS进行各类操作，COS SDK for Python
  • CDB：CDB有API但是CDB的查询备份下载没有对应的SDK，此时只能通过API来进行获取，腾讯云API的签名很复杂，要进行：构造参数字典->对dict排序->拼接sign->对sign编码->拼接完成最终url->完成调用，签名方法， 查询备份API
  • requirements:
4807b2ddf2cd3fe9e477fb9b6b3894d2.png
  • 文件目录结构
b043a72cf26395ddc6c375c2f283b537.png

三、代码

github地址

3.1 配置文件

9634a1625fad6a70d15e2bf2b8779e92.png

3.2 CDB API核心操作代码

d1d8882ddaeb2185783af8a2f29bb704.png

单独运行此模块可以得到以下信息：

105a4df83a01a5cfa3893b3fe6a4e3b3.png

3.3 COS SDK核心操作代码

45d97cb213f79e11b8d862368ab58dc3.png

3.4 日志记录核心代码

cd9b723aac989713beab411f76e4f87a.png

学会了么，如果你跟我一样都喜欢python，想成为一名优秀的程序员，也在学习python的道路上奔跑，欢迎你加入python学习群：839383765 群内每天都会分享最新业内资料，分享python免费课程，共同交流学习，让学习变(编)成(程)一种习惯！

weixin_39800112
关注
读取parquet数据的Python实战代码
weixin_43178406的博客
11-29 4万+
 本文主要介绍了读取parquet数据的Python实战代码，希望能对读取parquet数据的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
用Python读hdfs集群parquet格式文件
IuSpet的博客
07-12 737
使用模块 Python2.7 subprocess io.BytesIO parquet-python 1.3.1 其中parquet包不是python内置，需要用pip 安装 整体流程 使用subprocess读hdfs中的parquet文件 将字节流写入io.BytesIO对象中（要做这一步是因为parquet包目前只支持文件对象解析） 使用parquet包的接口解析上一步得到的io对象 代码 import parquet import subprocess from
用python写文件备份
weixin_49213878的博客
03-21 375
用python写文件的备份名 要求 在用户输入一个文件名后，备份成 文件名+[备份]+后缀 name=input("请输入文件名称") #输入一个文件名称 print(name) #输出文件名称 num=name.rfind('.') #使用rfind函数从后面查找”.“并且返回下标 qianmian=name[:num:] #使用字符串的切片把 名称和后缀找出来 homian=name[num:] bf='[备份]' new=qianmia
使用python进行文件备份
weixin_34023863的博客
03-29 337
本文的原文连接是: http://blog.csdn.net/freewebsys/article/details/51003232 未经博主允许不得转载。 博主地址是：http://blog.csdn.net/freewebsys 1，服务器需要备份 因为业务需要，有一台windows的2008服务器。 上面的文件需要备份，...
python备份文件最简单案例_Python实现备份文件实例
weixin_40007668的博客
12-03 543
本文实例讲述了Python实现备份文件的方法，是一个非常实用的技巧。分享给大家供大家参考。具体方法如下：该实例主要实现读取一个任务文件, 根据指定的任务参数自动备份.任务文件的格式: (注意,分号后面注释是不支持的)[task] ; 一项任务开始dir=h:/Project ; 指定备份的目录recusive=1 ; 是否递归子目录suffix=h|cpp|hpp|c|user|filters|v...
【学习笔记3】python：制作文件的备份
九斤
06-16 479
目标：输入文件的名字，然后程序自动完成对文件进行备份 源文件 目标文件​​​​​​ 代码描述： # 输入文件的名字，然后程序自动完成对文件的备份 oldFileName = input("please input file name: ") oldFile = open(oldFileName, 'r') # 获取文件后缀格式 fileFlagNum = oldFileName.rfind('.') if fileFlagNum > 0: fileFlag = oldF..
python制作文件备份_用python一键批量压缩&备份文件，不必再用鼠标点点点！...
weixin_31115505的博客
02-01 231
引言很多人会定期压缩备份一下自己的文件，但每次一个个文件压缩移动很麻烦，整理耗时又费力。面对这些问题，只要用Python的zipfile包，几句代码就够了，大大提高了工作效率！今天我们就来教大家如何使用python批量压缩备份文件吧！1.首先打开你想批量备份的文件，可以看到文件很多，备份不易：2.导入zipfile,这个是用来做压缩和解压的Python模块；导入os模块，主要是获取文件路径，创建文...
python读取hdfs上的parquet文件方式
01-20
从hdfs上使用python获取parquet格式数据的方法(当然也可以先把文件拉到本地再读取也可以)： 1、安装anaconda环境。 2、安装hdfs3。 conda install hdfs3 3、安装fastparquet。 conda install fastparquet 4、...
apache-doris-0.12.0-incubating-src.tar.gz-hdfs_broker.zip 编译ok
12-07
Apache Doris 是一款开源的、高性能的列式数据库管理...通过编译源代码，你可以了解其内部实现，对系统进行定制化调整，而预编译的 HDFS Broker 可以快速集成到你的 Doris 集群中，用于处理与 HDFS 相关的数据操作。
python往文件写入数据并做文件备份
guxuhua123_01的博客
04-27 790
最近一直在撸python，发现python操作文件的File库要远比java的流来的方便很多，所以写了一个往一个文件中写入数据并做一次备份的demo，好了，先上代码 # -*- coding:utf-8 -*- # fileName:FileDemo02.py # 写入文件并进行备份 # 写入的源文件 src_file = "F:\\python\\file\\src.data" # 备份的文...
使用python自动备份文件打包脚本
04-27
使用python语言写的打包备份文件脚本，使用tar命令进行打包。自定义备份目录，和备份源文件目录。
Python-fastparquet是parquet格式的python实现旨在集成到基于python的大数据工作流
08-12
fastparquet是parquet格式的python实现，旨在集成到基于python的大数据工作流
腾讯云API接口
09-14
腾讯云API开发接口，自动化操作腾讯云开机关机和查看
如何使用python创建文件备份
kasumiutaha的博客
09-11 607
制作文件备份 打开原文件 old_f_name = input(“请输入备份的文件路径:”) old_f = open(old_f_name, “r”) 打开新文件 new_f_name = “[复件]” + old_f_name 123.txt -> 123[复件].txt 123 + “[复件]” + .txt index = old_f_name.rfind(“....
使用Python做备份程序
彭淦淦的博客
05-29 504
4.1 问题 编写backup.py脚本，实现以下目标： 需要支持完全和增量备份 周一执行完全备份 其他时间执行增量备份 备份文件需要打包为tar文件并使用gzip格式压缩 4.2 方案 整体框架创建3个函数，分别实现完全备份、增量备份、文件加密3种功能： 1.首先导入time模块，利用if进行判断，如果当地时间是星期一，执行完全备份函数，否则执行增量备份函数，其中，通配符%a代表时间星期几缩写，上传参数分别为要备份的原目录、目标目录、md5字典存放目录 2.调用完全备份函数： a)首先获取新文件名，将新文
python之文件备份
GrofChen的博客
06-21 3020
name=input("请输入文件名") old=open(name,'r',encoding='UTF-8') if old: suf=name.rfind('.') if suf>0: copy=name[:suf]+'[copy]'+name[suf:] new=open(copy,'w',encoding='UTF-8') for i ...
python3 上传文件到目标机器_腾讯云Ubuntu18.04部置Django2系列（一）：腾讯云服务器配置及Python3,pip3使用...
weixin_39776344的博客
12-10 159
本系统教程将使用腾讯云，Ubuntu 18.04系统，mysql 5.7数据库，Django2.2，nginx ，gunicorn 来完整的部署Django网站项目。每一步教程都是在本地机台上，通过Xshell 和Xftp 连接腾讯云实操，并截图进行原创。其中的内容会参考并综合网络上的其他资源。一、登录腾讯云由于原来设置过。这次为了详细记录，特的把云服务器系统重装了。重装的系统为：Ub...
Python使用腾讯云SDK实现对象存储（上传文件、创建桶）
最新发布
weixin_62917800的博客
11-10 1876
极简语言，保证你能看懂每一个步骤！
hdfs将本地的文件put 到 hdfs并转为parquet格式
05-16
可以按照以下步骤将本地文件上传到HDFS并转换为Parquet格式： 1. 将本地文件上传到HDFS：使用命令`hdfs dfs -put`将本地文件上传到HDFS中的一个目录，例如： ``` hdfs dfs -put /path/to/local/file /path/to/hdfs/directory ``` 2. 安装Parquet工具：使用命令`sudo apt-get install parquet-tools`安装Parquet工具。 3. 将上传的文件转换为Parquet格式：使用命令`parquet-tools`将上传的文件转换为Parquet格式，例如： ``` hdfs dfs -text /path/to/hdfs/directory/input_file | parquet-tools write -o /path/to/hdfs/directory/output_file.parquet ``` 其中，`/path/to/hdfs/directory/input_file`为上传的文件路径，`/path/to/hdfs/directory/output_file.parquet`为转换后的Parquet文件路径。 转换为Parquet格式后，可以使用Hive、Presto等工具进行查询和分析。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值