openstack-swift多进程多线程上传下载的问题

最新推荐文章于 2021-08-06 21:15:09 发布
最新推荐文章于 2021-08-06 21:15:09 发布
阅读量287 收藏
点赞数
分类专栏： openstack swift 文章标签： 多线程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sulisulisu/article/details/111564887
版权

这几天在折腾openstack-swift，在百万文件的数据集下，上传下载显得异常缓慢，顾考虑多进程多线程上传下载。

过程中发现proxy机单位时间能接受的curl请求是有限的，当请求书过多，有些curl请求则会报This server could not verify that you are authorized to access the document you requested.或The server is currently unavailable等错误。

解决方法：

1. 增加代理节点

2. 减少并行/并发数

正义的地球人
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
openstack对象存储系统之swift项目实战自动化压缩和上传文件（三）
代码讲故事
07-13 567
最近在项目中遇到了一个需求，在云计算项目交付中，需要把按照文件夹分类的若干原始文件自动压缩打包上传到swift对象存储中，需要获取到不同文件夹分别对应不同的类别、文件名称、文件描述等等信息，几十个G的文件包含上百个类别和文件按照要求自动进行上传到swift对象存储中去。 swift前面的文章有了详细的介绍和分析，这里主要着手与API的使用层面，不同方法的实际使用。 官方API文档 本文介绍了每个API如何使用，swift对容器和文件的增删改查操作，以及末尾给出了完整的项目源码下载地址。 RESTful A
Swift 多线程任务管理库，很强大.zip
09-24
Swift 多线程任务管理库，很强大。.zip,A lightweight, pure-Swift library for manage the task execution in different threads. Through the definition a simple but powerful concept, Kommand.
openstack-swift-object-2.19.0-1.el7.noarch.rpm
12-29
官方离线安装包，测试可用。使用rpm -ivh [rpm完整包名] 进行安装
Swift网络编程(二)文件上传/下载
weixin_34143774的博客
01-05 598
一.前言 iOS开发中和服务器打交道除了数据请求外,还有文件的上传及下载,OC中文件上传及下载,笔者就不多说了,今天来看下Swift中该如何进行文件的下载及上传,同样笔者做下简单封装,方便在其他地方调用. 二.实现 -1.首先导入Alamofire这个库,并创建数据请求类(继成NSObject)笔者命名为XHNetwork -2.1.在XHNetwork.swift中import Alamo...
iOS开发Swift篇（02） NSThread线程相关说明
weixin_30377461的博客
05-05 138
iOS开发Swift篇（02） NSThread线程相关简单说明 一 说明 　　1)关于多线程部分的理论知识和OC实现，在之前的博文中已经写明，所以这里不再说明。 　　2)该文仅仅简单讲解NSThread在swift语境中的一些使用和注意点，别他。 　　3)本文涉及代码可以从https://github.com/HanGangAndHanMeimei/Code地址获得。 二 NSThre...
Swift 系统学习 34 线程通信 Swift3.0 子线程下载图片主线程显示图片
Clarence
03-01 572
Swift 系统学习 34 线程通信 Swift3.0 子线程下载图片主线程显示图片 Thread.detachNewThreadSelector(#selector(ViewController.downloadImage), toTarget: self, with: nil) // 线程间通信 self.performSelector(onMainThread: #selector(ViewController.showImage), with: image, waitUntil
上传文件太多太大时超时处理方案
luohuajiexiejuan的专栏
05-11 1846
首先给接口增加一个attribute，如： [HttpPost("Upload")] [DisableRequestSizeLimit] public ApiResult Upload(List<IFormFile> file) { var uploadInputs = new List<UploadInput>(); file.ForEach(d => ...
swift - 多线程下载图片
pureszgd的博客
08-06 369
swift - 多线程下载图片 private func fetchBackgroundImageData() { backgroundImage = nil if let url = self.backgroundURL { DispatchQueue.global(qos: .userInitiated).async { if let imageData = try? Data(contentsOf: url) {
openstack swift 测试脚本 上传文件api
小石头的专栏
03-05 2070
#!/bin/bash filesize=$1 count=$2 SWIFT_URL=http://192.168.0.21:8080/v1 tenatid=e7ffc374e7d844579b5e69ec05a0457a container=gg token=2ac5b74d2f81497fa57ded599ee62e03 x=1 sum=0 cat /dev/null
swift单节点配置遇到的一些问题和解决办法，希望大家补充
tangguoqiang870102的专栏
03-06 1054
下面是我和同事在配置时候遇到的一些问题（swift 1.1版本），遇到问题一般可以查看/var/log/syslog日志文件 还可以去https://answers.launchpad.net/swift/+questions?field.search_text=&field.sort=RELEVANCY&field.sort-empty-marker=1&field.actions.searc
openstack java上传_OpenStack 简介和几种安装方式总结
weixin_39879219的博客
02-13 205
OpenStack ：是一个由NASA和Rackspace合作研发并发起的，以Apache许可证授权的自由软件和开放源代码项目。项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenStack通过各种互补的服务提供了基础设施即服务(IaaS)的解决方案，每个服务提供API以进行集成。OpenStack是用Python编程语言编写的。OpenStack核心项目：OpenSta...
OpenStack对象存储Swift必读
12-23
英文书， OpenStack Object Storage (Swift) Essentials Design, implement, and successfully manage your cloud storage using OpenStack Swift 作者： Amar Kapadia，Kris Rajana，Sreedhar Varma 共174页 OpenStack的Swift部件可用于创建云存储。
openstack-swift-proxy-2.23.2-1.el7.noarch.rpm
12-29
官方离线安装包，测试可用。使用rpm -ivh [rpm完整包名] 进行安装
openstack-swift-account-2.23.1-1.el8.noarch.rpm
12-05
官方离线安装包，亲测可用
openstack-swift-proxy-2.19.1-1.el7.noarch.rpm
12-29
官方离线安装包，测试可用。使用rpm -ivh [rpm完整包名] 进行安装
openstack-swift-doc-2.17.1-1.el7.noarch.rpm
01-17
官方离线安装包，测试可用。请使用rpm -ivh [rpm完整包名] 进行安装
chromedriver-linux64-V124.0.6367.91 稳定版
04-30
chromedriver-linux64-V124.0.6367.91稳定版
基于yolov7 加入 depth回归
最新发布
04-30
在官方的基础上改了检测头、导出onnx（适配tensorrt pro 项目）、测试demo等代码。 能够使用清华V2X数据集进行训练和测试。 https://www.bilibili.com/video/BV1Wd4y1G78M/?vd_source=0223c707743ff3013adaeff54aee3506 数据集来源：https://thudair.baai.ac.cn/index 基于Yolov7 tiny，加入了距离回归 模型没收敛完，随便试了下，所以预测有抖动 使用TRT加速，在AGX Xavier上推理大约4ms V2X使用tools/convertlabel2yolo.ipynb 进行数据集转换
基于STM32F101单片机设计Bluetooth Sentinel 主板硬件（原理图+PCB）工程文件.zip
04-30
基于STM32F101单片机设计Bluetooth Sentinel 主板硬件（原理图+PCB）工程文件，仅供学习设计参考。
systemctl start openstack-nova-api openstack-nova-scheduler openstack-nova-conductor openstack-nova-novncproxy Job for openstack-nova-scheduler.service failed because the control process exit ed with error code. See "systemctl status openstack-nova-scheduler.service" and "journalctl -xe" for details. Job for openstack-nova-conductor.service failed because the control process exit ed with error code. See "systemctl status openstack-nova-conductor.service" and "journalctl -xe" for details.
05-26
这段提示信息表示启动 openstack-nova-api、openstack-nova-scheduler、openstack-nova-conductor、openstack-nova-novncproxy 服务时，openstack-nova-scheduler 和 openstack-nova-conductor 服务启动失败了。建议你执行以下命令检查相关服务的状态并查看详细错误信息： ``` systemctl status openstack-nova-scheduler.service journalctl -xe systemctl status openstack-nova-conductor.service journalctl -xe ``` 通过查看详细错误信息，你可以更清楚地了解问题所在，并进行相应的修复。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值