自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(72)
  • 资源 (3)
  • 收藏
  • 关注

原创 解决SubtitlesClip读取字幕文件时报 ‘gbk‘ codec can‘t decode byte xxx in position xxx

操作系统:windows10moviepy版本:1.0.3在使用moviepy处理视频时,加载srt字幕使用的SubtitlesClip这个类读取的文件。

2023-09-13 17:15:58 750 3

原创 《华尔街幽灵》的三大交易规则

1. 在建仓之后,只要没有确认仓位是正确的,就要果断离场(保护本金)。2. 在建仓时,不要一上来就满仓操作,应该是在确认仓位正确的前提下,一步一步加仓(扩大盈利)。3. 关注市场交易量的变化,在出现巨量时及时平仓(获利了结)。除了这三条交易法则之外,幽灵还给交易者提出了一些日常生活的小建议。他希望每个交易者能找到一本自己最喜欢的书,在行情不好的时候可以去读一下,舒缓一下情绪。此外,他给新手交易者的建议是,找一位一生中最敬仰的人,让偶像的精神化为一种力量,让你变成自己崇敬的人。进入嗨读书获取更多内容。

2023-07-06 11:03:17 1347

原创 安装python包时提示Building windows wheels for Python 3.9 requires Microsoft Visual Studio 2022解决方案

于是卸载了vc2015相关组件,下载最新的,不用安装visual studio,仅仅安装需要的c++包即可。否则安装的东西会非常大,没有必要。选中以上内容,不要单独去选择,会漏项。之前机器上装的有vc 2015,应该是版本太低无法使用。点击安装,安装完成后再次安装python包即可成功。下载完成后安装,会进入下图界面。安装python包时提示。

2023-05-31 11:39:13 1632 1

原创 Flask-SQLAlchemy的安装使用 一对多 多对多join查询

flask sqlalchemy使用 查询 join其他配置连接其他数据库完整连接 URI 列表请跳转到 SQLAlchemy 下面的文档 (supported database) 。这里给出一些常见的连接字符串。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mNWnfT9q-1676342688909)(/upload/2023/02/image-1675995335275.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(im

2023-02-14 10:46:14 2812 1

原创 openstack cinder 双ceph后端之间的卷迁移操作

即这个卷的卷类型可以对应要进行迁移的两个后端,如卷类型是rbd的卷,可以在controller@rbd和controller@rbd232两个存储host创建,具体在哪个上边根据调度决定。修改卷类型时,如果要变更的卷类型对应所有后端[rbd232]与原后端[rbd]不同,就会发生迁移。如果要变更的卷类型对应所有后端[rbd232, rbd]与原后端[rbd]有重叠,就不会发生迁移,只是修改卷类型,之后再在管理员页面操作该卷迁移到对应节点上(此时的情况就是卷类型相同的后端之间迁移,与上一种情况相同)

2023-02-07 15:51:47 1158

原创 openstack cinder对接两个ceph后端配置

需要做卷迁移的工作,从一个ceph集群迁移到另一个集群,因此需要配置两个ceph后端。由此开展后续工作,将配置过程及出现的问题做一记录。另外两套ceph后端的访问用户都是cinder用户,网上找的资料均为两个用户,当为同一用户时,需要增加一些额外配置,特此说明。配置项,这样才会在指定的文件中拿到keyring从而正确访问集群。在cinder-volume所在节点,修改。权限问题导致无法连接ceph集群。服务器:centos 7.9。查看后端是否增加,命令。

2023-02-03 11:47:01 677

原创 Linux系统配置及服务管理-08-文件查找、压缩解压缩

linux文件查找命令,find、which、whereis、locate,打包压缩解压缩 tar命令

2022-11-27 14:57:57 141

原创 Linux系统配置及服务管理-07-文件系统及RAID

linux文件系统ext4,inode,block,raid

2022-11-26 19:50:56 842

原创 Linux系统配置及服务管理-06-存储管理

linux磁盘存储管理,分区管理,逻辑卷lvm管理,swap交换分区管理

2022-11-26 17:51:53 694

原创 k8s使用ceph-csi插件的cephfs方式持久化存储

k8s使用ceph-csi插件中的cephfs方式持久化存储

2022-11-26 11:54:35 3460 3

原创 openstack zun源码分析

openstack-zun源码分析,创建容器过程分析,挂载卷,网络流程,部署,测试,镜像,配额等

2022-10-21 17:19:06 888

原创 Linux系统配置及服务管理-05-重定向与管道

linux重定向,管道,>,>>,

2022-10-20 10:06:37 378

原创 Linux系统配置及服务管理-04-进程管理

linux系统配置及服务管理,进程管理,ps,top,jobs,nice,kill

2022-10-19 11:47:40 263

原创 Linux系统配置及服务管理-03-用户的权限

Linux系统配置及服务管理,用户权限管理。ugo,acl,suid,chattr,umask,rwx

2022-10-18 11:49:50 340

原创 Linux系统配置及服务管理-02-文件和用户管理

linux系统配置及服务管理中文件管理和用户管理,用户组管理,sudo命令,su命令

2022-10-17 14:25:36 419

原创 you-get下载慢的解决方法

系统:windows10 64位重装系统前使用you-get下载b站视频时速度飞快,但是重装系统后下载速度变得很慢,每秒只有二百多K。后来安装ffmpeg后突然变得飞快,将解决方式放在此处。

2022-09-06 16:18:48 2718 4

原创 使用devstack在单机上安装openstack(stein版本)和zun的踩坑之路

单机上安装openstack,即devstack,并安装组件zun及zun-ui,以便对zun组件进行调试开发。

2022-09-06 16:16:04 798

原创 x86架构上构建arm64架构的docker镜像

项目需要提供arm64架构上的centos7对应docker镜像,然后本地宿主机只有x86架构机器,因此需要在x86机器上构建centos arm64架构的docker镜像。

2022-09-05 11:41:51 8290 1

原创 使用paddlehub识别万张猫咪图片(其他动物也可以识别)

需求说明手头上有一两万张图片,其中大多数是猫,但是还有不少乱七八糟的图片混入其中。目的是将非猫图片删掉,同时对是猫的图片在名称上带上猫的品种图片概括如下:paddlehub调研市场开源产品后,还是选择百度的paddlehub来实现,效果也比较好。环境搭建本次使用python是3.8版本,使用虚拟环境安装包,python安装略。1、虚拟环境创建创建虚拟环境的目录假设在 D:\venv\ai# 进入上述目录后执行python -m venv .cd D:\venv\ai\Scripts

2022-04-02 13:49:43 4266 2

原创 ubuntu18使用preseed文件定制ISO镜像实现自动化安装(arm64版本)

需求接ubuntu18使用preseed文件定制ISO镜像实现自动化安装需求,上篇文章实现了xi86架构下的定制化自动安装,本文简单实现了一下ubuntu-18.04.5-server-arm64.iso的定制及安装,将过程记录于此,更多关于preseed的内容不在此赘述,请参考前文环境1、服务器一台,CPU架构为arm64,可联网,ubuntu-18.04.5-server-arm64操作系统2、iso镜像:ubuntu-18.04.5-server-arm64.iso3、qemu/kvm4、

2022-03-22 09:57:28 5401

原创 ubuntu18使用preseed文件定制ISO镜像实现自动化安装

ubuntu18使用preseed文件定制ISO镜像实现自动化安装

2022-03-18 17:01:13 8099 3

原创 pip版本低引发的python离线包安装失败

python docker-compose 版本依赖错误

2022-03-17 16:48:07 2178

原创 ubuntu apt-get离线源制作

ubuntu18的apt-get离线源制作

2022-03-17 15:33:23 4803 4

原创 docker私有仓库支持多架构搭建

docker本地仓库,私有仓库,多架构,arm64,amd64,x86,支持根据cpu架构拉取对应的镜像

2022-03-10 16:05:04 4239 2

原创 harbor私有仓库安装搭建

harbor搭建docker私有仓库,支持多架构镜像根据不同架构平台自动获取对应镜像

2022-03-10 15:46:14 2178 1

原创 Spark使用yarn cluster模式启动,查看打印结果

首先要保证haodoop的日志服务已经开启执行jps能够看到jobhistoryserver才可以。然后提交spark任务执行完成后,在yarn的页面点金这里的logs进入就能看到打印结果了。hadoop的日志服务和spark日志服务如何开启不在本文范围内...

2021-10-27 10:54:20 1626

原创 centos7安装postgresql10及主从配置

环境说明系统:centos7.7 64位 两台,假设两台服务器的ip尾数分别是 93和95,93为主,95为从postgresql版本:10.16postgresql安装yum源更新在93和95服务器上均执行更新命令yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpmpg安装在93和95服务器上均执行安装命令y

2021-04-02 15:48:53 727

原创 django读取文件返回前端下载

file_name = 'excel.xlsx'response = FileResponse(open('templates/%s' % file_name, 'rb'))response['Content-Type'] = 'text/xls'response['Content-Disposition'] = 'attachment;filename="%s"' % file_namereturn response注意:打开的文件将自动关闭,因此请勿使用上下文管理器(with open)打

2020-12-30 13:46:56 1564 2

原创 django将数据库数据以excel返回前端下载

开发过程中需要根据前端请求到数据库中查询符合条件数据,然后组织数据返回给浏览器下载,网上找到的django提供下载文件功能多以读取服务器已存在文件再返回给用户,本次需求服务器没有该文件,同时也不想生成该临时文件。1、假设已读取数据库数据如下所示:import pymysqlconn = pymysql.connection(**config)cursor = conn.cursor()cursor.execute("select id, name, age from user;")# 假设得到数

2020-12-25 17:24:49 983 1

原创 conda常用命令

python和包的管理安装 Python x.xconda install python=x.x更新 Pythonconda update python安装包conda install $PACKAGE_NAME更新包conda update $PACKAGE_NAME删除包conda remove $PACKAGE_NAME更新condaconda update conda搜索包conda search $SEARCH_TERM查看已安装包列表conda list虚拟环境

2020-11-23 09:17:32 182

原创 利用fastapi的websockets实现消息推送服务

近来项目使用了fastapi进行开发,项目中有消息提示模块,考虑基于websockets实现,故有以下内容直接上代码fastapi代码 main.py 如下:from redis import StrictRedisfrom fastapi import FastAPIfrom fastapi.testclient import TestClientfrom fastapi.websockets import WebSocketapp = FastAPI()r = StrictRedis(

2020-08-08 16:18:40 6649 3

原创 cx_Oracle批量读取oracle数据

需求是从oracle中按批次取数据,如一次取1000条,操作完再接着取。实现代码如下:db_conn = cx_Oracle.connect("user", 'pwd', "host:port/sid", encoding="UTF-8")with db_conn.cursor() as cursor: cursor.arraysize = 100 # 设置每批次获取数据量为100条 cursor.execute("select * from xx.zz") i = 0

2020-07-24 14:21:37 1379

原创 redis正则删除指定数据库编号中的批量key

redis-cli -n 2 keys "w_id=*,pid=*" | xargs redis-cli del-n:指定数据库编号keys:指定正则表达式将通过正则查询到的key交给管道后的命令进行批量删除

2020-06-23 10:57:19 287

原创 datax配置支持vertica

进入rdbmsreader对应目录,如下所示:在rdbmsreader插件目录下有plugin.json配置文件,在此文件中注册vertica的数据库驱动{ "name": "rdbmsreader", "class": "com.alibaba.datax.plugin.reader.rdbmsreader.RdbmsReader", "description": "useScene: prod. mechanism: Jdbc connection using the da

2020-06-16 09:45:29 1062

原创 datax使用小记

DataXDataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。详细介绍见 https://github.com/alibaba/DataX/blob/master/introduction.md ,本文不对DataX的基本情况进行介绍,主要记录几个注意事项应用本次

2020-05-25 14:58:13 2583

原创 使用python从一个列表中寻找不在另一个列表中的数据的方法

假设有以下两个数据集列表a = list(range(1, 100000))b = list(range(150000, 50000, -1))要从a中找到不在b中的数据,常常会想直接遍历两个列表即可a_alone = []start = time.time()for i in a: if i not in b: a_alone.append(i)end ...

2020-03-11 11:31:21 6609

原创 python中random随机抽样

random.choice() # 一次随机选出一个random.choices() # 抽一个列表出来,但是这是有放回抽样,即抽出的数据可能会重复random.sample() # 无放回抽取一个列表出来,即抽出的数据不会重复...

2020-02-28 17:31:31 2958

原创 pymysql查询语句中带有in时传递参数的问题

直接给出例子说明:cs = conn.cursor()img_ids = [1,2,3]sql = "select img_url from img_url_table where id in %s"cs.execute(sql, (img_ids, )) # 直接传递元组包裹列表即可

2020-02-28 16:46:22 3075

原创 pycharm连接远程环境

设置基于pycharm 2019.3.1,低版本设置方式会有不同上图中interperter指定远程服务器python解释器,sync folders指定项目文件同步到远程服务器的哪个目录,可自行指定...

2020-02-20 16:16:31 932 1

原创 利用canal实时同步mysql数据至elasticsearch

本次测试环境为单机,测试中需要用到docker环境,关于docker的安装配置不在本文讨论范围操作系统为centos7.5,mysql版本为5.7.25通过canal对mysql数据库的增删改进行实时同步测试elasticsearch和kibana安装配置采用docker安装这两个软件,具体步骤如下:# 拉取elasticsearch镜像docker pull elasticsearc...

2020-02-06 13:30:23 1339

user-agent

包含4513条PC端 user-agent,可用于爬虫;浏览器包含有chrome、ie6及以上、firefox、Opera、safari、edge

2019-01-28

docker-compose.yml

首次使用docker部署项目时,采用的docker-compose.yml文件

2018-08-29

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除