- 博客(83)
- 收藏
- 关注
原创 rag框架比较
功能模块QAnythingRAGFLowFastGPT智谱AI知识处理模块不包含OCR包含OCR`召回模块向量库采用milvus,BM25+向量检索混合检索,向量模型例如bce-embedding-base_v1向量库采用 ElasticSearch,文本检索 + 向量检索混合检索向量模型例如BGE-M3,文本检索 + 向量检索混合检索,并采用RFF算法排序重排模块例如bce-reranker-base_v1web服务使用sanic实现w
2024-09-15 13:38:34 150
原创 ModuleNotFoundError: No module named ‘_ssl‘
二、安装python(3.8.10为例)一、安装openssl。
2024-09-04 14:52:24 633
原创 python安装tar.gz包
tar -zxvf Flask-WTF-0.10.0.tar.gzcd Flask-WTF-0.10.0python setup.py buildpython setup.py install
2024-08-28 14:00:07 266
原创 python项目制作windows一键发布包
将下载的压缩包解压,进入解压目录(以下操作均在本目录),解压目录可更改名称,寻找文件pythonXXX._pth,并编辑。复制项目源码到解压目录(项目文件,项目根目录下的所有文件)加入依赖包的地址(Lib\site-packages)在解压目录进入命令行,执行以下命令安装pip。在解压目录创建 启动.bat,写入启动代码。新建文件get-pip.py并复制。安装三方库有以下两种方式。
2024-07-16 13:09:32 420
原创 解决 python3 “No module named ‘_ssl‘“
因openssl 1.0.1存在安全问题,python3自3.7版本后要求依赖openssl 1.0.2以上或libressl;错误提示如下:Python requires an OpenSSL 1.0.2 or 1.1 compatible libssl with X509_VERIFY_P。python3.7以上建议使用libressl代替openssl,故需通过源码编译安装libressl。
2024-05-24 09:36:18 1498
原创 数据集多个文件解压
windows:copy /B img_celeba.7z.0** img_celeba.7zlinux: cat img_celeba.7z.0** > img_celeba.7z
2024-04-01 09:20:40 144
原创 python设置镜像源
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/清华:https://pypi.tuna.tsinghua.edu.cn/simple。阿里云:http://mirrors.aliyun.com/pypi/simple/华中理工大学:http://pypi.hustunique.com/山东理工大学:http://pypi.sdutlinux.org/豆瓣:http://pypi.douban.com/simple/
2023-06-05 18:56:21 282
原创 python操作redis
一、安装pip install redis二、使用连接'''提供两个类 Redis 和 StrictRedis, StrictRedis 用于实现大部分官方的命令,Redis 是 StrictRedis 的子类,用于向后兼用旧版本。没设置密码时不需要加password取出的结果默认是字节,我们可以设定 decode_responses=True 改成字符串。'''import redisr = redis.StrictRedis(host='localhost', port=637
2021-12-13 23:50:36 440
原创 tensorflow基本操作
一、图使用设置import osimport tensorflow as tf# True:当GPU不存在或者程序中出现GPU不能运行的代码时,自动切换到CPU运行tf_config = tf.ConfigProto(allow_soft_placement=True)# 按照PCI_BUS_ID顺序从0开始排列GPU设备os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"# 值为'0,1'表示按顺序使用'/gpu:0'、'/gpu:1',值为'0'
2021-12-08 17:42:22 1474
原创 BAT批处理命令
基础语法1.批处理文件是一个“.bat”结尾的文本文件,这个文件的每一行都是一条DOS命令。可以使用任何文本文件编辑工具创建和修改。 2.批处理是一种简单的程序,可以用 if 和 goto 来控制流程,也可以使用 for 循环。 3.批处理的编程能力远不如C语言等编程语言,也十分不规范。 4.每个编写好的批处理文件都相当于一个DOS的外部命令,把它所在的目录放到DOS搜索路径(path)中,即可在任意位置运行。 5.C:\AUTOEXEC.BAT 是每次系统启动时都会自动运行的,可以将每次启动时都
2021-10-24 16:39:42 4861 2
原创 windows文件远程传输
import osimport shutilimport redef repalce_drive(path,virtual_drive): # 把盘符替换为虚拟盘符 res = re.match('(\w{1})(:.*?)', path) drive = res.group(1) start = res.start(1) end = res.end(1) return drive,''.join([path[:start],virtual_drive
2021-10-11 15:32:28 327
原创 python目录操作
复制import osimport shutil'''shutil.copyfile( src, dst) #从源src复制到dst中去。 如果当前的dst已存在的话就会被覆盖掉shutil.move( src, dst) #移动文件或重命名shutil.copymode( src, dst) #只是会复制其权限其他的东西是不会被复制的shutil.copystat( src, dst) #复制权限、最后访问时间、最后修改时间shutil.copy( src, dst) #复制一个
2021-10-10 21:16:38 448
原创 位运算技巧
位操作介绍& 与运算规则:都为 1 时,为 1,否则为 0例如: 0 0 1 1& 0 1 0 1---------- 0 0 0 1| 或运算规则:都为 0 时,为 0,否则为 1例如: 0 0 1 1| 0 1 0 1---------- 0 1 1 1^ 异或运算规则:相同时,为 0,否则为 1例如: 0 0 1 1^ 0 1 0 1---------- 0 1 1 0~ 取反运算规则:0变1,1变0例如:~
2021-08-25 18:06:36 193
原创 tensorflow debug
#导入from tensorflow.python import debug as tfdbg# 安装pip install pyreadlinesess = tf.Session()#在sess下方加如下代码sess = tfdbg.LocalCLIDebugWrapperSession(sess,ui_type='readline')命令行运行代码(python train.py)
2021-05-25 17:19:46 171
原创 pickle读写文件
import pickleclass person():def init(self,name):self.name = namezs = person(‘张三’)#写入with open(‘1.map’, ‘wb’) as f:pickle.dump([{‘zs’:zs}], f)#读取(需要载入类)with open(‘1.map’, ‘rb’) as f:res = pickle.load(f)print(res[0][‘zs’].name)...
2021-04-14 17:27:14 146
原创 库neo4j连接neo4j
安装库pip install neo4j连接数据库,关闭连接from neo4j import GraphDatabasedriver = GraphDatabase.driver("bolt://localhost:7687", auth=("neo4j", "neo4j"))driver.close()创建节点class Person(): def __init__(self,name,age): self.name = name self.ag
2021-04-01 17:03:09 1141
原创 python异步I/O
asyncio基本使用'''event_loop 事件循环:把一些任务(协程)注册到事件循环上coroutine 协程:协程对象,一个使用async关键字定义的函数future 对象: 和task上没有本质的区别task 任务:对协程进行封装async :python3.5 用于定义协程的关键字,也可以用装饰器@asyncio.coroutineawait : 用于挂起阻塞的异步调用接口'''import asyncio'''@asyncio.coroutinedef perso
2021-02-03 18:22:05 238
原创 python生成器
创建生成器#通过元组推导式w = (i for i in range(10))print(w)#通过yield关键字def work(): for i in range(10): yield iw = work()print(w)读取生成器元素'''生成器每次执行到yield那一行结束,下一次yield下一行开始1.通过next(generator)或generator.__next__()读取下一元素2.通过generator.send(object
2021-02-03 16:39:40 165
原创 python类
一、类的属性、方法class Person(object): def __init__(self, name): self.name = name def get_name(self): return self.nameif __name__ == '__main__': one_person = Person('张三') print(one_person.name) print(one_person.get_name
2021-02-03 10:59:10 216 1
原创 Django使用
一、安装Django库pip install Django二、新建工程django-admin.py startproject myproject三、新建应用python manage.py startapp myapp四、去掉请求中间件#注释掉settings的第46行:'django.middleware.csrf.CsrfViewMiddleware',五、加入日志#在settings末尾加上:LOG_PATH = BASE_DIR + '/applogs'if no
2021-01-26 14:52:13 118
原创 python多进程、多线程
一、介绍1)多线程、多进程选择使用多进程往往是用来处理CPU密集型(科学计算)的需求,如果是IO密集型(文件读取,爬虫等)则可以使用多线程去处理2)multiprocessing模块介绍1>管理进程模块Process(用于创建进程模块)Pool(用于创建管理进程池)Queue(用于进程通信,资源共享)Value,Array(用于进程通信,资源共享)Pipe(用于管道通信)Manager(用于资源共享)2>同步子进程模块ConditionEventLockRLoc
2021-01-04 17:12:28 700
原创 python操作networkx
一、图的种类Graph:指无向图(undirected Graph),边无向DiGraph:指有向图(directed Graph),边有向MultiGraph:指多重无向图,允许两节点间的边多于一条MultiDiGraph:指多重有向图二、创建图1)创建图import networkx as nx'''nx.Graph()nx.DiGraph()nx.MultiGraph()nx.MultiDiGraph()'''G = nx.Graph()G.add_edge(1,2)
2020-12-17 11:10:41 5344
原创 python操作elasticsearch
一、安装库pip install elasticsearch二、连接库from elasticsearch import Elasticsearchfrom datetime import datetime#都有默认值,可以选择设置es = Elasticsearch( ['127.0.0.1:9200',"0.0.0.0:9300", "0.0.0.0:9301", "0.0.0.0:9302"], # 连接集群,以列表的形式存放各节点的IP地址 sniff_on_sta
2020-12-07 17:07:17 693
原创 ElasticSearch安装
一、下载地址https://www.elastic.co/cn/downloads/past-releases/选择Elasticsearch以及对应版本二、配置文件config/elasticsearch.yml后面加上: network.host: 0.0.0.0 #绑定ip地址 http.port: 9200 #暴露的http端口 transport.tcp.port: 9300 #内部端口 node.master: true #主节点 node.data: true
2020-12-07 13:55:30 163
原创 neo4j设置多端口以及放入插件
一、设置neo4j端口号1.打开配置文件(neo4j\conf\neo4j.conf)2.去掉第54行注释 dbms.connectors.default_listen_address=0.0.0.03.去掉第71行、第75行、第79行注释并更改端口号 例如: dbms.connector.bolt.listen_address=:7686 dbms.connector.http.listen_address=:7472 dbms.connector.https.liste
2020-12-03 16:47:03 1618
原创 python项目打包成whl
需要安装wheelpython -m pip install wheelrequests是项目名,在项目同一级别目录下创建setup.py文件setup.py内容如下:#-*- coding:utf-8 -*-from setuptools import setup,find_packagessetup(name='requests', version='2.24.0', description='source demo', author='author',
2020-10-28 11:24:52 1139
原创 mysql修改配置文件
命令行进入mysqlC:\Program Files\MySQL\MySQL Server 5.7\bin>mysql -u root -p输入:select @@datadir;配置文件my.ini就在打印出来的目录Data的上一级目录:例如: C:\ProgramData\MySQL\MySQL Server 5.7\修改group_concat的限制查询长度问题:在my.ini里加入(后面长度可以设置自己想要的长度): group_concat_max_len = -1
2020-10-19 15:00:59 1245
原创 深度优先、广度优先
导入库import sys#设置递归深度sys.setrecursionlimit(10000)from queue import Queue定义节点结构class node_info(): ''' 节点信息存储结构 ''' def __init__(self): self.pre = None self.level = None self.value = None self.nexts = []
2020-09-22 17:54:47 164
原创 python队列
导入库from queue import Queue,LifoQueue,PriorityQueuefrom collections import deque队列方法Queue.qsize()¶返回队列的大致大小。注意,qsize() > 0 不保证后续的 get() 不被阻塞,qsize() < maxsize 也不保证 put() 不被阻塞。Queue.empty()如果队列为空,返回 True ,否则返回 False 。如果 empty() 返回 True ,不保证后续调
2020-09-22 15:30:49 5749
原创 python装饰器
简单示例def A(func): def B(*args, **kwargs): return '结果:'+func(*args, **kwargs) return B@Adef test(): return 'a'print(test()) #结果:adef A(name): print(f'名称为:{name}') def B(func): def C(*args, **kwargs):
2020-09-14 14:34:14 76
原创 把指定目录临时加入环境变量
把当前文件所在目录的上一目录加入环境变量import osimport syssys.path.append(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))
2020-08-12 15:21:55 263
原创 windows找到当前目录下包含某字符串的文件
在当前目录下找所有包含mystring字符串的py文件,并写入D://1.txtfindstr /s mystring *.py > D://1.txt
2020-07-30 11:14:36 665
原创 docker操作
#linux开启docker服务systemctl start docker#查看镜像docker images#查看进程docker ps#结束服务docker stop <CONTAINER ID>#下载docker文件到本地docker cp <containerId>:/file/path/within/container D:/test
2020-07-22 17:57:19 86
原创 python移植环境
#把三方库的版本写入requirements.txtpip freeze > requirements.txt#压缩requirements.txt内的库到packages目录pip download -r requirements.txt -d ./packages#安装requirements.txt 里的库(不需要的前面加#),到./packages找安装包#如果安装过程报错可以去掉--no-indexpip install --no-index --find-links=./p
2020-07-22 10:54:49 916 1
原创 python读取配置文件
import configparsercf = configparser.ConfigParser()#配置文件在当前文件的上上级目录下cf.read(os.path.join(os.path.dirname(os.path.dirname(os.path.abspath(__file__))), '1.conf'))base_path = cf.get('path', 'base_path')配置文件形式...
2020-07-14 13:11:32 153
原创 python读取pptx
安装库pip install python-pptx读取文字、表格、图片from pptx import Presentationfrom docx import Documentfrom pptx.shapes.picture import Picturedoc = Document()prs = Presentation("1.pptx")index = 1#读取幻灯片的每一页for slide in prs.slides: # 读取每一板块 for shape
2020-07-12 00:08:11 1994
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人