Python
洪城布衣
Java、Python、Golang、后台开发、深度学习
展开
-
【Python】ChatAnywhere,ChatGPT API实现的简易版copilot,能够在word、wps、office中写文档使用,任意软件内可用
在任意软件内使用快捷键补全选中文本,word和wps中都可以方便的使用。原创 2023-04-07 19:28:46 · 1108 阅读 · 3 评论 -
【Docker】记录帖,拉取docker镜像torch1.8.1创建mmfewshot环境
问题描述模型移植平台展示需要使用torch1.8.1,需要使用cuda10.2及以上,而实验室安装cuda版本为10.1,不方便升级,故使用镜像创建一般而言,镜像的显卡驱动与主机共享,但是cuda是独立的docker pull pytorch/pytorch:1.8.1-cuda10.2-cudnn7-develdocker run --gpus all --shm-size=16g -it --name torch181 pytorch/pytorch:1.8.1-cuda10.2-cudnn7原创 2022-05-21 09:56:00 · 774 阅读 · 1 评论 -
【Python】PyCharm热加载,调试时,修改运行时代码无需重新启动程序即可更新所做的修改
背景描述简言之: 程序出现错误,修改错误代码后必须要重新执行整个程序详细说明:在调试python程序时经常会出现这样的情况,代码执行到某一处时出现错误,或者与预期的的结果不一致,这时候发现是某一行写错了,我们会先对这一行进行简单修改并验证,然后再重新启动程序重头执行,再看看还有没有其它错误,然而如果在这一行之前执行了大量的费时操作,我们必须一直等到运行到修改处再看后面的代码是否还有误,浪费了大量的时间来重复执行前面已经能够保证正确的代码而python作为一个解释性语言,相比于编译型语言,必然更容原创 2022-05-17 22:32:22 · 6622 阅读 · 5 评论 -
Python常见文件操作(txt, json,yaml,xml,logging,AsciiTable)
txt open()with open('jilu.txt', 'r') as f: # 打开文件(仅读模式) get = f.readlines() # 读取每一行,返回值为列表,每个元素包含换行符 get = [x.strip() for x in get] # 将换行符去掉(也可删除元素前后的空格)with open('jilu.txt', 'w') as f: # 打开文件 写模式 for i in mylist: f.write(i+'\n') # 带换行写原创 2021-01-05 20:22:24 · 331 阅读 · 1 评论 -
【Python】Numpy torch Tensor
新建维度arr = np.array((1,2,3,4,5,6))print(arr.shape) # (6,)arr1 = arr[np.newaxis, :] # == np.expand_dims(arr, axis=0) print(arr1.shape) # (1, 6)arr2 = arr[:, np.newaxis] # == np.expand_dims(arr, axis=1)print(arr2.shape) # (6, 1)arr3 = arr2.reshape(2,-原创 2021-01-06 16:31:17 · 504 阅读 · 0 评论 -
【Linux】动态防火墙,实现对攻击IP的动态拦截,一定程度上解决云服务器主机经常被境外IP尝试登录,屏蔽指定地区、国家的IP连接
屏蔽指定地区、国家的IP使用腾讯云/阿里云服务器时,登录时经常会出现There were XX failed login attempts since the last success,并且这个数量经常成百上千,那么该如何预防境外IP的尝试登录和国内IP的尝试登录次数呢?可以设置一个动态防火墙,自动监控IP所属的国家地区等,并记录登录时间、失败次数,将非正常访问的IP地址添加到防火墙中原创 2022-02-20 20:34:09 · 6601 阅读 · 0 评论 -
【记录】使用VScode进行远程命令行指定参数调试方法,python -m
简单命令例如想要执行的命令为CUDA_VISIBLE_DEVICES="0,1,2,3" python train.py --batch_size 8 --imgsize 680在launch.json中添加如下,再打开train.py这个文件,设置断点,点击上方的运行->调试即可{ // 使用 IntelliSense 了解相关属性。 // 悬停以查看现有属性的描述。 // 欲了解更多信息,请访问: https://go.microsoft.com/fwlink原创 2022-01-06 00:16:45 · 3608 阅读 · 2 评论 -
【Linux】记录使用Docker容器跑通2021CVPR小样本目标检测DCNet,使用VScode调试
记录使用Docker容器跑通2021CVPR小样本目标检测DCNetDCNet一、拉取镜像二、vscode调试2.1 配置2.2 安装DCN2.2.1 安装cityscapesScripts2.2.2 安装DCNet2.2.3 安装其它依赖2.3 运行一、拉取镜像执行docker pull gouchicao/maskrcnn-benchmark拉取镜像,等待下载完毕执行docker images 可以查看有哪些镜像执行如下进行实例化容器,其中/media/E_4TB/YL/datasets/v原创 2021-12-09 09:15:27 · 1979 阅读 · 2 评论 -
【Linux】Pycharm远程调试Docker内的程序,以maskrcnn_benchmark为例
这里写目录标题一、需求分析1.1 情况二、服务器端运行docker三、windows配置pycharm3.1 建立工程3.2 配置解释器和文件映射3.3 同步文件一、需求分析1.1 情况实验室服务器(IP:192.168.0.202),使用docker运行了镜像,镜像内含有maskrcnn_benchmark局域网内的windows电脑通过pycharm远程调试服务器docker运行中的容器二、服务器端运行docker执行docker run --gpus all -it -p 4000:原创 2021-12-08 13:36:22 · 469 阅读 · 0 评论 -
【深度学习】Vit视觉Transformer,数据经过网络的维度变化
源码网址 :github网络模型定义:model = ViT( # 对此处设置断点1 进行调试观察 image_size = 256, patch_size = 32, num_classes = 20, dim = 1024, depth = 6, heads = 16, mlp_dim = 2048, dropout = 0.1, emb_dropout = 0.1)img = torch.randn(5, 3,原创 2021-11-02 15:26:36 · 1475 阅读 · 0 评论 -
【Python】Python绘图可视化等笔记
matplotlib plot显示图片时,鼠标点击实现图片的上下翻页 或点击下一图fig = plt.Figure()sorted(imgs)id = 0while id < len(imgs): img = plt.imread(imgs[id]) # exit(0) plt.imshow(img) ax = plt.gca() ax.text(0, 0 + 30, str(id) + ' '+imgInfo['file_name'],原创 2021-08-11 18:41:56 · 189 阅读 · 0 评论 -
【深度学习】元学习原型网络实现细节
GitHub链接:https://github.com/LiangYang666/prototypical-networks/tree/handbag支持多gpu分布式训练,支持高版本pytorch1.xEpisodicBatchSampler 抽样器n_episodes: Number of episodes or equivalently batch sizen_way: Number of classes to samplen_samples: Number of samples per e原创 2021-07-11 18:05:59 · 655 阅读 · 0 评论 -
【Python】损失函数
若最后激活层为sigmoid函数,不宜使用交叉熵损失回归常用损失函数损失名称pytorchMSE/ L2损失torch.nn.MSELoss()MAE/ L1损失torch.nn.L1Loss()Huber loss/ SmoothL1torch.nn.SmoothL1Loss()Log-Cosh loss原创 2021-05-09 20:53:43 · 386 阅读 · 0 评论 -
【Python】自然语言处理 文本匹配
自然语言处理搜狐文本匹配竞赛搜狐文本匹配竞赛比赛链接: https://www.biendata.net/competition/sohu_2021/leaderboard/baseline链接官方:https://github.com/Husbandman666/sohu2021-baselineF1(0.72): https://github.com/Husbandman666/NLP-Programs/tree/master/03_NLIF1(0.73): https://github.c原创 2021-05-08 09:38:46 · 314 阅读 · 0 评论 -
【Python】自然语言处理
自然语言处理简介TF-IDF + 机器学习分类器FastTextWordVec + 深度学习分类器TextCNNBert词向量简介以天池零基础入门NLP为例, 讨论及教程汇总TF-IDF + 机器学习分类器网址:https://tianchi.aliyun.com/notebook-ai/detail?postId=118254FastText网址: https://tianchi.aliyun.com/notebook-ai/detail?postId=118255WordVec + 深度学原创 2021-04-07 21:54:18 · 445 阅读 · 0 评论 -
【Python】正则表达式
pattern 正则表达式模式字符串实例描述^匹配开头$匹配末尾.匹配任意字符,除了换行[amk]方括号内,匹配其中任意 此处为匹配‘a’,‘m’,'k’任意一个[^amk]方括号内,前面加^,匹配除‘a’,‘m’,'k’的其它任意字符re*匹配0个或多个表达式re+匹配1个或多个表达式re?匹配0个或多个表达式 例如‘’1010001 ‘.?1’匹配的是101,而’.*1’匹配1010001re{n}匹配n个表达式原创 2021-04-01 12:48:13 · 73 阅读 · 0 评论 -
【深度学习】项目 目标检测
YOLT论文:You Only Look Twice: Rapid Multi-Scale Object Detection In Satellite Imagery论文链接:https://arxiv.org/abs/1805.09512代码地址:hps://github.com/CosmiQ/yolt特色:裁剪图片检测,对比不同分辨率效果原创 2021-03-16 14:26:26 · 2177 阅读 · 0 评论 -
【深度学习】few-shot learning
一些方法MAML 模型无关元学习 2018https://github.com/dragen1860/MAML-Pytorch元学习pytorch有关的git网址https://github.com/tristandeleu/pytorch-meta原创 2021-03-09 16:16:39 · 364 阅读 · 0 评论 -
【Python】学习笔记
学习笔记[2,3]*[2,3] 变为 2,3 即无括号for i in range(100): print(np.random.rand(2))输出 二维0~1的数组[0.44140353 0.98570772][0.34604834 0.60102605][0.8243352 0.82160222]...原创 2020-03-04 18:12:05 · 115 阅读 · 0 评论 -
【深度学习】Yolo记录
yolov5模型记录以下均为yolov5s的有关记录模型网络打印 from n params module arguments 0 -1 1 3520 models.common.Focus [3, 32, 3] 1原创 2021-01-14 13:27:41 · 265 阅读 · 0 评论 -
【机器学习】天池学习赛 工业蒸汽量预测
数据读取pandas读取txt文档,分隔符‘\t’train_data = pd.read_csv(train_data_file, sep=’\t’, encoding=‘utf-8’)获取数据的摘要train_data.info() 获取统计信息train_data.describe() 显示前5条train_data.head()原创 2020-12-30 15:35:40 · 330 阅读 · 0 评论 -
【深度学习】Pytorch建立各种网络、笔记
Lenet网络有关nn.Conv2d(self, in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True))'''参数: in_channel: 输入数据的通道数,例RGB图片通道数为3; out_channel: 输出数据的通道数,这个根据模型调整; kennel_size: 卷积核大小,可以是int,或tuple;kennel_size=2,意味着卷积大原创 2021-03-09 10:25:03 · 107 阅读 · 0 评论 -
[python] opencv传统图像处理
图片一般处理src = cv2.imread(image_file, cv2.IMREAD_COLOR)img_gray = cv2.cvtColor(src, cv2.COLOR_BGR2GRAY) # 转换为灰度图kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (10, 10))eroded = cv2.erode(img_gray, kernel) # 腐蚀图像dilated = cv2.dilate(eroded, kernel原创 2021-01-05 18:53:22 · 185 阅读 · 0 评论 -
【Python】多线程切图
使用多线程对图片进行处理开启线程前需要获取到图片名称列表每个线程要做的事:图片读取、处理与绘制、保存自己动态开多线程处理(繁琐,更适合不同线程完成不同的任务)import timefrom tqdm import tqdmfrom threading import Lock,Threaddef func(m): # 处理函数 # print('handling func', m) time.sleep(0.5) # print('handled func', m)n = 100原创 2021-01-12 14:16:27 · 317 阅读 · 0 评论