![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
星之所望
兴趣使然的AI工程师
展开
-
超详细Windows10/Windows11 子系统(WSL2)安装Ubuntu20.04(带桌面环境)+CUDA11.3+pytorch1.8.1+pycharm
完整过程原创 2022-08-18 23:22:40 · 2472 阅读 · 0 评论 -
Anaconda错误CondaHTTPError: HTTP None None for url
CondaHTTPError: HTTP None None for url原创 2022-08-18 21:31:51 · 841 阅读 · 0 评论 -
Python 的 @dataclass
无原创 2022-07-11 23:24:10 · 1935 阅读 · 0 评论 -
python logging 把日志信息输出至文件
python logging 把日志信息输出至文件转载 2022-07-10 12:11:40 · 6876 阅读 · 1 评论 -
python多线程编程,获取各个线程返回值及相关问题
针对使用multiprocessing.Process() 的多线程机制获取返回值的方法:multiprocessing.Manager(),构造线程返回结果存储结构,本质是共享内存具体方法样例:但是,当返回数据非常大的时候,当线程执行完毕,存储结果时会报错,实验平台(vscode,centos 7).目前还没找到解决方法。2. multiprocessing.Pool()使用另外一种方法 multiprocessing.Pool() ,可以解决返回数据过大问题,目前实验没有出现问题:转载 2022-07-10 09:54:22 · 3987 阅读 · 0 评论 -
解决 Python 存储 CSV 文件时多余空行
问题:在使用 Python 将爬取的数据存储为 CSV 文件时,打开会发现每两行数据之间多一行空白行,这样在导入到数据库的时候就会出现多很多 NULL 数据,解决方法有两个,一个是在爬取之后处理,另一种是在爬取时处理,这里采取后一种(比较简单~博主比较懒)。问题图:这里博主使用的是 Python3 :加上newline=""就可以轻松解决了。def save_as_csv(list,filename): with open(filename, 'a+', encodi...转载 2022-05-04 23:17:30 · 2363 阅读 · 3 评论 -
Ubuntu pycharm汉字输入俩三行被打断并且出现横线 并且无法切换中英文
Ubuntupycharm汉字输入俩三行被打断并且出现横线 并且无法切换中英文1.点击菜单 “Help | Edit Custom VM options…”2.添加 -Drecreate.x11.input.method=true 到最后一行3.重启IDEA转载 2022-04-20 10:00:01 · 291 阅读 · 0 评论 -
Ubuntu版本升级 从18.04升级到20.04
在Ubuntu从18.04升级到20.04的时候,输入:do-release-upgrade出现如下提示:Please install all available updates for your release before upgrading.通过手动方式安装更新:sudo apt updatesudo apt upgradesudo apt dist-upgradesudo do-release-upgrade这样就可以安装成功。可能的问题:连接失败 [IP原创 2022-04-17 19:16:34 · 6547 阅读 · 1 评论 -
Git时出现“error: 源引用表达式 main 没有匹配 error: 推送一些引用到 ‘https://github.com/***.git‘ 失败”的错误提示
1 致谢感谢琦爷和小生生的指导和帮助!2 问题描述今天在将本地代码库同步到GitHub上时,出现错误error: 源引用表达式 main 没有匹配error: 推送一些引用到 ‘https://github.com/***.git’ 失败这里我们使用的是git push origin main命令,希望将本地代码文件夹同步到远程repo上去,在执行“`git push”命令时出现了错误;3 解决方案在经过一系列调试之后,我们发现这里错误的原因是本地没有main分支,这又是什么情转载 2022-04-16 23:51:14 · 5059 阅读 · 0 评论 -
git lfs安装及使用方法
什么是git LFSLFS是Large File Storage的缩写,用了帮助git管理大的文件原理:不同于git每次保存diff,对于git来说,如果是模型或者一些设计大文件,改变一点,对于仓库来说会增加很大的体积,不一会就能几个G。对于git lfs来说,在使用git lfs track命令后,git push的时候,git lfs会截取要管理的大文件,并将其传至git lfs的服务器中,从而减小仓库的体积安装方法注意:git lfs 要求 git >= 1.8.21. cent转载 2022-04-16 23:32:57 · 22978 阅读 · 0 评论 -
解决fatal: 不是一个 git 仓库(或者任何父目录)的方法
今天第一次用git log,出现了 不是一个 git 仓库(或者任何父目录) 这个错误,上网查了一下其实解决这个错误非常的简单,只需要执行一条命令即可!如下:git init转载 2022-04-16 22:08:51 · 9515 阅读 · 0 评论 -
zipfile.BadZipFile: File is not a zip file
有多种可能,最有可能为 .whl在下载中出错,文件被损坏了,删除缓存,重新pip即可原创 2022-04-16 21:46:34 · 6362 阅读 · 0 评论 -
ANACONDA3下用pip安装第三方包后,conda list找不到-解决方案
ANACONDA3下用pip安装第三方包后,conda list找不到-解决方案问题描述需要使用anaconda安装emd-signall包时,使用conda install emd-signall发现找不到该包,然后使用pip install emd-signall,没有报错,显示如下这表示已经存在emd-signal包了,因为我卸载python后重新安装的anaconda3,导致有些第三方包还存在。输入pip list后会发现存在emd-signall包,但conda list中没有这个包。转载 2022-04-16 20:26:43 · 4338 阅读 · 1 评论 -
Ubuntu:pip安装时unable to execute ‘gcc‘: No such file or directoryerror: command ‘gcc‘ failed with
unable to execute 'gcc': No such file or directoryerror: command 'gcc' failed with exit status 1使用命令:sudo apt install --reinstall gcc转载 2022-04-15 23:48:20 · 1251 阅读 · 0 评论 -
linux,anaconda,SSLError错误解决方法
在anaconda命令行中,执行命令报SSLError报错信息如下:Fetching package metadata ...CondaHTTPError: HTTP None None for url <https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/linux-64/repodata.json>Elapsed: NoneAn HTTP error occurred when trying to retrieve t原创 2022-04-15 19:22:53 · 2813 阅读 · 0 评论 -
Matplotlib 最具价值的50个可视化项目
工作台 - Heywhale.comhttps://www.heywhale.com/mw/project/5f4b3f146476cf0036f7e51e转载 2022-01-23 22:13:46 · 242 阅读 · 0 评论 -
zip函数和zip(*)函数
zip()函数用于将可迭代的对象作为参数,将对象中对应的元素打包成一个个元组,然后返回由这些元组组成的列表。如果各个迭代器的元素个数不一致,则返回列表长度与最短的对象相同。zip(*)函数利用 * 号操作符,可以将元组解压为列表。>>> a = [1,2,3]>>> b = [4,5,6]>>> c = [7,8,9,0]>>> zip1 = zip(a,b,c)>>> for i in zip.转载 2021-11-30 22:40:22 · 2230 阅读 · 0 评论 -
pygame将当前画面输出到变量
from PIL import Imageimport pygameimport numpy as np pygame.display.update() # 更新画面pil_string_image = pygame.image.tostring(screen, "RGB", False) # 将当前图像输出为字符变量pli_image = Image.frombytes('RGB', screen.get_size(), pil_string_image, 'raw') # 将字符变量变为.原创 2021-11-06 16:23:34 · 2653 阅读 · 0 评论 -
Python在Window中使用multiprocessing模块
在Linux中创建进程可以使用fork函数,但是在windows中不能实现,但是这就不能满足python的跨平台性。于是有了multiprocessing模块来解决这个问题。在使用 multiprocessing 模块的时候,会出现各种错误,是由于window对多进程处理的问题,必须在创建子进程的语句p = Process(target=test) 前面加上 if __name__=="__main__": 语句,才不会报错,能跑的代码如下:from multiproce...转载 2021-09-21 19:56:42 · 554 阅读 · 1 评论 -
nes_py安装坑点及解决方法
nes_py是python用来模拟nes的包,按照的时候需要依赖Microsoft C++ Build Tools,如果安装的话会提示:其实就是提示没有安装Microsoft C++ Build Tools,按照以下方法解决:1.下载 VS build toolsThank you for downloading Visual Studio - Visual Studio2.运行 VS build tools并安装以下工具然后就能安装nes_py了。...原创 2021-09-13 19:49:14 · 2882 阅读 · 3 评论 -
pygame将当前画面输出到变量
from PIL import Imageimport pygameimport numpy as nppygame.display.update() # 更新画面pil_string_image = pygame.image.tostring(self.screen, "RGB", False) # 将当前图像输出为字符变量pli_image = Image.frombytes('RGB', self.screen.get_size(), pil_string_image, 'raw') .原创 2021-03-07 15:37:51 · 231 阅读 · 0 评论 -
python中self cls 和 staticmethod
如果用了staticmethod,那么就可以无视这个self,而将这个方法当成一个普通的函数使用。而对于classmethod,它的第一个参数不是self,是cls,它表示这个类本身。class human(): pos = 0 def __init__(self, position): self.pos = position def show(self): print(self.pos) @classmethod def原创 2021-03-07 12:44:38 · 95 阅读 · 0 评论 -
OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.
解决方法:在开头添加import osos.environ["KMP_DUPLICATE_LIB_OK"] = "TRUE"原创 2021-02-28 16:04:29 · 13544 阅读 · 14 评论 -
关于OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.错误
方法1:只需要卸载掉python环境里的mkl库就行了方法2:import os os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"方法1不好用,不知道为什么。原创 2021-02-12 22:52:32 · 1823 阅读 · 0 评论 -
python sklearn模块提示ImportError: cannot import name datasets
报错原因很简单,因为我的文件名叫sklearn,然后系统就屏蔽了真正的sklearn,所以改下名字就行了原创 2020-08-19 20:05:58 · 4487 阅读 · 0 评论 -
码流 / 码率 / 比特率 / 帧速率 / 分辨率 / 高清的区别
GOP/码流 /码率 / 比特率 / 帧速率 / 分辨率GOP(Group of picture) 关键帧的周期,也就是两个IDR帧之间的距离,一个帧组的最大帧数,一般而言,每一秒视频至少需要使用 1 个关键帧。增加关键帧个数可改善质量,但是同时增加带宽和网络负载。 需要说明的是,通过提高GOP值来提高图像质量是有限度的,在遇到场景切换的情况时...转载 2018-08-31 11:02:06 · 658 阅读 · 0 评论 -
【视频编码格式】全面解析
视频编码格式全面解析我们在详解各种主流的视频格式之前,先抛开各种视频格式的定义,来讨论这样一件事情:你觉得目前的视频格式编码混乱吗?相信这个问题问出来,许多、、不同知识层次的人有不同的思考,但是答案却都有一个共同点就是:“混乱”。从我们在接触网络上面看电影以来,就会遇到从原先我们熟知的RMVB格式的视频到后来接触的MP4、3GP等格式的视频就会感到为什么同样是AVI的视频,我的MP4却不支...转载 2018-08-31 11:08:05 · 515 阅读 · 0 评论 -
斯坦福CS231n计算机视觉-线性分类器损失函数与最优化
支撑向量机的损失函数:数据损失部分:例子:L的最小值是0,最大值是无穷。存在问题:也就是,不同权值,得到的评价函数一样,实际上一般参数比较分散比较好,所以要加入涉及参数平均分布的评价指标,如下:可以看到有L2、L1等多种规则化权重。一般使用L2,是参数均匀分布的权重得分更高。最终的到如下MSV损失函数:损失函数=数据损失+正则损失。Softm...原创 2018-09-14 23:41:51 · 291 阅读 · 0 评论 -
统计学之三大相关性系数(pearson、spearman、kendall)matlab实现
(转自 微信公众号克里克学苑,修改成MATLAB语言实现)三个相关性系数(pearson, spearman, kendall)反应的都是两个变量之间变化趋势的方向以及程度,其值范围为-1到+1,0表示两个变量不相关,正值表示正相关,负值表示负相关,值越大表示相关性越强。1. person correlationcoefficient(皮尔森相关性系数)公式如下:重点关注第一个...转载 2018-09-27 09:03:03 · 16996 阅读 · 0 评论 -
斯坦福CS231n计算机视觉-神经网络训练中激活函数的选择
引用:https://zhuanlan.zhihu.com/p/21462488?refer=intelligentunit本节课没有从头讲解神经网络,而是讲了一些神经网络的细节问题。两个需要注意的问题1、训练样本不够多没事,使用预训练好的卷积神经网络,所以不用担心训练样本少。2、计算机的计算能力有限常用激活函数Sigmoid函数数学公式:特性:它输入实数值...原创 2018-10-25 11:32:10 · 212 阅读 · 1 评论 -
斯坦福CS231n计算机视觉-神经网络训练细节(权值初始化、批量归一化、超参数优化)
权值初始化使用tanh作为激活函数。权值赋值方法:方法一:使用小的随机数最直观的想法,但这样会导致一个问题。由于每一层的权值都非常小,所以每一层都好像衰减运算一样,随后会导致输出值均值为0,方差也为0。那如果不进行0.01的衰减呢?方法二:使用随机数则会导致每一层都好像一个放大器一样,权值变得没有意义。方法三:Xavier initializa...原创 2018-10-25 21:25:32 · 390 阅读 · 0 评论 -
斯坦福CS231n计算机视觉-神经网络参数更新机制
梯度下降法(Gradient descent update,SGD)最后一行就是梯度下降的公式,只是简单的相乘。存在问题:梯度的不连续性会导致参数来回震荡,所以收敛的比较慢。动量更新(momentum update)可以看到就是本次更新和上几次的更新还有关系,原来相当于一个没有质量的球滚动,现在考虑了球的质量,有一定的惯性。V一般初始化为0,mu一般为0.5, ...原创 2018-10-28 21:19:26 · 377 阅读 · 0 评论 -
斯坦福CS231n计算机视觉-神经网络的随机失活
具体操作:对于一个三层网络来说,就是每次每层计算输出,以一定概率乘以一个掩码0,一般为50%,从而让一半的输出无效化,对于被选中的节点,就相当于失活了。那么为什么要随机失活?解释一:避免过拟合一个猫的特征是多种的,但有时候某些特征过于明显导致其他特征不明显,从而抑制了其他特征的在网络中的表述,这就是对明显特征的过拟合,所以失活可以使你的表征对于图片的表示是冗余的,由于每...原创 2018-10-29 11:08:37 · 610 阅读 · 0 评论 -
ImportError: No module named ‘xlrd‘ 解决办法
1 import pandas as pd2 3 data = pd.read_excel('工作簿1.xls',sheetname='Sheet1')用pandas读取Excel文件时,会提示ImportError: No module named'xlrd'该错误是因为Excel需要单独的模块支持,所以需要安装xlrd模块Python3可以在命令提示符中输入 ...转载 2018-11-01 11:31:04 · 6014 阅读 · 0 评论 -
one-hot编码
在很多机器学习任务中,特征并不总是连续值,而有可能是分类值。比如星期类型,有星期一、星期二、……、星期日,比如浏览器类型有["uses Firefox","uses Chrome","uses Safari","uses Internet Explorer"]。对于这些离散型特征,可以用几个数字表示特征值,如用1表示星期一,2表示星期二;也可以用one-hot编码,如用[1,0,0,0,0...转载 2018-11-10 09:53:25 · 295 阅读 · 0 评论 -
加载MNIST报错:[WinError 10060] 由于连接方在一段时间后没有正确答复解决办法
转载:https://blog.csdn.net/landcruiser007/article/details/79346982tensorflow加载mnist数据集,一些书上和博客中的代码如下:from tensorflow.examples.tutorials.mnist import input_datamnist=input_data.read_data_sets("MNIS...转载 2018-11-10 16:59:04 · 1916 阅读 · 0 评论 -
TensorFlow中get_variable共享变量调用
import tensorflow as tfwith tf.variable_scope('v_scope',reuse=True) as scope1: Weights1 = tf.get_variable('Weights', shape=[2,3]) bias1 = tf.get_variable('bias', shape=[3])# 下面来共享上面已经定义好的...转载 2018-11-17 09:20:34 · 342 阅读 · 0 评论 -
failed to create cublas handle: CUBLAS_STATUS_ALLOC_FAILED 错误解决方法
如果你是使用 GPU 版 TensorFlow 的话,并且你想在显卡高占用率的情况下(比如玩游戏)训练模型,那你要注意在初始化Session的时候为其分配固定数量的显存,否则可能会在开始训练的时候直接报错退出:2017-06-27 20:39:21.955486: E c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\35...转载 2018-11-23 09:55:58 · 3870 阅读 · 1 评论 -
PyCharm报错:Please specify a different SDK name解决方法
这个问题出现的原因是因为PyCharm中存在相同名字的虚拟环境变量。本人的出错原因是,一直使用PyCharm的默认设置来建立工程,所以每个工程都建立了自己独立的虚拟环境。我个人删除了一些工程后,又建立相同名字的工程。所以才会出现存在相同的虚拟环境名的现象。解决方法:点击下图中的蓝色字体 Configure Python Interpreter2.点击下图中的show all,然后删除...转载 2018-11-24 18:51:06 · 448 阅读 · 0 评论 -
TensorFlow 制作自己的TFRecord数据集 读取、显示及代码详解
准备图片数据笔者找了2类狗的图片, 哈士奇和吉娃娃, 全部 resize成128 * 128大小如下图, 保存地址为D:\Python\data\dog每类中有10张图片现在利用这2 类 20张图片制作TFRecord文件制作TFRECORD文件1 先聊一下tfrecord, 这是一种将图像数据和标签放在一起的二进制文件,能更好的利用内存,在tensorfl...转载 2018-11-28 21:19:08 · 229 阅读 · 0 评论