![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
W_Ria
学习ing
展开
-
Python多进程解决方案multiprocessing ProcessPoolExecutor
大多数编程语言都会有多线程和多进程的概念,至于线程和进程的概念,大家可以百度一下。作为一门胶水语言,Python毫不意外,也可以利用多线程和多进程处理并发问题,但是多线程由于GIL的存在,起作用范围大打折扣,仅限于在IO等场景可以发挥点作用。所以,今天要跟大家分享的是Python多进程方案,更好地利用系统多核,从而提升性能。基础方案一:利用Process新建一个子进程,在子进程执行任务。我们写一个循环,模拟耗时任务的执行。主进程不会等待子进程执行完,就会继续往下执行。我们可以根据实.转载 2021-04-13 16:39:08 · 2414 阅读 · 0 评论 -
2020-12-16 python调试笔记
1. dict相关'''for test to print the value...'''data={'1.wav':[[ 1.9010893 , 1.8951541 , 0.7492561 , 1.1373364 , 2.1521096 , 4.452796 ], [ 1.5981388 , 1.5932648 , 1.4989793 , 0.3432958 , 0.92565787, 2.1640224 ], [ 1....原创 2021-03-30 12:48:37 · 95 阅读 · 0 评论 -
GN,Interpolate, Sampler,DataLoader, DataSet(Pytorch)
1 GNFace book AI research(FAIR)吴育昕-何恺明联合推出重磅新作Group Normalization(GN),GN解决了BN式归一化对batch size依赖的影响。BN全名是Batch Normalization,见名知意,其是一种归一化方式,而且是以batch的维度做归一化,那么问题就来了,此归一化方式对batch是independent的,过小的batch size会导致其性能下降,一般来说每GPU上batch设为32最合适;但是对于一些其他深度学习任务bat原创 2020-11-22 18:59:36 · 250 阅读 · 0 评论 -
python 中if-else的多种简洁的写法
因写多了判断语句,看着短短的代码却占据来好几行,于是便搜下if-else简洁的写法,结果也是发现新大陆4种:第1种:__就是普通写法a, b, c = 1, 2, 3if a>b: c = aelse: c = b第二种:一行表达式,为真时放if前c = a if a>b else b第三种:二维列表,利用大小判断的0,1当作索引c= [b, a][a > b]第四种:传说中的黑客,利用逻辑运算符进行操作,都是最...转载 2020-11-16 18:59:15 · 808 阅读 · 0 评论 -
神经网络可视化部分认识
1 基于ONNXOpen Neural Network Exchange(ONNX,开放神经网络交换)格式,是一个用于表示深度学习模型的标准,可使模型在不同框架之间进行转移。https://www.jianshu.com/p/65cfb475584aCaffe2,PyTorch,Microsoft Cognitive Toolkit,Apache MXNet等主流框架都对ONNX有着不同程度的支持。这就便于了我们的算法及模型在不同的框架之间的迁移。ONNX是一个开放式规范,由以下组件组成:原创 2020-11-05 21:15:54 · 215 阅读 · 0 评论 -
tensorflow部分认识
Tf就像是一个动作构成的树,就像太极拳一样,你必须从一个动作开始添加动作,并形成一套动作,这些动作的组合形成一个运算的步骤,这一点跟面对过程语言很像,不过它是实际上创建图并围绕图运作的。Tf就是一个计算模型,你根据数据(比如在平面上给出一些点的坐标)和推导建模(比如假设用n次幂的线分割),建模完成后选择优化方法(所有的优化方法都已经提供,只需要选择相应的优化函数),在建模的时候,为了TF可以对后续的计算进行优化,并行等目的,所有的op都要用tf提供的op(比如tf.sub而不是“-”)通常工作步骤:..原创 2020-11-04 20:21:52 · 108 阅读 · 0 评论 -
tf.app.flags
tf 中定义了 tf.app.flags.FLAGS ,用于接受从终端传入的命令行参数,相当于对Python中的命令行参数模块optpars(参考:https://blog.csdn.net/dcrmg/article/details/79495760 )做了一层封装。optpars中的参数类型是通过参数 “type=xxx” 定义的,tf中每个合法类型都有对应的 “DEFINE_xxx”函数。常用:tf.app.flags.DEFINE_string() :定义一个用于接收 string 类型数值.转载 2020-11-02 19:01:23 · 547 阅读 · 1 评论 -
按要求处理文件夹下所有文件夹和文件(中文繁简转换),并输出到指定文件夹下,保持原有两级目录结构
import osimport refrom opencc import *input_path = 'D:\\......\\xx'output_path = 'D:\\.....\\yy'all_files = []all_new_files = []#获取原始所有文件def get_all_file(ipath): all_file_list = os.lis...原创 2019-07-23 15:23:17 · 312 阅读 · 0 评论 -
Python中文文本分句
参考博客:https://blog.csdn.net/blmoistawinde/article/details/82379256该博客将引号的情况也考虑进来,然后实践中发现还有括号的问题。import redef cut_sent(para): para = re.sub('([。!?\?])([^”’])', r"\1\n\2", para) # 单字符断句符 ...原创 2019-07-31 19:26:18 · 1759 阅读 · 1 评论 -
Input 'end' of 'StridedSlice' Op has type float64 thatt does not match type int32 of argument'begin'
将py2的代码转换到py3之后程序遇到这个问题经查找:此步中,self.batch_size : half: 查阅可知:python2与python3的除法机制存在差异。则对于这里需要处理。___________________________________________________________________________________...原创 2019-07-22 11:07:06 · 670 阅读 · 0 评论 -
Python2ToPython3
import sysfrom lib2to3.main import mainsys.exit(main("lib2to3.fixes"))与代码放置同一文件夹在该路径下的命令行:结果:.py是结果,.bak是原始代码原创 2019-07-22 08:43:57 · 250 阅读 · 0 评论 -
调用百度翻译API,返回空值的情况
意识到是关于所翻译内容的大小问题,还是调了好久。查阅get方式的请求会限制1024字节,而改成post方式发送请求就可以了。post方式如下:import hashlibimport jsonimport randomimport requestsurl="http://api.fanyi.baidu.com/api/trans/vip/translate"appid ...原创 2019-07-25 14:03:27 · 1940 阅读 · 2 评论