Python编程
文章平均质量分 91
python编程中的易混淆点和特殊功能点
colourmind
本硕毕业于华中科技大学物流系统工程,毕业后在广州玄武无线科技有限公司从事JAVA开发。一年后离职,寻求转行;经过一年自学后成功转行;现在武汉科大讯飞____科讯嘉联___技术运营部,担任NLP算法工程师。
展开
-
python watchdog 配置文件热更新
在同事的golang代码中学习到了config.json热更新的功能,这里自己也学习了一下python写web服务的时候怎么来实现配置的热更新。主要是利用Watchdog这个第三方python库,来监控文件系统的改变,从而实现不用重启代码热更新的功能。原创 2024-06-22 19:00:00 · 640 阅读 · 0 评论 -
算法工程师展示demo的最佳实践
作为一个算法工程师无可避免的会给领导或者客户展示算法应用和效果,一个比较直观的方法就是制作一个比较简单的http页面,可以远程访问同时能够比较直观的展示出相关算法的效果之类的。这样使用一个美观的网页的形式,我认为还是比较有逼格的。假设前提,一般都假设算法人员开发前后......原创 2022-07-13 20:18:22 · 2244 阅读 · 1 评论 -
python多进程及通信实现异步任务需求
目录一、python多进程及通信基本用法1、多进程的基本实现a、Process重写run方法b、使用Process和target方法c、直接使用Process类2、多进程的通信a、Queueb、Pipe二、python多进程实战1、使用进程池快速抽取数据2、多进程及通信完成数据清洗和保存3、多进程及通信实现异步任务需求写在最前面,说实话python多进程这块儿知识对于很少使用python多进程或者没有实际使用过多...原创 2022-05-25 13:40:57 · 3232 阅读 · 0 评论 -
实时监测GPU的显存和显存清理小功能学习
目录一、pynvml库的简单使用二、显存清理 在跑神经网络训练或者推理的时候,有的时候很有必要实时监测一下显存的状态。NVIDIA显卡在终端管理界面,使用命令:watch -n 3 nvidia-smi可以指定每隔几秒中来显示一下显卡信息。当然NVIDIA也是开发了python库,很方便的实时查看GPU信息。一、pynvml库的简单使用这个pynvml库是NVIDIA为自己家显卡开发的一个获取显卡当前信息的python包。我们一般比较关注的就是显卡实时的显存量信息、温度...原创 2020-08-04 11:03:48 · 6541 阅读 · 0 评论 -
Python中__init__.py以及__new__() __init__()和__call__()的简单总结
在实际的NLP项目中,看到了一种标准的封装引用导包和比较常用的类初始化以及魔术函数代码体系,特作总结。1、__init__.py看具体的代码包结构:红色方框中__init__.py的作用是什么呢?首先看看evaluation包中的__init__.py的内容:到底起什么样的作用呢?主要是起到一个简化导包的操作,同时起到一个管理控制的作用。当我们没有在...原创 2019-09-16 01:04:52 · 1232 阅读 · 0 评论 -
正则表达式简介和NLP中文本处理常用情形
正则表达式简介和常用命令总结一、常用符号的解释字符 描述 \ 将下一个字符标记为一个特殊字符、或一个原义字符、或一个 向后引用、或一个八进制转义符。例如,'n' 匹配字符 "n"。'\n' 匹配一个换行符。序列 '\\' 匹配 "\" 而 "\(" 则匹配 "("。 ^ 匹配输入字符串的开始位置。如果设置了 RegExp 对象的 Multiline 属性,^ 也匹配 '\n' 或 '\r' 之后的位置。 $ 匹配输入字符串的结束位置。如果设置了RegExp 对象的原创 2020-07-25 18:06:19 · 1250 阅读 · 0 评论 -
python生成器的原理和业务场景下的使用
最近接触到了python生成器的具体使用场景,很有必要对之进行总结,下面就python生成器的原理和业务场景下的使用做一个简单的分析和记录。原创 2020-06-25 15:07:21 · 2404 阅读 · 3 评论 -
python装饰器的全面总结学习笔记
之前了解过Python中的装饰器、生成器和迭代器的概念,并没有系统的深入了解,平时写代码基本也没有碰到过这样的场景需求。最近在看tensorflow2.0框架相关的框架的时候,看到了装饰器,作用不是很熟悉,觉得有必要做一个系统的学习,然后记录下来,加深理解同时以备后续复习。...原创 2020-04-30 16:48:23 · 465 阅读 · 0 评论 -
关于python-docx自动生成word文档的总结
目录一、结构二、常用的API介绍三、实例展示展示一展示二 最近接到一个需求——把数据库里的数据做成表格,然后形成一本书,打印出来送给客户。由于系统目前没有自动导出word或者excel类似的功能,只能自己去实现。这个任务的要点在于,表格的形成,然后是多个表格排版在一起。在没有接触过怎么用python自动生成word和PDF文件,这个完全就不知道工作量。后面在网...原创 2019-12-30 15:41:03 · 5205 阅读 · 0 评论 -
python多进程中使用tqdm监控任务执行进度
tqdm可以很好的显示程序中任务进度情况。在目前的工作中遇到需要使用多进程把for循环改写成多进程来执行。一般来说任务处理时间都是比较长的,需要有个进度显示器来观测,任务进行的怎么样了。这个时候就需要tqdm模块来工作了,但是多进程下怎么实现,这个就需要调用特定的函数了,为此做一个记录,方便以后复习。直接上代码,需要调用Pool.imap() 和tqdm.tqdm(total,desc)...原创 2019-11-15 16:36:18 · 8858 阅读 · 0 评论 -
python趣味编程——递归思想
在知乎上看到一个趣味编程,自己想了个方法,记录下来。用python编程解决这个问题,想到的解决办法是:一层一层的加,直到柱子不能圈住雨水。实现起来就是递归思想。直接上代码:def getrainvolum(inputlist): templist=[] for ele in inputlist: if ele>=1: ...原创 2019-10-04 02:06:15 · 510 阅读 · 0 评论 -
python for循环多进程执行应用
以前了解过JAVA多线程多进程,python也学到过,但是就没有遇到过具体的业务场景,最近要做一个文本匹配的任务,需要对70W条文本数据进行推荐相似度的计算,需要做一个全遍历——也就是一个70W个元素的list遍历的时候,和自身做一些相关的计算。list中的每个元素没768维的向量,然后得出结果后,还需要排序,然后写入文件存储。这个场景就非常耗时,为了减少消耗时间,在单机的环境下,就想到了并...原创 2019-09-20 01:19:22 · 25632 阅读 · 10 评论 -
文件路径./和../
文章转载来自:https://blog.csdn.net/qq_20412595/article/details/82423764,方便自己查阅”/" 、“./ “ 、 ”../“的区别在此记录下/ :表示当前路径的根路径。./ :表示当前路径。../ :表示父级路径,当前路径所在的上一级路径。举个栗子:在读取文件时,路径的写法有如下方式1、文件在当前目录(以图...转载 2019-09-18 15:38:07 · 376 阅读 · 0 评论