python
Young Panda
初来乍到,请多多指教
展开
-
python多进程数组映射
构造映射函数:func,在func中显式提取参数,再调用multi_map方法from multiprocessing.pool import Poolimport randomdef split_jobs(jobs, num_works): size = len(jobs) // num_works jobs_list = [jobs[i * size:(i + 1) * size] for i in range(num_works)] for i, e in enu原创 2021-01-25 23:47:38 · 167 阅读 · 0 评论 -
2021-01-12
pytorchpacked_rnnimport torchimport torch.nn as nnimport torch.nn.functional as Fimport mathclass Packed(nn.Module): def __init__(self, rnn): super().__init__() self.rnn = rnn @property def batch_first(self): .原创 2021-01-12 23:25:15 · 158 阅读 · 0 评论 -
基于词级别和字级别的中文文本预处理
一、基于词级别文本预处理词级别预处理过程:1、文本分词2、统计词频3、去除低频词和停用词4、选取适量的高频词形成词典5、用词典过滤并映射文本分词6、查看文本序列长度分布,确定补全长度7、文本序列补全具体代码:from collections import Counterimport jieba_fast as jiebaimport joblib...原创 2020-02-04 16:02:47 · 863 阅读 · 0 评论 -
Python设计爬虫任务队列
from queue import Queueimport urllib3urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)class CrawlQueue(object): def __init__(self, items, args): self.max_failure ...原创 2020-02-03 18:41:47 · 344 阅读 · 0 评论 -
python3爬取m3u8视频
爬m3u8文件,解析所有ts的url,爬取ts保存至本地,合并为完整文件。附上直接可以用的代码import requestsimport urllib3import reimport osurllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)def getTsUrls(m3u8_url) -&...原创 2020-02-03 18:39:00 · 1553 阅读 · 0 评论 -
对比几种python数据加载库效率(joblib,numpy,pandas)
针对原生的 list 整型数据1、数据类型 list,数组大小 【100,000,500】,数值类型:整型【0,62,000】---,41.67,67.52---,41.43,7.012、数据类型 list,数组大小 【100,000,500】,数值类型:浮点【0,60,000】---,57.54,91.74---,55.65,12.083、数据类型 np,数组大小...原创 2019-11-17 16:46:13 · 476 阅读 · 0 评论 -
利用multiprocessing提升jieba分词效率
在上一篇中,介绍了一个python的多进程数组映射的方法。https://blog.csdn.net/qq_28969139/article/details/96608611jieba分词同样可以视为数组映射的过程def func(params): jobList = params['jobList'] stopwords = params['stopwords...原创 2019-07-20 17:54:37 · 2040 阅读 · 2 评论 -
python的多进程数组映射方法设计
我们经常要将数组映射为另一个数组,但效率太低。例如 map( func, data_list ) 或者 [ func(e) for e in data_list ]def func(element): # 进行函数映射 return elementdata_list = ["element 1", "element 2", "element 3", "element ...原创 2019-07-20 17:45:56 · 790 阅读 · 0 评论 -
使用Python的tkinter库,做简单的五子棋游戏
初学tkinter,感觉功能还是太少了,建议想要深入研究用户界面的话,还是选QT,VB之类的吧。要是跟我一样平时随便玩玩,就图个方便,那就将就着用吧。2019-05-20:之前的版本是刚学python时候写的,回头看了看代码,写的真实惨不忍睹,变量的名称一点都不符合规范。所以删除重新写了一份,这个版本思路更清晰一些。一、运行截图:...原创 2018-07-11 23:17:12 · 11921 阅读 · 26 评论