python
wakawakaohoh
这个作者很懒,什么都没留下…
展开
-
让python提高运行速度
目前有cpython,numba,pythran等等一堆工具,思路都是把Python编译成机器码,先记录一下,日后更新。原创 2020-12-04 09:33:45 · 602 阅读 · 0 评论 -
对长文本的聚类
需求:长文本的实时聚类\离线聚类,聚类新闻中重复或相似的文章BERT取句首[CLS]向量做聚类效果并不好,取出所有向量做处理做聚类据 说效果提升,没试,而且位置编码时速度太慢,弃用。SBERT没试。HashTrick+DBSCAN,效果不错,采用Single-Pass Clustering,效果应该也可以,没试。参考知乎Single-Pass Clustering...原创 2020-11-19 20:14:15 · 694 阅读 · 0 评论 -
使用单例模式只加载一次模型
模型预测时使用单例模式避免重复加载def singleton(cls): # 单下划线的作用是这个变量只能在当前模块里访问,仅仅是一种提示作用 # 创建一个字典用来保存类的实例对象 _instance = {} def _singleton(*args, **kwargs): # 先判断这个类有没有对象 if cls not in _instance: _instance[cls] = cls(*args, **kw原创 2020-11-17 20:33:23 · 831 阅读 · 0 评论 -
plotly画图不显示的问题
使用离线模式3D图不显示加上import cufflinks as cfcf.go_offline()###这两句是离线生成图片的设置cf.set_config_file(offline=True, world_readable=True)# 导入依赖库import numpy as npimport matplotlib.pyplot as pltimport seaborn as snsimport mathimport plotly.graph_objs as gofrom pl原创 2020-11-12 17:45:56 · 7084 阅读 · 2 评论 -
conda 段错误解决办法
因为网络问题中断导致,要么找到未下完的包删掉,要么运行 conda clean -a原创 2020-10-14 09:18:34 · 231 阅读 · 0 评论 -
python连接远程服务器执行shell脚本并传输文件
需要对数据进行维护,每次复制粘贴太麻烦,同事已经在本地实现了大部分功能,现在在已有的代码上添加自动更新数据的脚本import paramikoimport loggingimport timeimport osfile_path1 = "aaaaaaaaaaa"file_path2 = "aaaaaaaaaa"target_path1 = "xxxxxxxxxxxx"target_path2 = "ccccccccccccccccc"file_list = [xxxxxxxxxxxx原创 2020-10-12 18:15:38 · 1538 阅读 · 0 评论 -
numpy中的广播机制与维数和轴的总结
numpy几乎天天用,可一旦涉及到高维的广播和关于轴的聚合操作时都要琢磨一下,看了不少博客,都是互相抄,帮助不大,特地总结一下。一、 广播机制广播的原则:如果两个数组的后缘维度(trailing dimension,即从末尾开始算起的维度)的轴长度相符,或其中的一方的长度为1,则认为它们是广播兼容的。广播会在缺失和(或)长度为1的维度上进行。这句话分两种情况理解第一种情况:如果两个数组维度不同,则后缘维度的轴长度相同可以广播。例如:(3,4,2)和(4,2)的维度是不相同的,前者为3维,后者为2原创 2020-06-04 13:15:33 · 409 阅读 · 0 评论 -
链表
# a = [lambda x,i=i:x*i for i in range(3)]# a = []# for i in range(3):# def func(x,i=i):# return x*i# a.append(func)# print(a[0](2))# print(a[1](2))# print(a[2](2))# 判空,长度,遍...原创 2019-07-16 22:54:11 · 85 阅读 · 0 评论 -
使用scrapy爬虫时遇到scrapy.Request失效
转自:https://blog.csdn.net/Li_G_yuan/article/details/81589556#commentBox转载 2019-07-09 19:48:35 · 1026 阅读 · 0 评论 -
python编码问题——python3 UnicodeEncodeError: 'gbk' codec can't encode character '\xXX' in position XX
‘’‘改变python 编码’’’第一种#import io#import sys#import urllib.request#sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding=‘utf8’) #改变标准输出的默认编码#res=urllib.request.urlopen(‘http://www.baidu.com’)...原创 2019-07-08 21:02:28 · 195 阅读 · 0 评论 -
常用正则表达式
.匹配除’\n’之外所有的\d匹配数字,[0-9]\D匹配非数字,[^0-9]\w数字字母下划线,[a-zA-Z0-9_]\W[^\w]\s空白字符,[<空格>\n\t\r\f\v]\S[^\s][ab]匹配a或b[a-z]匹配a到z[^a-z]取反 取除了a到z所有的, 只能放开头,放...原创 2019-06-26 20:28:33 · 71 阅读 · 0 评论 -
Django--orm--关系字段(多对多)
多对多用于表示多对多的关联关系。在数据库中通过第三张表来建立关联关系。字段: ManyToManyField字段参数to: 设置要关联的表注意: 正向查询和反向查询同一对多规则。例如:一个老师对应多个学生,一个学生对应多个老师。(1)增create():创建新的对象并且自动设置关系。add():对象先存在,然后再设置关系。1.create()# 新学员 阿三 跟 波波老师学习...原创 2019-06-02 22:14:00 · 292 阅读 · 0 评论 -
Django初体验
###配置文件##模板系统1.模板系统指的是 templates。 templates 存放的是 html页面。2.静态页面(html,css js ) 不和后台交互的。3.动态页面 和后台进行交互,获取数据放到页面上。 哈哈 嘿嘿 呵呵。4.作用: 将后台数据返回给 页面。(替换页面中的数据)5.解析变量的语法 : {{变量名}}6.单行注释 {##} 快捷键 ctrl...原创 2019-05-27 17:34:29 · 115 阅读 · 0 评论