![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
文章平均质量分 69
可西哥
暂不公布
展开
-
python小工具格式化shell脚本(.sh文件)
本文件介绍了一个python小工具,可转换.sh文件,使其可以在liunx下运行。原创 2022-07-26 09:00:43 · 1631 阅读 · 1 评论 -
任意进制转化实现秒数转时间
任意进制转化实现秒数转时间需求经过会碰到这样的情况:已知经过的秒数,要如何转换成类似“XX年XX月XX天XX小时XX分钟XX秒”来进行表达。很明显,这里需要一个转换的方法,就是进制的转换,那就来研究一下进制的转换。内置的进制转换在python里已经有内置的进制转换方法,直接调用就可以了,比如:*** 十进制转成二进制:bin() ***>>> bin(122) '0b1111010'** 十进制转成八进制:oct() **>>> oct(原创 2021-07-21 15:40:46 · 2472 阅读 · 0 评论 -
BERT预训练模型字向量提取工具已发布到pypi
BERT预训练模型字向量提取工具BERT预训练模型字向量提取工具版本: v 0.3.7更新: 2020/4/20 16:39工具说明本工具直接读取BERT预训练模型,从中提取样本文件中所有使用到字向量,保存成向量文件,为后续模型提供字向量。本工具直接读取预训练模型,不需要其它的依赖,同时把样本中所有出现的字符对应的字向量全部提取,后续的模型可以非常快速进行索引,生成自己的句向量,不再需要庞大的预训练模型或者bert-as-service服务了。安装:pip install BERTVec原创 2021-07-15 10:34:52 · 631 阅读 · 0 评论 -
AI玩转重力四子棋
AI玩转重力四子棋导语最近看到一个小游戏,感觉很有意思,想着如何让电脑学会跟人下。于是做了一些简单的探索,完成了基本的AI模拟,这里的算法是直接使用特征来进行差别。搜索深度也只做了2步,还可以做更深度的搜索,也可以使用深度模型来训练,就算是抛砖引玉吧。版本历史1.0.3 优化WEB界面,增加人机比分展示;1.0.2 完成HTTP服务端包装,可通过网页实现对弈;1.0.1 完成AI算法,可进行人机对弈;1.0.0 完成重力四子棋基本框架,可进行命令行对弈;先汇总一下相关资源:重力四子棋在原创 2020-11-13 11:59:48 · 5845 阅读 · 0 评论 -
faiss通用向量搜索服务玩转腾讯880万词向量
通用向量搜索服务faiss是个高效的向量搜索解决方案,经过测试对比,可以感受到它的飞速,关于faiss性能测试的见这里:faiss包装与性能对比这次开源的是使用faiss搭建的通用向量搜索服务。项目开源地址:https://github.com/xmxoxo/vector_server通用向量搜索服务 VectorServer基于faiss搭建的通用向量搜索服务,服务加载向量持久化文件, 同时可指定加载数据文件;通过faiss索引到内存,再通过flask提供API通用接口。API接口提供:原创 2020-09-30 14:42:31 · 3615 阅读 · 0 评论 -
faiss包装与性能对比
|服务器系统/工具| 版本 | 链接 | |--|--|--||centos|7.4| https://www.centos.org/download/ ||jdk|1.8 | ||scala| 2.12 | https://scala-lang.org/download/2.12.12.html ||flink| 1.10.2 | https://flink.apache.org/downloads.html | |flink Redis Sink|2.8 | ||flink Hbase原创 2020-09-29 15:34:07 · 2858 阅读 · 0 评论 -
numpy数组旋转、排序操作笔记
numpy array 数组旋转、排序操作笔记平时对于数组的旋转、排序常常会用到,但是网上找了一圈都是碎片式的,把相关的操作汇总一下,方便使用。数转旋转生成import numpy as npsize = (3,5)D = np.arange(size[0]*size[1]).reshape(size)运行结果:>>> size = (3,5)>>> D = np.arange(size[0]*size[1]).reshape(size)>&原创 2020-09-28 10:15:06 · 1154 阅读 · 0 评论 -
模型评估之“鱼网捞鱼”
模型评估之“鱼网捞鱼”整理文档时找到了模型评估的学习笔记,当时在群里跟朋友们聊到了模型评估时,用“池塘捞鱼”做了一个例子,整理出来,温故知新。问题描述如下图所示,在一个池塘里(矩形)有很多的鱼(三角形)和虾(棱形), 现在有一个模型,也就是一个用来捞鱼的网(圆形虚线),一网下去捞中了一些鱼,同时也捞中了一些虾。现在要对这个鱼网(模型)进行评价一下,鱼网做得好不好呢?现在来分析一下:池塘:总共的大小是20,其中鱼P=10, 虾N=10模型就是一张网下去,捞了9个鱼和3个虾。(注意,网里的都是“被原创 2020-09-08 14:40:18 · 764 阅读 · 0 评论 -
模型训练时间的估算
模型训练时间的估算昨天群里一个朋友训练一个BERT句子对模型,使用的是CPU来进行训练,由于代码是BERT官方代码,并没有显示训练需要的总时间,所以训练的时候只能等待。他截图发了基本的信息,想知道训练完整个模型需要多久。最开始跑BERT模型的时候,我也碰到这个问题,当时没有深入研究,不过后来换成keras,bert4keras等框架,可以直接输出时间,比较直观了。这次回过头来重新理一理,也算自己温故知新。话不多说,截图如下:先整理一下截图中已知的量:global_step/sec = 0.20原创 2020-08-26 10:34:47 · 11608 阅读 · 0 评论 -
文本匹配工具正式开源
文本匹配工具RuleFinder 文本匹配工具是一个用于快速编写匹配规则,提取文本的工具。源码地址: https://github.com/xmxoxo/RuleFinder当前版本号:0.1.12update: 2020/6/12本工具包括:类库,规则编辑器,批量提取器。RuleLib.py 类库,可自行引用到项目中使用;RuleEditor.py 规则编辑器,基于flask的WEB应用,可在浏览器中编辑规则;RulePicker.py 规则提取器,可加载规则后从批量文件中提取匹配结果原创 2020-06-15 10:31:22 · 2142 阅读 · 0 评论 -
带你看数据挖掘与机器学习-厦大EDP上课出勤预测
带你看数据挖掘与机器学习-厦大EDP上课出勤预测标签: 数据挖掘 特征工程 机器学习 出勤预测write by xmhexi 2019/3/22内容提要首先说明本文是一篇科普文章,通过一个实际案例,帮助理解什么是数据挖掘、特征工程、机器学习等,文章中并不涉及详细的技术与参数。本人刚刚起步初学,文章中均为本人的理解,有不妥之处,敬请指出。文章中涉及的的姓名,电话等信息均做了模糊处理。...原创 2020-04-06 18:12:35 · 615 阅读 · 1 评论 -
在GPU上运行LGBM
在GPU上运行LGBM2019/11/4参考文章:最简便的lightGBM GPU支持的安装、验证方法 - lccever的博客 - CSDN博客https://blog.csdn.net/lccever/article/details/80535058目录: /home/hexi/boost实践:安装依赖sudo apt-get install --no-install-re...原创 2019-11-25 11:10:35 · 6595 阅读 · 0 评论 -
中文文本字符集分析过滤工具
中文文本字符集分析过滤工具Tag: chatset 字符集 过滤困扰之缘起凡是涉及到文本处理的童鞋都知道,文本数据拿到后最麻烦的就是处理。数据的来源有很多种,可能是网上采集的,也可能是数据库导出的。文本的内容上可能是用户注册的昵称,也可能是用户写的评论,总之是五花八门。 在这些文本内容中,最讨厌的就是“不可见字符”,用记事本,用EditPlus,用NotePad++,各种工具…,一般都无法...原创 2019-10-14 11:45:49 · 1091 阅读 · 1 评论