xmxoxo的专栏

本文件介绍了一个python小工具，可转换.sh文件，使其可以在liunx下运行。

任意进制转化实现秒数转时间需求经过会碰到这样的情况：已知经过的秒数，要如何转换成类似“XX年XX月XX天XX小时XX分钟XX秒”来进行表达。很明显，这里需要一个转换的方法，就是进制的转换，那就来研究一下进制的转换。内置的进制转换在python里已经有内置的进制转换方法，直接调用就可以了，比如：*** 十进制转成二进制：bin() ***>>> bin(122) '0b1111010'** 十进制转成八进制:oct() **>>> oct(

BERT预训练模型字向量提取工具BERT预训练模型字向量提取工具版本： v 0.3.7更新: 2020/4/20 16:39工具说明本工具直接读取BERT预训练模型，从中提取样本文件中所有使用到字向量，保存成向量文件，为后续模型提供字向量。本工具直接读取预训练模型，不需要其它的依赖，同时把样本中所有出现的字符对应的字向量全部提取，后续的模型可以非常快速进行索引，生成自己的句向量，不再需要庞大的预训练模型或者bert-as-service服务了。安装：pip install BERTVec

BERT模型从训练到部署全流程Tag: BERT 训练 部署缘起在群里看到许多朋友在使用BERT模型，网上多数文章只提到了模型的训练方法，后面的生产部署及调用并没有说明。这段时间使用BERT模型完成了从数据准备到生产部署的全流程，在这里整理出来，方便大家参考。在下面我将以一个“手机评论的情感分类”为例子，简要说明从训练到部署的全部流程。最终完成后可以使用一个网页进行交互，实时地对输入的评...

从起点问题的提出：    在游戏地图中，如何寻找一条从起点到终点的最短行路线路？数据表达：使用M*N大小的byte数组 来表示地图，每个位置的状态用0表示可走，1表示墙，2表示起点，3表示终点，128表示路径；行走规则有两种：4方向行走规则：只能从当前点向上，下，左，右 这4个方向行走；8方向行走规则：可以从当前点向上，下，左，右，左上，左下，右上，右下，这8个方向行走；行走方向编码：

AI玩转重力四子棋导语最近看到一个小游戏，感觉很有意思，想着如何让电脑学会跟人下。于是做了一些简单的探索，完成了基本的AI模拟，这里的算法是直接使用特征来进行差别。搜索深度也只做了2步，还可以做更深度的搜索，也可以使用深度模型来训练，就算是抛砖引玉吧。版本历史1.0.3 优化WEB界面，增加人机比分展示；1.0.2 完成HTTP服务端包装，可通过网页实现对弈；1.0.1 完成AI算法，可进行人机对弈；1.0.0 完成重力四子棋基本框架，可进行命令行对弈；先汇总一下相关资源：重力四子棋在

通用向量搜索服务faiss是个高效的向量搜索解决方案，经过测试对比，可以感受到它的飞速，关于faiss性能测试的见这里：faiss包装与性能对比这次开源的是使用faiss搭建的通用向量搜索服务。项目开源地址：https://github.com/xmxoxo/vector_server通用向量搜索服务 VectorServer基于faiss搭建的通用向量搜索服务，服务加载向量持久化文件, 同时可指定加载数据文件；通过faiss索引到内存，再通过flask提供API通用接口。API接口提供：

|服务器系统/工具| 版本 | 链接 | |--|--|--||centos|7.4| https://www.centos.org/download/ ||jdk|1.8 | ||scala| 2.12 | https://scala-lang.org/download/2.12.12.html ||flink| 1.10.2 | https://flink.apache.org/downloads.html | |flink Redis Sink|2.8 | ||flink Hbase

numpy array 数组旋转、排序操作笔记平时对于数组的旋转、排序常常会用到，但是网上找了一圈都是碎片式的，把相关的操作汇总一下，方便使用。数转旋转生成import numpy as npsize = (3,5)D = np.arange(size[0]*size[1]).reshape(size)运行结果：>>> size = (3,5)>>> D = np.arange(size[0]*size[1]).reshape(size)>&

模型评估之“鱼网捞鱼”整理文档时找到了模型评估的学习笔记，当时在群里跟朋友们聊到了模型评估时，用“池塘捞鱼”做了一个例子，整理出来，温故知新。问题描述如下图所示，在一个池塘里（矩形）有很多的鱼（三角形）和虾（棱形）， 现在有一个模型，也就是一个用来捞鱼的网（圆形虚线），一网下去捞中了一些鱼，同时也捞中了一些虾。现在要对这个鱼网（模型）进行评价一下，鱼网做得好不好呢？现在来分析一下：池塘：总共的大小是20，其中鱼P=10, 虾N=10模型就是一张网下去，捞了9个鱼和3个虾。（注意，网里的都是“被

模型训练时间的估算昨天群里一个朋友训练一个BERT句子对模型，使用的是CPU来进行训练，由于代码是BERT官方代码，并没有显示训练需要的总时间，所以训练的时候只能等待。他截图发了基本的信息，想知道训练完整个模型需要多久。最开始跑BERT模型的时候，我也碰到这个问题，当时没有深入研究，不过后来换成keras，bert4keras等框架，可以直接输出时间，比较直观了。这次回过头来重新理一理，也算自己温故知新。话不多说，截图如下：先整理一下截图中已知的量：global_step/sec = 0.20

文本匹配工具RuleFinder 文本匹配工具是一个用于快速编写匹配规则，提取文本的工具。源码地址： https://github.com/xmxoxo/RuleFinder当前版本号：0.1.12update: 2020/6/12本工具包括：类库，规则编辑器，批量提取器。RuleLib.py 类库，可自行引用到项目中使用；RuleEditor.py 规则编辑器，基于flask的WEB应用，可在浏览器中编辑规则；RulePicker.py 规则提取器，可加载规则后从批量文件中提取匹配结果

带你看数据挖掘与机器学习-厦大EDP上课出勤预测标签: 数据挖掘 特征工程 机器学习 出勤预测write by xmhexi 2019/3/22内容提要首先说明本文是一篇科普文章，通过一个实际案例，帮助理解什么是数据挖掘、特征工程、机器学习等，文章中并不涉及详细的技术与参数。本人刚刚起步初学，文章中均为本人的理解，有不妥之处，敬请指出。文章中涉及的的姓名，电话等信息均做了模糊处理。...

在GPU上运行LGBM2019/11/4参考文章：最简便的lightGBM GPU支持的安装、验证方法 - lccever的博客 - CSDN博客https://blog.csdn.net/lccever/article/details/80535058目录: /home/hexi/boost实践：安装依赖sudo apt-get install --no-install-re...

中文文本字符集分析过滤工具Tag: chatset 字符集 过滤困扰之缘起凡是涉及到文本处理的童鞋都知道，文本数据拿到后最麻烦的就是处理。数据的来源有很多种，可能是网上采集的，也可能是数据库导出的。文本的内容上可能是用户注册的昵称，也可能是用户写的评论，总之是五花八门。 在这些文本内容中，最讨厌的就是“不可见字符”，用记事本，用EditPlus,用NotePad++,各种工具…，一般都无法...