- 博客(49)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 任意进制转化实现秒数转时间
任意进制转化实现秒数转时间需求经过会碰到这样的情况：已知经过的秒数，要如何转换成类似“XX年XX月XX天XX小时XX分钟XX秒”来进行表达。很明显，这里需要一个转换的方法，就是进制的转换，那就来研究一下进制的转换。内置的进制转换在python里已经有内置的进制转换方法，直接调用就可以了，比如：*** 十进制转成二进制：bin() ***>>> bin(122) '0b1111010'** 十进制转成八进制:oct() **>>> oct(
2021-07-21 15:40:46
2471
原创 BERT预训练模型字向量提取工具已发布到pypi
BERT预训练模型字向量提取工具BERT预训练模型字向量提取工具版本： v 0.3.7更新: 2020/4/20 16:39工具说明本工具直接读取BERT预训练模型，从中提取样本文件中所有使用到字向量，保存成向量文件，为后续模型提供字向量。本工具直接读取预训练模型，不需要其它的依赖，同时把样本中所有出现的字符对应的字向量全部提取，后续的模型可以非常快速进行索引，生成自己的句向量，不再需要庞大的预训练模型或者bert-as-service服务了。安装：pip install BERTVec
2021-07-15 10:34:52
631
原创 AI玩转重力四子棋
AI玩转重力四子棋导语最近看到一个小游戏，感觉很有意思，想着如何让电脑学会跟人下。于是做了一些简单的探索，完成了基本的AI模拟，这里的算法是直接使用特征来进行差别。搜索深度也只做了2步，还可以做更深度的搜索，也可以使用深度模型来训练，就算是抛砖引玉吧。版本历史1.0.3 优化WEB界面，增加人机比分展示；1.0.2 完成HTTP服务端包装，可通过网页实现对弈；1.0.1 完成AI算法，可进行人机对弈；1.0.0 完成重力四子棋基本框架，可进行命令行对弈；先汇总一下相关资源：重力四子棋在
2020-11-13 11:59:48
5840
原创 faiss通用向量搜索服务玩转腾讯880万词向量
通用向量搜索服务faiss是个高效的向量搜索解决方案，经过测试对比，可以感受到它的飞速，关于faiss性能测试的见这里：faiss包装与性能对比这次开源的是使用faiss搭建的通用向量搜索服务。项目开源地址：https://github.com/xmxoxo/vector_server通用向量搜索服务 VectorServer基于faiss搭建的通用向量搜索服务，服务加载向量持久化文件, 同时可指定加载数据文件；通过faiss索引到内存，再通过flask提供API通用接口。API接口提供：
2020-09-30 14:42:31
3613
原创 faiss包装与性能对比
|服务器系统/工具| 版本 | 链接 | |--|--|--||centos|7.4| https://www.centos.org/download/ ||jdk|1.8 | ||scala| 2.12 | https://scala-lang.org/download/2.12.12.html ||flink| 1.10.2 | https://flink.apache.org/downloads.html | |flink Redis Sink|2.8 | ||flink Hbase
2020-09-29 15:34:07
2858
原创 numpy数组旋转、排序操作笔记
numpy array 数组旋转、排序操作笔记平时对于数组的旋转、排序常常会用到，但是网上找了一圈都是碎片式的，把相关的操作汇总一下，方便使用。数转旋转生成import numpy as npsize = (3,5)D = np.arange(size[0]*size[1]).reshape(size)运行结果：>>> size = (3,5)>>> D = np.arange(size[0]*size[1]).reshape(size)>&
2020-09-28 10:15:06
1154
原创 模型评估之“鱼网捞鱼”
模型评估之“鱼网捞鱼”整理文档时找到了模型评估的学习笔记，当时在群里跟朋友们聊到了模型评估时，用“池塘捞鱼”做了一个例子，整理出来，温故知新。问题描述如下图所示，在一个池塘里（矩形）有很多的鱼（三角形）和虾（棱形）， 现在有一个模型，也就是一个用来捞鱼的网（圆形虚线），一网下去捞中了一些鱼，同时也捞中了一些虾。现在要对这个鱼网（模型）进行评价一下，鱼网做得好不好呢？现在来分析一下：池塘：总共的大小是20，其中鱼P=10, 虾N=10模型就是一张网下去，捞了9个鱼和3个虾。（注意，网里的都是“被
2020-09-08 14:40:18
764
原创 模型训练时间的估算
模型训练时间的估算昨天群里一个朋友训练一个BERT句子对模型，使用的是CPU来进行训练，由于代码是BERT官方代码，并没有显示训练需要的总时间，所以训练的时候只能等待。他截图发了基本的信息，想知道训练完整个模型需要多久。最开始跑BERT模型的时候，我也碰到这个问题，当时没有深入研究，不过后来换成keras，bert4keras等框架，可以直接输出时间，比较直观了。这次回过头来重新理一理，也算自己温故知新。话不多说，截图如下：先整理一下截图中已知的量：global_step/sec = 0.20
2020-08-26 10:34:47
11602
原创 文本匹配工具正式开源
文本匹配工具RuleFinder 文本匹配工具是一个用于快速编写匹配规则，提取文本的工具。源码地址： https://github.com/xmxoxo/RuleFinder当前版本号：0.1.12update: 2020/6/12本工具包括：类库，规则编辑器，批量提取器。RuleLib.py 类库，可自行引用到项目中使用；RuleEditor.py 规则编辑器，基于flask的WEB应用，可在浏览器中编辑规则；RulePicker.py 规则提取器，可加载规则后从批量文件中提取匹配结果
2020-06-15 10:31:22
2142
原创 带你看数据挖掘与机器学习-厦大EDP上课出勤预测
带你看数据挖掘与机器学习-厦大EDP上课出勤预测标签: 数据挖掘 特征工程 机器学习 出勤预测write by xmhexi 2019/3/22内容提要首先说明本文是一篇科普文章，通过一个实际案例，帮助理解什么是数据挖掘、特征工程、机器学习等，文章中并不涉及详细的技术与参数。本人刚刚起步初学，文章中均为本人的理解，有不妥之处，敬请指出。文章中涉及的的姓名，电话等信息均做了模糊处理。...
2020-04-06 18:12:35
615
1
原创 在GPU上运行LGBM
在GPU上运行LGBM2019/11/4参考文章：最简便的lightGBM GPU支持的安装、验证方法 - lccever的博客 - CSDN博客https://blog.csdn.net/lccever/article/details/80535058目录: /home/hexi/boost实践：安装依赖sudo apt-get install --no-install-re...
2019-11-25 11:10:35
6592
原创 中文文本字符集分析过滤工具
中文文本字符集分析过滤工具Tag: chatset 字符集 过滤困扰之缘起凡是涉及到文本处理的童鞋都知道，文本数据拿到后最麻烦的就是处理。数据的来源有很多种，可能是网上采集的，也可能是数据库导出的。文本的内容上可能是用户注册的昵称，也可能是用户写的评论，总之是五花八门。 在这些文本内容中，最讨厌的就是“不可见字符”，用记事本，用EditPlus,用NotePad++,各种工具…，一般都无法...
2019-10-14 11:45:49
1090
1
原创 BERT模型从训练到部署
BERT模型从训练到部署全流程Tag: BERT 训练 部署缘起在群里看到许多朋友在使用BERT模型，网上多数文章只提到了模型的训练方法，后面的生产部署及调用并没有说明。这段时间使用BERT模型完成了从数据准备到生产部署的全流程，在这里整理出来，方便大家参考。在下面我将以一个“手机评论的情感分类”为例子，简要说明从训练到部署的全部流程。最终完成后可以使用一个网页进行交互，实时地对输入的评...
2019-04-15 23:38:03
28680
64
原创 生成正则表达式--阿里笔试语义匹配题的思路
这里写自定义目录标题问题描述思路测试运行结果完整源码问题描述在Q群里聊到关于规则生成的问题，有个这样的题目：在基于自然语言的人机交互系统中，通常会定义一些语义模板来训练NLU (自然语言理解)模型，比如下面的模板可以支持用户通过语音控制机器播放音乐：放几首@{singer}的歌播放一首@{singer}的歌来一曲@{singer}的歌曲来首@{singer}的音乐来个@{sing...
2019-04-12 15:22:00
691
原创 五房子问题
测试一下 CSDN的博客是否支持MarkDown## 五房子问题 抽象逻辑表达式自定义运算符，为了便于识别，设计成2位字符；**自定义运算** | 规则名称 | 运算符 | 说明 || -------- | :-----: | ------------- || 同房子 | == | 在同一间房子; <br/> 例如: "英国人住红色房子"...
2018-07-25 09:34:31
520
原创 第一次修复: 左短轴与接线柱
今天终于修好了左短轴,为了重焊这个短轴,只好把电池,两个电机,靠近左短轴的行程计二极管,都拆了下来,拆完这些中午就过去了,短轴焊上去后发现根本没焊牢,晚上继续处理,重新焊了短轴,这次先给短轴上了锡,这才有点效果. 为了以后不再拆焊电池和电机,决定做两个接线柱. 找了半天,终于找到一根电脑主板上用的CD接线,于是用小刀做成了2个插头,又把扩展板上带的小针,2根的那种,切成两个,焊在
2009-11-09 22:07:00
632
原创 第一天: 公欲善其事,必先利其器
2009-11-2 收到的ASURO的所有配件,包括套件以及工具,仔细清点了一下所有的配件,开始规划自己的小小工作台. 整理出一个抽屉单独放这些零件和工具,边上装了一个插座;
2009-11-05 12:08:00
771
原创 cTree V1.0.24 编译完成
经过2个多小时的修改,cTree V1.0.24 编译完成主要处理了1.0.23版中存在的下载时出错的BUG,同时增加了批量下载图片的功能.增加了一个定时器,用于图片地址树中未访问过锭接的批量下载,在处理时只下载了JPG和GIF后缀的图片文件目前发现的问题:当地址树和图片树同时开始批量处理的时候,图片下载经常卡住,被地址下载进程占用.可能是时间设置不同的原因,具体没有检查.
2009-06-20 16:29:00
786
转载 不能查看“应用程序日志”的解决办法
环境: windows 2003 问题描述: 在MMC中,无法查看"应用程序日志",但其它日志正常,即使把日志导出来再打开,也一样无法查看. 解决方法: 上网找了一下相关的内容,发现以下的说明: Serv-U是一款很知名的软件，发布前都经过很严格的测试，应该不会出现这样的问题，那就看到底哪里的问题了。安装并汉化完Serv-U，MMC崩溃的故障再次出现
2009-04-21 08:58:00
968
原创 破解flashFXP密码全过程
破解flashFXP密码全过程2008年12月4日 xmxoxoflashFXP是一个FTP客户端,无意中看了一下密码的保存方式,是存在一个INI格式中,突发奇想来破解一下:先改几个密码保存一下,把密文记下来------------------------------------------------------------------明码 密码a 968Ea 73ADa A6
2008-12-11 23:07:00
5854
1
原创 正则表达式中查找"不包含"
今天为网站伪静态写一条规则,目的是过滤除了站点本身以外的域名地址。由于网站做了泛域名解析，所以输入IP地址，或者其它人把域名绑定到服务器的IP，都可以访问网站，今天就发现了一个域名，估计是好久没有用到了，一直就是解析这个IP，于是输入域名就到了网站，解决的方法就是在伪静态规则中把“除了网站域名以外的其它域名均过滤掉”。 先写出“本站允许的所有域名”吧，用正则表达
2008-11-03 22:32:00
2012
原创 BE Creative Puzzle攻略 Level 11
好不容易进了Level 11先记一下codeCode: 94 页面就一个图片,显示一个硬盘的内部构造下面的提示是: Relax, take it easy my friend. 先查看一下页面源码得到一个数字: 0x15b0 于是把图片存下来,找到图片文件的偏移位置 0x15b0 得到一串提示:what is my old name?
2008-09-01 13:13:00
944
1
原创 逛CSDN找来的代码
随便在CSDN外包频道上逛,找到一个这样的东东: Web 页面上的选取区域的记录和恢复看了2分钟才算明白过来是什么意思,其实是选择当前页面的某些内容,将这些选择保存起来.地址: http://home.arcor.de/martin.honnen/javascript/storingSelection1.html代码先记下,在firefox中可用,IE需要修改
2008-08-30 10:33:00
816
原创 邮件发送中心上线
经过这一阵的忙碌， 邮件发送中心总算完成了，界面虽然有占难看： 邮件中心主要用来将其它项目中凡是需要发送邮件的任务集中到一起进行发送，这样可以设置使用多个帐号，批量任务的执行间隔，甚至预定发送时间，同时使用一个WEB Service来为其它应用提供两个功能：一是提交新的任务，二是按任务号查询邮件发送情况。在项目中同时处理了邮件的编码问题。 由于是采用数据库+系统服务
2008-08-27 13:21:00
650
原创 通用支付网关正式上线
忙了有一阵了,构思的"通用支付网关接口"正式完成,虽然只完成了网银和支付宝的,但整体的思路基本上清析并固定下来了, 其实这个通用接口并没有什么特别.目前的网上支付平台很多,它们之间都有一些共性的东西,比如签名,通知,接口地址等等,根据这些共性的东西,创建一个基类,然后继承它生成针对某个支付接口的专用类,比如支付宝.这么做的原因是因为在刚有思路的时候,想偷懒不用去重复考虑每个支付
2008-08-27 12:51:00
830
原创 图片收集器V1.0.14正式发布
图片收集器V1.0.14正式发布了仍然没有改界面,不过对内核进行了一定的优化,增加了下载进度条,解决了创建目录会乱码的问题,同时修正了注册码有时会显示错误的问题,还处理了不同的服务器无返回值的问题.现在就差完整的多线程了. 这次仔细地做了一个帮助,以便初级用户可以学会如何使用:标出了界面所有的功能点并逐个进行说明, 把帮助文档放在这里: 在线使用帮助喜欢的朋友到这里下载安装
2008-06-28 04:21:00
720
原创 找到一个地图接口
http://channel1.mapbar.com/thememap/busApi/bus.jsp?citycode=0591_4&tab=4&name=名%20称&latlon=IVUVIGWUJJGJI厦门公交路线查询,速度还不错.也可以查其它城市的, mapbar.com 提供了相应的接口.
2008-05-29 01:09:00
774
原创 函数表达式解析器
函数表达式解析器 最早是在02年写的，当时刚学完数据结构里的栈，于是就着书上的例子实现了一个简单的后缀表达式分析器，可以解析简单的表达式，也可以画一些简单的图像。 之前的程序只能识别+-*/^这几个运算，并且只能认x这个变量，其它的就不行了。于是将运算扩展到三角函数，以及LOG,EXP，同时将变量扩展到多个，不限定哪个变量一定要有，反正设置变量的值，就可以计算表达式的值，如果没有
2008-04-28 13:39:00
1515
3
原创 让光标在各文本框内自由移动的函数
这是一个早期写的函数,用于解决技术群里一个网友提出的问题.他的问题是这样的,在一个VB窗体中,有多个文本框,用户需要在文本框里输入一些值,为了使用方便,最好是能使用键盘来控制光标落,以便在这若干个文本框之间漫游,即,如果光标移到了文本框的开头,此时按下左箭头,则光标移到上一个文本框中;反之,如果光标在文本框的结束位置,此时按下右箭头,则光标移动下一个文本框中.我给出的解决方式是
2007-11-23 00:17:00
1842
原创 走迷宫算法
从起点问题的提出： 在游戏地图中，如何寻找一条从起点到终点的最短行路线路？数据表达：使用M*N大小的byte数组 来表示地图，每个位置的状态用0表示可走，1表示墙，2表示起点，3表示终点，128表示路径；行走规则有两种：4方向行走规则：只能从当前点向上，下，左，右 这4个方向行走；8方向行走规则：可以从当前点向上，下，左，右，左上，左下，右上，右下，这8个方向行走；行走方向编码：
2007-11-07 23:52:00
12371
17
原创 VB中的乱序函数
将C++的函数稍改了一下，以适合在VB里用。 从1-max中随机选择n个,放在数组arrT()最前面Public Sub RndSel(max As Integer, ByVal N As Integer, arrT() As Integer) Dim p As Integer Dim i As Integer Dim tmp As Integer I
2007-05-17 15:43:00
1880
1
原创 厦门人才网图片查看器
近日又逛了一下人才网，猛地发现人才网上的图片，虽然是禁止了直接访问，但却未加任何限制，也就是说，只要在浏览器的地址里输入正确的用户编号，就会显示。按这个思路得到了这个：http://5copy.com/xmrc_pic.asp练习JS脚本所得。
2007-03-31 23:57:00
3052
原创 1-9组成的等式
// p1230.cpp : Defines the entry point for the console application./*题目用1-9这9个数，组成一个等式，乘数3位数，被乘数2位数，结果为4位数*///#include "stdafx.h"#include "stdlib.h"#include "iostream.h"#include "string.h"//返回长度in
2006-12-31 13:44:00
1629
转载 学习掌握重点:如何学好C++，用好类库很重要
如果你有一定的C基础可能学起来比较容易些,但是学习C++的过程中又要尽量避免去使用一些C中的思想;平时还要多看一些高手写的代码,遇到问题多多思考,怎样才能把问题抽象化,以使自己头脑中有类的概念;最后别忘了经常上机自己调调程序,这是谁也代替不了的. C++类库介绍 再次体现了C++保持核心语言的效率同时大力发展应用库的发展趋势!!在C++中，库的地位是非常高的。C++之父 Bjarne S
2006-12-30 23:02:00
919
原创 异形数组的生成
// PBox.cpp : Defines the entry point for the console application./* 方格生成程序 by xmxoxo 题目:如下图所示：把该图存于int data[10][10]中，请用代码实现 1 2 3 4 5 22 21 20 19 623 24 25 18 714 15 16 17 813 12 1
2006-12-30 22:22:00
941
原创 由速算思路想到的大数相乘算法(一)
前几天逛网，发现一段视频很有意思：http://www.6rooms.com/player.swf?vid=STJd2KkluxggOS7kwW7wuA 视频演示了二位数相乘及三位相乘的速算思路。看不了视频的可以看下面这张图自己整理了一下：12*34=?乘数：12被乘数：34先把乘数列出来,第i行列左起第i位数，列N次（N为乘数的位数）第二行起每次右移一位(1) (1)
2006-12-21 13:49:00
3603
1
原创 乘法速算的方法
乘法速算12X34=?乘数：12被乘数：34先把乘数列出来,每次一位数，重复次数为位数，2位，列2次第二行起每次右移一位(1) (1) (2) (2)写入被乘数,按先列后行的方式(1,3) (1,4) (2,3) (2,4)将（）内的数两乘(1,3=3) (1,4=4) (2,3=6) (2,4=8)相加,注意进位(1,3=3) (1,4=4)
2006-12-21 13:46:00
4605
1
原创 判断数据库中是否存在某个表
----------------------------------------------------------Author: xmxoxoUpdate: 2006-11-28Version: 1.0.0----------------------------------------------------------参数： Conn 已打开
2006-11-28 16:16:00
1874
3
原创 搜索解法
// FindValue.cpp : Defines the entry point for the console application./*1. 给定等式 A B C D E 其中每个字母代表一个数字，且不同数字对应不 D F G 同字母。编程求出这些数字并且打出这个数字的 + D
2006-11-22 00:45:00
939
LCQMC_data.7z
2020-05-25
图片收集器PicBot V1.0.14sp1
2008-06-29
图片收集器 PicBot V1.0.14
2008-06-28
函数表达式V1.0.11
2008-04-28
函数表达式解析V1.0.11
2008-04-28
图片收集器V1.08
2006-11-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人