原创 Excel小数时间转换成时分秒

Excel表格中的时间：3时28分21秒，导入到数据库后变成了0.1446875，竟然是个小数，愕然？还原过程如下：

原创 如何解决ClickHouse的表处于只读状态

在使用ClickHouse的过程中，经常会遇到某个副本的表A处于readonly状态，无法更新数据。原因：说是zookeeper的压力大（建议data和log分开存储到不同的磁盘），metadata元数据丢失。此时通常有两种解决办法：1）创建一个和该表A结构相同的表A'，然后将数据从A表导入到A'，多个副本A'的数据会自动同步，以后使用A'表，涉及使用A表的地方都需要修改为A'表；2）DEATCH掉A表，重新创建A表，但此时数据不会自动同步，需要人工从其它副本A表导入。查询哪些副本表处于readonl

原创 如何远程访问Docker容器中的图形界面，如:kettle

远程访问Docker容器中的图形界面，如：kettle

原创 docker部署jupyterhub

为了避免出现如下错误：除了最基本的执行外：docker run -d -p 8000:8000 --name jupyterhub jupyterhub/jupyterhub jupyterhubdocker exec -it jupyerhu bashuseradd wxlpasswd wxl还需要在容器中做以下操作：1.需要增加wxl用户目录及其权限chmod -R 777 homecd /homemkdir wxlchown wxl:wxl wxl -R

原创 在DataEase上支持服务端分页功能（下）

二、前端服务端分页刷新 前端调用分页接口时，只需要传入chart_id及page即可，pageSize不需要传递，该参数在设计页面设置好后存储在后台数据库中，并以json对象的形式存在，在后端的getPageData实现时通过解析ChartViewDTO对象中的customAtrr属性获得tablePageSize的值，resultMode则是返回ChartViewDTO对象中的resultMode，该值是设计页面设置后存入数据库中的。frontend 修改文件及代码如下：1.fr...

原创 在DataEase上支持服务端分页功能（上）

国人喜欢在满足可视化展示的同时也可以查询明细数据，而大部分可视化平台都不支持大量明细的显示，即仅支持客户端分页功能，没有支持服务端分页的功能，为满足这个大量明细显示的需求，本人研究了国人最喜欢的可视化开源软件Dataease的源代码，实现了服务端分页的功能，分享给大家。

原创 win10搭建dataease开发环境

dataease开发环境搭建踩坑指引

原创 快捷部署Superset

快捷部署Superset

原创 ubuntu20.4子系统下安装xmlsec

ubuntu20.4下如何安装xmlsec

原创 基于Rasa框架搭建中文机器人对话系统

基于Rasa框架搭建机器人对话系统，可以使用于工业各类语音智能服务场景，如：远程医疗问诊、智能客户服务、保险产品销售、金融催收服务、手机智能助手等领域。

原创 mysql-binlog-client数据同步docker镜像构建

mysql-binlog-client基于mysql-replication模拟slave，监听binlog的变化，包括增加、修改、删除 。创建binlog流对象，根据监听事件获取变化的数据，进行数据同步。

原创 因果推理-学习笔记

因果推理，数据分析的高级层次。

原创 AI实时质检-基于语义分类模型的实现

基于深度语义模型，实现AI实时质检。

原创 超几何分布应用-质检抽样

将超几何分布应用于质检抽样场景

原创 文本数据增强-同义词替换、随机交换、随机插入、随机删除

2021 CCF BDCI 千言-问题匹配鲁棒性评测比赛数据增强

翻译 基于huggingface transformers快速部署tensorflow serving

1.保存模型from transformers import TFBertForSequenceClassificationmodel = TFBertForSequenceClassification.from_pretrained("nateraw/bert-base-uncased-imdb", from_pt=True)# the saved_model parameter is a flag to create a SavedModel version of the model in

原创 文本数据增强-回译尝试

方法一：使用百度翻译apiimport requestsimport randomimport jsonfrom hashlib import md5def cntoen(query): # Set your own appid/appkey. appid = 'x' appkey = 'x' # For list of language codes, please refer to `https://api.fanyi.baidu.com/doc/21..

原创 Win11+WSL2+Ubuntu-20.04+GPU+TensorFlow+Jupyter

目标：在Win10/11的WSL2子系统Ubuntu-20.04环境下使用GPU进行机器学习及cuda开发。1）前提：升级到Win10 20150版本或Win11版本。（否则即使安装了cuda及cudnn，也是各种错误导致nvida-smi无法使用，各种百度也抓狂。）2）在Win10/Win11环境中安装Docker-Desktop3) 在Ubuntu-20.04环境下安装Docker4) 在Ubuntu-20.04下使用Docker运行gpu-tensorflow-py...

转载 ROS2 Windows10 跑跑小乌龟

一、使用coco原生安装ROS21.以管理员身份启动Windows PowerShell，执行以下命令：Set-ExecutionPolicy Bypass -Scope Process -Force; [System.Net.ServicePointManager]::SecurityProtocol = [System.Net.ServicePointManager]::SecurityProtocol -bor 3072; iex ((New-Object System.Net.WebCli

原创 文本分类（ALBert+BiLSTM）

基于ALBert及BiLSTM进行中文文本分类的通用过程。1.语料准备（基于csv文件),语料类import osfrom typing import Listfrom typing import Tupleimport numpy as npimport pandas as pdfrom tensorflow.keras.utils import get_filefrom kashgari import macros as Kfrom kashgari import uti..

转载 Window10下Ubuntu20.04子系统下安装cuda

目标：cuda编程更方便。$ wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pin$ sudo mv cuda-wsl-ubuntu.pin /etc/apt/preferences.d/cuda-repository-pin-600$ wget https://developer.download.nvidia.com/compute/cuda/11.4.

原创 实现一个label_studio的领域命名实体的backend

import osimport pinyinfrom kashgari.tasks.labeling import BiLSTM_CRF_Modelfrom kashgari.embeddings import BertEmbedding,TransformerEmbeddingfrom label_studio_ml.model import LabelStudioMLBasefrom label_studio.core.settings.base import DATA_UNDEFINE.

原创 Windows10 Ubuntu20.04.2子系统下安装DorisDB

强约束：CPU必须支持avx2指令集，即intel系列CPU。1.安装WSL2，从微软官网下载：wsl_update_x64.msi2.安装Ubuntu20.04.2，从Windows Store下载安装3.启动Ubuntu20.04.2子系统，在其下安装JDK，JDK直接从Oralce官网下载tar -zxvf jdk-8u201-linux-x64.tar.gz修改文件夹名jdk-8u201-linux-x64为jdk设置环境变量：export JAVA_HOME=jdk路径..

原创 linux下各种上网代理配置总结

原创 领域命名实体NER实现：Bert+BiLSTM+CRF

以前通过模板规则的方式进行命名实体的提取，优点是提取速度非常高，但模板规则存在冲突的情况，尝试过使用百度LAC通过词性模板规则进行命名实体的提取，好处是少量规则可以覆盖大部分情况，但也存在规则冲突的情况。本文尝试采用Bert+BiLSTM+CRF的方式进行命名实体的提取。使用Bert的好处是能够学习到语料的语义特征，BiLSTM能学习到词之间较长的上下文关系，CRF能纠正BiLSTM预测的顺序错误。Bert的好处是准确率非常高，缺点也很明显，推理速度低，可以通过部署的方式来提升推理性能，如:使用ONNX..

原创 Window10支持大小写敏感

Linux系统支持大小写敏感，Window不支持怎么办？fsutil.exe file SetCaseSensitiveInfo E:\jcaptcha enable

原创 Window10 HOME版本如何使用虚拟机Hyper-V

操作系统为Window10 HOME版，BIOS无法修改的情况下，安装其他虚拟机安装不了，比如：VMWare，Docker等。由于HOME版本没有Hyper-V，需要安装。安装脚本如下：pushd "%~dp0"dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txtfor /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /nor..

原创 滑块验证码自动登录的实现

滑块验证似乎很神秘，其实也简单，核心点在于如何模拟鼠标移动的轨迹更象人移动的轨迹，你模拟得越象就越容易成功。主要步骤：1）保存背景图片code.png2）灰度code2.png、二值化code3.png、去噪code4.png背景图片3）统计计算缺口的位置4）模拟鼠标移动轨迹5）拖动模块到指定位置废话少说，直接上代码。import timeimport datetimeimport randomimport requestsimport matplotlib.p..

原创 使用TensorFlow2.0中Keras进行迁移学习识别验证码

网上有很多文章介绍过迁移学习，但TensorFlow2.0的较少，有TensorFlow2.0的，但能说清楚明白的更少。验证码的样本需要自行标记，本文使用的样本大概2000左右。训练集1500，测试集500。本次迁移学习选择的预训练模型为：Xception，是个比较优秀的CNN模型。验证码的特征是带空心字符、有大小写且粘连的验证码。环境使用的是MX350 2G的GPU（使用GPU训练很快）。主要步骤分为四步：1）将Xception预训练模型作为特征抽取器，即去掉头部的输出层（默认是1000分类）..

原创 Promitheus+Grafana实现指标监控ClickHouse

Promitheus+Grafana实现指标监控ClickHouse软件部署情况：机器IP 部署软件 192.168.242.152 ClickHouse（分片1及分片3的副本）、node_exporter、zookeeper_exporter、Docker、Promitheus、Grafana、Go 192.168.242.150 ClickHouse（分片2及分片1的副本）、node_exporter、zookeeper_exporter、Go 192.168.24

原创 Win10下安装fastai2.2.7

Win10下安装fastai2.2.7目标：在笔记本上搭建自己的GPU环境，免费的GPU环境虽然好，但经常会出现断网的情况。环境：Window10 Home 版本，GPU：NIVIDA MX350 2G，CUDA：11.0初衷：fastai对开发人员来讲，真的是太友好了，找到一个合适的模型后（Bert，ResNet等），只需要经过装载数据、对模型进行微调，即可以完成一个当前最优秀模型的迁移学习，然后应该模型进行推理了。但是在安装的时候就卡了壳，该如何是好？问题：直接pip install f

原创 linux rar 常用解压命令

各类关于rar的常用命令文章很多，但是就是没有例子。例子：解压压缩文件中指定的文件到目标路径。命令：rar x /usr/local/data.rar *log.txt /usr/local/20200729命令解析：rar x 压缩文件的绝对长路径 匹配文件目标路径...

原创 SQuirrel SQL Client 使用Phoenix JDBC驱动连Hbase 查询超时解决办法

SQuirrel SQL Client 使用Phoenix连接Hbase超时。