- 博客(33)
- 资源 (2)
- 收藏
- 关注
原创 Excel小数时间转换成时分秒
Excel表格中的时间:3时28分21秒,导入到数据库后变成了0.1446875,竟然是个小数,愕然?还原过程如下:
2022-07-01 18:07:33
174
原创 如何解决ClickHouse的表处于只读状态
在使用ClickHouse的过程中,经常会遇到某个副本的表A处于readonly状态,无法更新数据。原因:说是zookeeper的压力大(建议data和log分开存储到不同的磁盘),metadata元数据丢失。此时通常有两种解决办法:1)创建一个和该表A结构相同的表A',然后将数据从A表导入到A',多个副本A'的数据会自动同步,以后使用A'表,涉及使用A表的地方都需要修改为A'表;2)DEATCH掉A表,重新创建A表,但此时数据不会自动同步,需要人工从其它副本A表导入。查询哪些副本表处于readonl
2022-06-10 16:34:40
776
原创 docker部署jupyterhub
为了避免出现如下错误:除了最基本的执行外:docker run -d -p 8000:8000 --name jupyterhub jupyterhub/jupyterhub jupyterhubdocker exec -it jupyerhu bashuseradd wxlpasswd wxl还需要在容器中做以下操作:1.需要增加wxl用户目录及其权限chmod -R 777 homecd /homemkdir wxlchown wxl:wxl wxl -R
2022-05-31 17:40:43
131
原创 在DataEase上支持服务端分页功能(下)
二、前端服务端分页刷新 前端调用分页接口时,只需要传入chart_id及page即可,pageSize不需要传递,该参数在设计页面设置好后存储在后台数据库中,并以json对象的形式存在,在后端的getPageData实现时通过解析ChartViewDTO对象中的customAtrr属性获得tablePageSize的值,resultMode则是返回ChartViewDTO对象中的resultMode,该值是设计页面设置后存入数据库中的。frontend 修改文件及代码如下:1.fr...
2022-05-20 14:13:22
47
原创 在DataEase上支持服务端分页功能(上)
国人喜欢在满足可视化展示的同时也可以查询明细数据,而大部分可视化平台都不支持大量明细的显示,即仅支持客户端分页功能,没有支持服务端分页的功能,为满足这个大量明细显示的需求,本人研究了国人最喜欢的可视化开源软件Dataease的源代码,实现了服务端分页的功能,分享给大家。
2022-05-20 12:20:26
112
原创 基于Rasa框架搭建中文机器人对话系统
基于Rasa框架搭建机器人对话系统,可以使用于工业各类语音智能服务场景,如:远程医疗问诊、智能客户服务、保险产品销售、金融催收服务、手机智能助手等领域。
2022-01-05 14:10:47
1232
原创 mysql-binlog-client数据同步docker镜像构建
mysql-binlog-client基于mysql-replication模拟slave,监听binlog的变化,包括增加、修改、删除 。创建binlog流对象,根据监听事件获取变化的数据,进行数据同步。
2021-12-30 15:35:11
293
翻译 基于huggingface transformers快速部署tensorflow serving
1.保存模型from transformers import TFBertForSequenceClassificationmodel = TFBertForSequenceClassification.from_pretrained("nateraw/bert-base-uncased-imdb", from_pt=True)# the saved_model parameter is a flag to create a SavedModel version of the model in
2021-11-11 15:51:06
361
原创 文本数据增强-回译尝试
方法一:使用百度翻译apiimport requestsimport randomimport jsonfrom hashlib import md5def cntoen(query): # Set your own appid/appkey. appid = 'x' appkey = 'x' # For list of language codes, please refer to `https://api.fanyi.baidu.com/doc/21..
2021-11-10 09:50:53
428
原创 Win11+WSL2+Ubuntu-20.04+GPU+TensorFlow+Jupyter
目标:在Win10/11的WSL2子系统Ubuntu-20.04环境下使用GPU进行机器学习及cuda开发。1)前提:升级到Win10 20150版本或Win11版本。(否则即使安装了cuda及cudnn,也是各种错误导致nvida-smi无法使用,各种百度也抓狂。)2)在Win10/Win11环境中安装Docker-Desktop3) 在Ubuntu-20.04环境下安装Docker4) 在Ubuntu-20.04下使用Docker运行gpu-tensorflow-py...
2021-11-02 21:47:46
1483
3
转载 ROS2 Windows10 跑跑小乌龟
一、使用coco原生安装ROS21.以管理员身份启动Windows PowerShell,执行以下命令:Set-ExecutionPolicy Bypass -Scope Process -Force; [System.Net.ServicePointManager]::SecurityProtocol = [System.Net.ServicePointManager]::SecurityProtocol -bor 3072; iex ((New-Object System.Net.WebCli
2021-10-13 15:01:22
61
原创 文本分类(ALBert+BiLSTM)
基于ALBert及BiLSTM进行中文文本分类的通用过程。1.语料准备(基于csv文件),语料类import osfrom typing import Listfrom typing import Tupleimport numpy as npimport pandas as pdfrom tensorflow.keras.utils import get_filefrom kashgari import macros as Kfrom kashgari import uti..
2021-09-29 11:52:29
636
4
转载 Window10下Ubuntu20.04子系统下安装cuda
目标:cuda编程更方便。$ wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pin$ sudo mv cuda-wsl-ubuntu.pin /etc/apt/preferences.d/cuda-repository-pin-600$ wget https://developer.download.nvidia.com/compute/cuda/11.4.
2021-09-17 18:09:34
202
原创 实现一个label_studio的领域命名实体的backend
import osimport pinyinfrom kashgari.tasks.labeling import BiLSTM_CRF_Modelfrom kashgari.embeddings import BertEmbedding,TransformerEmbeddingfrom label_studio_ml.model import LabelStudioMLBasefrom label_studio.core.settings.base import DATA_UNDEFINE.
2021-08-30 15:20:20
272
2
原创 Windows10 Ubuntu20.04.2子系统下安装DorisDB
强约束:CPU必须支持avx2指令集,即intel系列CPU。1.安装WSL2,从微软官网下载:wsl_update_x64.msi2.安装Ubuntu20.04.2,从Windows Store下载安装3.启动Ubuntu20.04.2子系统,在其下安装JDK,JDK直接从Oralce官网下载tar -zxvf jdk-8u201-linux-x64.tar.gz修改文件夹名jdk-8u201-linux-x64为jdk设置环境变量:export JAVA_HOME=jdk路径..
2021-08-17 16:42:12
239
1
原创 领域命名实体NER实现:Bert+BiLSTM+CRF
以前通过模板规则的方式进行命名实体的提取,优点是提取速度非常高,但模板规则存在冲突的情况,尝试过使用百度LAC通过词性模板规则进行命名实体的提取,好处是少量规则可以覆盖大部分情况,但也存在规则冲突的情况。本文尝试采用Bert+BiLSTM+CRF的方式进行命名实体的提取。使用Bert的好处是能够学习到语料的语义特征,BiLSTM能学习到词之间较长的上下文关系,CRF能纠正BiLSTM预测的顺序错误。Bert的好处是准确率非常高,缺点也很明显,推理速度低,可以通过部署的方式来提升推理性能,如:使用ONNX..
2021-05-08 10:00:10
1166
6
原创 Window10支持大小写敏感
Linux系统支持大小写敏感,Window不支持怎么办?fsutil.exe file SetCaseSensitiveInfo E:\jcaptcha enable
2021-04-16 13:19:54
289
原创 Window10 HOME版本如何使用虚拟机Hyper-V
操作系统为Window10 HOME版,BIOS无法修改的情况下,安装其他虚拟机安装不了,比如:VMWare,Docker等。由于HOME版本没有Hyper-V,需要安装。安装脚本如下:pushd "%~dp0"dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txtfor /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /nor..
2021-04-16 13:09:33
161
原创 滑块验证码自动登录的实现
滑块验证似乎很神秘,其实也简单,核心点在于如何模拟鼠标移动的轨迹更象人移动的轨迹,你模拟得越象就越容易成功。主要步骤:1)保存背景图片code.png2)灰度code2.png、二值化code3.png、去噪code4.png背景图片3)统计计算缺口的位置4)模拟鼠标移动轨迹5)拖动模块到指定位置废话少说,直接上代码。import timeimport datetimeimport randomimport requestsimport matplotlib.p..
2021-04-16 10:09:02
1126
3
原创 使用TensorFlow2.0中Keras进行迁移学习识别验证码
网上有很多文章介绍过迁移学习,但TensorFlow2.0的较少,有TensorFlow2.0的,但能说清楚明白的更少。验证码的样本需要自行标记,本文使用的样本大概2000左右。训练集1500,测试集500。本次迁移学习选择的预训练模型为:Xception,是个比较优秀的CNN模型。验证码的特征是带空心字符、有大小写且粘连的验证码。环境使用的是MX350 2G的GPU(使用GPU训练很快)。主要步骤分为四步:1)将Xception预训练模型作为特征抽取器,即去掉头部的输出层(默认是1000分类)..
2021-04-15 16:37:18
317
1
原创 Promitheus+Grafana实现指标监控ClickHouse
Promitheus+Grafana实现指标监控ClickHouse软件部署情况:机器IP 部署软件 192.168.242.152 ClickHouse(分片1及分片3的副本)、node_exporter、zookeeper_exporter、Docker、Promitheus、Grafana、Go 192.168.242.150 ClickHouse(分片2及分片1的副本)、node_exporter、zookeeper_exporter、Go 192.168.24
2021-04-14 14:10:41
348
原创 Win10下安装fastai2.2.7
Win10下安装fastai2.2.7目标:在笔记本上搭建自己的GPU环境,免费的GPU环境虽然好,但经常会出现断网的情况。环境:Window10 Home 版本,GPU:NIVIDA MX350 2G,CUDA:11.0初衷:fastai对开发人员来讲,真的是太友好了,找到一个合适的模型后(Bert,ResNet等),只需要经过装载数据、对模型进行微调,即可以完成一个当前最优秀模型的迁移学习,然后应该模型进行推理了。但是在安装的时候就卡了壳,该如何是好?问题:直接pip install f
2021-03-05 14:28:11
588
1
原创 linux rar 常用解压命令
各类关于rar的常用命令文章很多,但是就是没有例子。例子:解压压缩文件中指定的文件到目标路径。命令:rar x /usr/local/data.rar *log.txt /usr/local/20200729命令解析:rar x 压缩文件的绝对长路径 匹配文件目标路径...
2020-07-29 11:50:39
495
原创 SQuirrel SQL Client 使用Phoenix JDBC驱动连Hbase 查询超时解决办法
SQuirrel SQL Client 使用Phoenix连接Hbase超时。
2019-03-14 17:43:40
1267
1
winsock全双工多客户端通信
2006-09-21
大量数据显示处理控件
2006-03-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人