自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

  • 博客(33)
  • 资源 (2)
  • 收藏
  • 关注

原创 Excel小数时间转换成时分秒

Excel表格中的时间:3时28分21秒,导入到数据库后变成了0.1446875,竟然是个小数,愕然?还原过程如下:

2022-07-01 18:07:33 174

原创 如何解决ClickHouse的表处于只读状态

在使用ClickHouse的过程中,经常会遇到某个副本的表A处于readonly状态,无法更新数据。原因:说是zookeeper的压力大(建议data和log分开存储到不同的磁盘),metadata元数据丢失。此时通常有两种解决办法:1)创建一个和该表A结构相同的表A',然后将数据从A表导入到A',多个副本A'的数据会自动同步,以后使用A'表,涉及使用A表的地方都需要修改为A'表;2)DEATCH掉A表,重新创建A表,但此时数据不会自动同步,需要人工从其它副本A表导入。查询哪些副本表处于readonl

2022-06-10 16:34:40 776

原创 如何远程访问Docker容器中的图形界面,如:kettle

远程访问Docker容器中的图形界面,如:kettle

2022-06-08 17:11:33 210

原创 docker部署jupyterhub

为了避免出现如下错误:除了最基本的执行外:docker run -d -p 8000:8000 --name jupyterhub jupyterhub/jupyterhub jupyterhubdocker exec -it jupyerhu bashuseradd wxlpasswd wxl还需要在容器中做以下操作:1.需要增加wxl用户目录及其权限chmod -R 777 homecd /homemkdir wxlchown wxl:wxl wxl -R

2022-05-31 17:40:43 131

原创 在DataEase上支持服务端分页功能(下)

二、前端服务端分页刷新 前端调用分页接口时,只需要传入chart_id及page即可,pageSize不需要传递,该参数在设计页面设置好后存储在后台数据库中,并以json对象的形式存在,在后端的getPageData实现时通过解析ChartViewDTO对象中的customAtrr属性获得tablePageSize的值,resultMode则是返回ChartViewDTO对象中的resultMode,该值是设计页面设置后存入数据库中的。frontend 修改文件及代码如下:1.fr...

2022-05-20 14:13:22 47

原创 在DataEase上支持服务端分页功能(上)

国人喜欢在满足可视化展示的同时也可以查询明细数据,而大部分可视化平台都不支持大量明细的显示,即仅支持客户端分页功能,没有支持服务端分页的功能,为满足这个大量明细显示的需求,本人研究了国人最喜欢的可视化开源软件Dataease的源代码,实现了服务端分页的功能,分享给大家。

2022-05-20 12:20:26 112

原创 win10搭建dataease开发环境

dataease开发环境搭建踩坑指引

2022-04-28 16:17:11 2971

原创 快捷部署Superset

快捷部署Superset

2022-04-19 09:50:43 1157

原创 ubuntu20.4子系统下安装xmlsec

ubuntu20.4下如何安装xmlsec

2022-01-12 20:43:33 390

原创 基于Rasa框架搭建中文机器人对话系统

基于Rasa框架搭建机器人对话系统,可以使用于工业各类语音智能服务场景,如:远程医疗问诊、智能客户服务、保险产品销售、金融催收服务、手机智能助手等领域。

2022-01-05 14:10:47 1232

原创 mysql-binlog-client数据同步docker镜像构建

mysql-binlog-client基于mysql-replication模拟slave,监听binlog的变化,包括增加、修改、删除 。创建binlog流对象,根据监听事件获取变化的数据,进行数据同步。

2021-12-30 15:35:11 293

原创 因果推理-学习笔记

因果推理,数据分析的高级层次。

2021-12-10 11:26:13 1727 1

原创 AI实时质检-基于语义分类模型的实现

基于深度语义模型,实现AI实时质检。

2021-12-08 09:23:33 457

原创 超几何分布应用-质检抽样

将超几何分布应用于质检抽样场景

2021-11-19 13:44:44 744

原创 文本数据增强-同义词替换、随机交换、随机插入、随机删除

2021 CCF BDCI 千言-问题匹配鲁棒性评测比赛数据增强

2021-11-18 16:20:43 621 2

翻译 基于huggingface transformers快速部署tensorflow serving

1.保存模型from transformers import TFBertForSequenceClassificationmodel = TFBertForSequenceClassification.from_pretrained("nateraw/bert-base-uncased-imdb", from_pt=True)# the saved_model parameter is a flag to create a SavedModel version of the model in

2021-11-11 15:51:06 361

原创 文本数据增强-回译尝试

方法一:使用百度翻译apiimport requestsimport randomimport jsonfrom hashlib import md5def cntoen(query): # Set your own appid/appkey. appid = 'x' appkey = 'x' # For list of language codes, please refer to `https://api.fanyi.baidu.com/doc/21..

2021-11-10 09:50:53 428

原创 Win11+WSL2+Ubuntu-20.04+GPU+TensorFlow+Jupyter

目标:在Win10/11的WSL2子系统Ubuntu-20.04环境下使用GPU进行机器学习及cuda开发。1)前提:升级到Win10 20150版本或Win11版本。(否则即使安装了cuda及cudnn,也是各种错误导致nvida-smi无法使用,各种百度也抓狂。)2)在Win10/Win11环境中安装Docker-Desktop3) 在Ubuntu-20.04环境下安装Docker4) 在Ubuntu-20.04下使用Docker运行gpu-tensorflow-py...

2021-11-02 21:47:46 1483 3

转载 ROS2 Windows10 跑跑小乌龟

一、使用coco原生安装ROS21.以管理员身份启动Windows PowerShell,执行以下命令:Set-ExecutionPolicy Bypass -Scope Process -Force; [System.Net.ServicePointManager]::SecurityProtocol = [System.Net.ServicePointManager]::SecurityProtocol -bor 3072; iex ((New-Object System.Net.WebCli

2021-10-13 15:01:22 61

原创 文本分类(ALBert+BiLSTM)

基于ALBert及BiLSTM进行中文文本分类的通用过程。1.语料准备(基于csv文件),语料类import osfrom typing import Listfrom typing import Tupleimport numpy as npimport pandas as pdfrom tensorflow.keras.utils import get_filefrom kashgari import macros as Kfrom kashgari import uti..

2021-09-29 11:52:29 636 4

转载 Window10下Ubuntu20.04子系统下安装cuda

目标:cuda编程更方便。$ wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pin$ sudo mv cuda-wsl-ubuntu.pin /etc/apt/preferences.d/cuda-repository-pin-600$ wget https://developer.download.nvidia.com/compute/cuda/11.4.

2021-09-17 18:09:34 202

原创 实现一个label_studio的领域命名实体的backend

import osimport pinyinfrom kashgari.tasks.labeling import BiLSTM_CRF_Modelfrom kashgari.embeddings import BertEmbedding,TransformerEmbeddingfrom label_studio_ml.model import LabelStudioMLBasefrom label_studio.core.settings.base import DATA_UNDEFINE.

2021-08-30 15:20:20 272 2

原创 Windows10 Ubuntu20.04.2子系统下安装DorisDB

强约束:CPU必须支持avx2指令集,即intel系列CPU。1.安装WSL2,从微软官网下载:wsl_update_x64.msi2.安装Ubuntu20.04.2,从Windows Store下载安装3.启动Ubuntu20.04.2子系统,在其下安装JDK,JDK直接从Oralce官网下载tar -zxvf jdk-8u201-linux-x64.tar.gz修改文件夹名jdk-8u201-linux-x64为jdk设置环境变量:export JAVA_HOME=jdk路径..

2021-08-17 16:42:12 239 1

原创 linux下各种上网代理配置总结

2021-08-10 10:48:31 41

原创 领域命名实体NER实现:Bert+BiLSTM+CRF

以前通过模板规则的方式进行命名实体的提取,优点是提取速度非常高,但模板规则存在冲突的情况,尝试过使用百度LAC通过词性模板规则进行命名实体的提取,好处是少量规则可以覆盖大部分情况,但也存在规则冲突的情况。本文尝试采用Bert+BiLSTM+CRF的方式进行命名实体的提取。使用Bert的好处是能够学习到语料的语义特征,BiLSTM能学习到词之间较长的上下文关系,CRF能纠正BiLSTM预测的顺序错误。Bert的好处是准确率非常高,缺点也很明显,推理速度低,可以通过部署的方式来提升推理性能,如:使用ONNX..

2021-05-08 10:00:10 1166 6

原创 Window10支持大小写敏感

Linux系统支持大小写敏感,Window不支持怎么办?fsutil.exe file SetCaseSensitiveInfo E:\jcaptcha enable

2021-04-16 13:19:54 289

原创 Window10 HOME版本如何使用虚拟机Hyper-V

操作系统为Window10 HOME版,BIOS无法修改的情况下,安装其他虚拟机安装不了,比如:VMWare,Docker等。由于HOME版本没有Hyper-V,需要安装。安装脚本如下:pushd "%~dp0"dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txtfor /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /nor..

2021-04-16 13:09:33 161

原创 滑块验证码自动登录的实现

滑块验证似乎很神秘,其实也简单,核心点在于如何模拟鼠标移动的轨迹更象人移动的轨迹,你模拟得越象就越容易成功。主要步骤:1)保存背景图片code.png2)灰度code2.png、二值化code3.png、去噪code4.png背景图片3)统计计算缺口的位置4)模拟鼠标移动轨迹5)拖动模块到指定位置废话少说,直接上代码。import timeimport datetimeimport randomimport requestsimport matplotlib.p..

2021-04-16 10:09:02 1126 3

原创 使用TensorFlow2.0中Keras进行迁移学习识别验证码

网上有很多文章介绍过迁移学习,但TensorFlow2.0的较少,有TensorFlow2.0的,但能说清楚明白的更少。验证码的样本需要自行标记,本文使用的样本大概2000左右。训练集1500,测试集500。本次迁移学习选择的预训练模型为:Xception,是个比较优秀的CNN模型。验证码的特征是带空心字符、有大小写且粘连的验证码。环境使用的是MX350 2G的GPU(使用GPU训练很快)。主要步骤分为四步:1)将Xception预训练模型作为特征抽取器,即去掉头部的输出层(默认是1000分类)..

2021-04-15 16:37:18 317 1

原创 Promitheus+Grafana实现指标监控ClickHouse

Promitheus+Grafana实现指标监控ClickHouse软件部署情况:机器IP 部署软件 192.168.242.152 ClickHouse(分片1及分片3的副本)、node_exporter、zookeeper_exporter、Docker、Promitheus、Grafana、Go 192.168.242.150 ClickHouse(分片2及分片1的副本)、node_exporter、zookeeper_exporter、Go 192.168.24

2021-04-14 14:10:41 348

原创 Win10下安装fastai2.2.7

Win10下安装fastai2.2.7目标:在笔记本上搭建自己的GPU环境,免费的GPU环境虽然好,但经常会出现断网的情况。环境:Window10 Home 版本,GPU:NIVIDA MX350 2G,CUDA:11.0初衷:fastai对开发人员来讲,真的是太友好了,找到一个合适的模型后(Bert,ResNet等),只需要经过装载数据、对模型进行微调,即可以完成一个当前最优秀模型的迁移学习,然后应该模型进行推理了。但是在安装的时候就卡了壳,该如何是好?问题:直接pip install f

2021-03-05 14:28:11 588 1

原创 linux rar 常用解压命令

各类关于rar的常用命令文章很多,但是就是没有例子。例子:解压压缩文件中指定的文件到目标路径。命令:rar x /usr/local/data.rar *log.txt /usr/local/20200729命令解析:rar x 压缩文件的绝对长路径 匹配文件目标路径...

2020-07-29 11:50:39 495

原创 SQuirrel SQL Client 使用Phoenix JDBC驱动连Hbase 查询超时解决办法

SQuirrel SQL Client 使用Phoenix连接Hbase超时。

2019-03-14 17:43:40 1267 1

winsock全双工多客户端通信

1)全双工通信 2)一个服务器端可以与多个客户端通信 3)客户端的数量可以配置 4)可同时启动多个服务器端,新启动的服务器端不与原来已启动的服务器端(以及该服务器对应的客户端)相互冲突 5)适用于多进程通信

2006-09-21

大量数据显示处理控件

控件功能:具有datagrid的编辑功能和msflexgrid的显示功能,主要用于大量数据显示和编辑(包括添加,删除,修改功能) 代码编写:王新良 编写时间:2002-12-5 修改时间:2002-12-18

2006-03-16

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除