自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 【统计学习方法】EM算法实现之隐马尔科夫模型HMM

1 基本概念 1.1 马尔科夫链(维基百科) 马尔可夫链(英语:Markov chain),又称离散时间马尔可夫链(discrete-time Markov chain,缩写为DTMC),因俄国数学家安德烈·马尔可夫得名,为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“...

2020-04-22 19:22:03 220 0

原创 Python3 操作数据库

1 安装插件 安装MySQL-python出错: Collecting MySQL-python Using cached https://files.pythonhosted.org/packages/a5/e9/51b544da85a36a68debe7a7091f068d802fc...

2020-04-01 20:42:12 54 0

原创 【统计学习方法】高斯分布公式推导

1 基本概念准备 1.1 扇形计算公式 1.2 二重积分用极坐标表示 (略去高阶无穷小) 所以 2 高斯分布公式 2.1 高斯概率密度函数的的积分 令 则 用极坐标表示: 则: 所以: 2.2 高斯分布的期望 令 则: 这里...

2020-03-07 19:19:37 194 0

原创 【golang源码分析】chan底层原理——附带读写用户队列的环形缓冲区

1 环形缓冲区 1.1 环形缓冲区结构 环形缓冲区通常有一个读指针和一个写指针。读指针指向环形缓冲区中可读的数据,写指针指向环形缓冲区中可写的缓冲区。通过移动读指针和写指针就可以实现缓冲区的数据读取和写入。在通常情况下,环形缓冲区的读用户仅仅会影响读指针,而写用户仅仅会影响写指针。如果仅...

2020-02-25 20:07:01 201 0

原创 【bilibili kratos】构建环境

1 拉取源码 1.1fork自己的分支(方便修改) 1.2 构建脚手架工具 Linux/Mac GOMOD=on && go get -u github.com/zzpu/kratos/tool/kratos Windows set GOMOD=on &&a...

2020-02-21 16:00:34 196 0

原创 【gorm】update传入struct对象,零值字段不更新问题

使用gorm的update接口,出现如果字段为零值,则不会生成字段的更新语句 // Update update attributes with callbacks, refer: https://jinzhu.github.io/gorm/crud.html#update // WARNING...

2020-01-17 14:21:34 1209 0

原创 【spring boot】自idea 动编译

1 在pom.xml 中 配置 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-devtools</artif...

2019-12-29 15:10:28 42 0

原创 【统计学习方法】多维高斯分布

1 基本概念 1.2 方差与协方差 协方差就是衡量两个变量相关性的变量。当协方差为正时,两个变量呈正相关关系(同增同减);当协方差为负时,两个变量呈负相关关系(一增一减)。 而协方差矩阵,只是将所有变量的协方差关系用矩阵的形式表现出来而已。通过矩阵这一工具,可以更方便地进行数学运算。 方差:...

2019-12-25 15:13:24 64 0

原创 【TIDB】单机部署

1 打开文件限制 tidbuser="tidb" cat << EOF > /tmp/tidb.conf $tidbuser soft nofile 1000000 $tidbuser hard ...

2019-11-15 16:39:42 73 0

转载 Golang GC导致的文件描述符不可用

现象 1. 压力测试时,使用syscall.Accept得到 bad file descriptor,server直接无法响应。 原因 1.syscall.Accept使用的fd来源是在自己代码初试化的时候通过TCPListener.FIle().Fd()直接拿到,且在自己的代码中通过int...

2019-11-09 11:47:55 74 0

原创 【golang源码分析】程序初始化(Centos 7)

1 调试和源码分析 不同的平台,会执行不同的初始化代码,然后跳到golang的main函数。本次验证过程是基于CentOS 7平台。 测试代码如下: package main func main() { println("hello, wenTao!") } ...

2019-11-07 23:37:39 51 0

转载 【TIDB】拜占庭将军问题和Raft算法

1 拜占庭将军问题(from 百度百科) 拜占庭将军问题是一个协议问题,拜占庭帝国军队的将军们必须全体一致的决定(数据的一致性)是否攻击某一支敌军。问题是这些将军在地理上是分隔开来的(分布式),并且将军中存在叛徒。叛徒可以任意行动以达到以下目标:欺骗某些将军采取进攻行动;促成一个不是所有将军都同...

2019-11-04 10:08:03 99 0

原创 ES查询总结

1 按时间聚合 { "size": 0, "aggs": { "groupDate": { "date_histogram": { "field": ...

2019-10-31 23:34:38 67 0

转载 css3之未读消息小红点

<!DOCTYPE html> <html lang="zh-CN"> <head> <meta http-equiv="Content-Type" content="text/html; char...

2019-10-30 19:43:22 172 0

原创 【golang源码分析】内存管理和gc原理

1 Linux系统内存管理 1.1 进程地址空间 一个linux进程的虚拟地址空间分布如图所示,分为内核空间和进程空间,对于一个32位操作系统来说,4GB的空间分成两部分,低地址的0~3G给用户空间,高地址的3G~4G给内核空间。 图源:http://www.dongcoder.com/de...

2019-10-29 17:04:46 470 0

原创 【矩阵论】基本概念

1 矩阵相关概念 1.1向量的內积(点乘) 向量的点乘,也叫向量的内积、数量积,对两个向量执行点乘运算,就是对这两个向量对应位一一相乘之后求和的操作,点乘的结果是一个标量。 对于向量: 定义內积: 1.2向量的外积(叉乘) 两个向量的叉乘,又叫向量积、外积、叉积,叉乘的运算结果是一个向...

2019-10-28 18:17:15 111 0

原创 【golang源码分析】并发模型MPG

1 MPG并发模型 1.1 MPG 概念 M代表着一个内核线程 一个M就是一个内核线程,goroutine就是跑在M之上的 P代表着(Processor)处理器 它的主要用途就是用来执行goroutine的,所以它也维护了一个可运行的goroutine队列,和自由的goroutine队列,里...

2019-10-26 14:40:02 107 0

原创 【golang源码分析】编译和调试源码

1 获取源码和编译 1.1 获取源码 git clone https://github.com/golang/go.git 1.2 编译 禁止优化 export GO_GCFLAGS="-N -l" 编译 sh all.bash 2 调试源码 2.1 准...

2019-10-25 12:54:32 76 0

原创 【K8S】单机部署

1 安装etcd kubernetes 先卸载原来的docker-ce社区版 yum autoremove docker-ce 安装etcd kubernetes(会附带安装docker) yum install -y etcd kubernetes 修改配置文件/etc/sysc...

2019-10-20 19:39:02 44 0

原创 【统计学习方法】EM算法实现之GMM高斯混合模型

1 基本概念准备 1.1协方差 反应两个变量之间线性相关的强度,记为Cov(f(x),g(x))= E[(f(x)-E[f(x)])(g(x)-E(g(x)))] 关于协方差的特性: 若协方差绝对值很大, 则变量值得变化很大, 且相距各自均值很远 若协方差为正, 则两变量x,y都倾向于取较...

2019-10-12 01:04:02 71 0

原创 【统计学习方法】EM算法原理

1 基本概念准备 1.1 最大似然估计(MLE) 最大似然估计是统计学中的概念,维基百科中给出的定义是:最大似然估计(英语:maximum likelihood estimation,缩写为MLE),也称最大概似估计,是用来估计一个概率模型的参数的一种方法。具体来讲,就是利用已知的样本的结果,...

2019-10-05 19:49:10 117 0

原创 【统计学习方法】支持向量机(SVM)

1 基本概念 1.1 支持向量 如下图所示,实心点和空心点分别代表数据的两种类别,他们被黄色区域中间的直线分隔成两部分。被蓝色和红色圆圈圈出的点即为支持向量。所谓支持向量,就是指距离分隔超平面最近的点。 1.2 超平面外一点x到超平面的距离 1.3 函数间隔和几何间隔 函数间隔:...

2019-09-28 23:58:35 48 0

原创 【统计学习方法】不等式约束,拉格朗日对偶函数,KKT条件

1 基本概念 1.1 不等式约束 1.2 广义拉格朗日函数 定义如下拉个朗日函数: 令 如果x满足1.1中的约束条件,则 则原不等式约束优化问题等价于: ,两个取得的值是完全一样的,称为原始问题。 1.3 拉格朗日对偶函数 令,是原始问题(变量是x)的一个下界,称...

2019-09-25 09:48:27 314 0

原创 【gogs】Error parsing reference: "golang:alpine AS binarybuilder" is not a valid repository/tag: inval

1 构建gogs镜像出错 Error parsing reference: "golang:alpine AS binarybuilder" is not a valid repository/tag: inval 查了下需要更新docker,先删除原先的docker ...

2019-09-22 17:26:53 709 0

原创 【统计学习方法】拉格朗日乘子法

1 方向导数和梯度 1.1 方向导数定义 函数在点沿方向的方向导数: 根据拉格朗日中值定理(证明) 1.2 梯度 可以看成是两个向量的內积(点积),令 则: ,则可以得出以下结论: 当时,方向相同,函数变化率最大,且在点处呈上升趋势 当时,方向相反,函数变化率...

2019-09-11 19:57:04 94 0

原创 CentOS 7 安装opencv-python及导入共享库错误

安装 conda install -c menpo opencv 导入时出现错误: ImportError: libSM.so.6: cannot open shared object file: No such file or directory ImportError: libXre...

2019-09-09 15:24:54 116 0

原创 【统计学习方法】感知机

1 基本概念 1.1 向量点乘 向量的点乘,也叫向量的内积、数量积,对两个向量执行点乘运算,就是对这两个向量对应位一一相乘之后求和的操作,点乘的结果是一个标量。 向量 向量 则a,b点乘 点乘的几何意义是可以用来表征或计算两个向量之间的夹角,以及在b向量在a向量方向上的投影 1....

2019-09-06 02:35:31 68 0

原创 ValueError: could not convert string to float: '\ufeff6'错误解决(UTF-8和UTF-8-sig的区别)

1 解决方案 载入csv文件,代码如下 def loadCsv(filename): lines = csv.reader(open(filename, "rt", encoding="UTF-8")) dataset = list(l...

2019-09-02 17:34:16 2873 0

原创 【统计学习方法】朴素贝叶斯算法

1 基本概念 1.1先验概率(prior probability) 是指根据以往经验和分析得到的概率,如全概率公式,它往往作为"由因求果"问题中的"因"出现的概率。 1.2 条件概率 条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。条件概...

2019-08-29 17:51:08 71 0

原创 【凸优化】仿射,仿射集,凸集,Jensen不等式

1 定义和基本概念 1.0直线的空间参数方程 A,B,M三点共线: 直线的参数方程:给定一个定点A和向量,则 ,取,则 1.1 直线和线段 如果,则经过两点的直线可表示为: 或: 如果,则表示为线段。 1.2 仿射 如果通过集合的两个不同的点的直线,仍在C中,则称C是...

2019-08-23 23:42:08 165 0

原创 使用cpu的时钟周期作为随机数发生器的种子和遇到的坑

Go语言runtime中的每个线程也有自己的一个随机数发生器,当然也是伪的,这个伪随机数发生器的种子设置采用了另外一种方法——使用了cpu的时钟周期计数器。 go语言的实现采用了一段汇编代码读取cpu的cycle信息,如下: TEXT runtime·cputicks(SB),7,$0 R...

2019-08-17 11:42:38 228 0

原创 tc命令模拟访问特定地址延迟,丢包

1 删除原规则队列 tc qdisc del dev eth0 root 2#添加tc规则队列 tc qdisc add dev eth1 root handle 10: htb 3生成根类 tc class add dev eth0 parent 1: classid 1:1 ...

2019-08-10 16:23:50 420 0

原创 CentOS 7中编译安装Warp-ctc及启用更高版本GCC(4.9.2)

识别验证码用到warp-ctc,原版百度的不支持pytorch,找到https://github.com/SeanNaren/warp-ctc,按说明,需要gcc-4.9,接着又其他报错,下面是解决过程: 1 CentOS 7中默认gcc版本为4.8.5,编译warp-ctc提示需要4.9版本的...

2019-08-06 12:05:35 222 0

原创 导数,差商,牛顿插值法

1 差商的定义 设有函数f(x)以及自变量的一系列互不相等的的值f(xi),称 为f(x)在点处的一阶差商,并记作。又称 为f(x)在点处的二阶差商;称: 为f(x)在点处的n阶差商。 2 牛顿插值法的推导 有了差商的定义,就很容易推出牛顿插值的公式。 根据均差定义 ...

2019-07-20 02:29:18 493 1

原创 k8s部署nginx实例、iptables开放端口

1 运行nginx实例 kubectl run nginx --image=nginx --replicas=2 --port=80 2 查看pod [root@localhost ~]# kubectl get pods NAME READY ...

2019-07-16 11:48:26 723 0

原创 go-sql-driver: invalid connection 和 [mysql] 2019/xx/xx 12:xx:55 packets.go:36: unexpected EOF

在使用go-sql-driver/msqyl驱动过程中,发现偶尔出现invalid connection错误,字面上看就是无效连接的意思。开始以为是数据库压力问题或是网络不好,后来发现服务器和数据库是走内网的,网络出现问题几率非常小;只是在测试服务器上跑,没多少连接,不存在压力问题。最后只能分析代...

2019-06-08 16:14:34 1307 1

原创 关于 HTTP 307 状态码(307 Temporary Redirect)

1 各种状态码的含义 2 状态码30X规范动作 301永久重定向 302临时重定向,HTTP1.0的状态码,HTTP1.1也有保留。 如果client向server发送post请求。 server返回URL和302。 如果用户确认,client发送post请求。(但实际情况是,很多浏览器...

2019-05-30 11:03:36 12303 0

原创 go mod依赖包管理

之前一直使用第三方依赖包管理工具govendor,go1.11之后官方出了go mod,使用非常简单,可以完全抛弃GOPATH和vendor。 1GO111MODULE=auto 在原来的项目上测试 [root@VM_0_14_centos xxx]# go mod init xxx go...

2019-05-25 12:25:54 5076 0

原创 postgresql,redis,nginx等安装

1 postgresql 安装10版本源 yum install https://download.postgresql.org/pub/repos/yum/10/redhat/rhel-7.4-x86_64/pgdg-centos10-10-2.noarch.rpm 安装postgres...

2019-04-29 18:16:50 103 0

原创 【查找算法go】查找单链表倒数第m个元素

查找单链表倒数第m个元素,只需要两个标记指针间隔m个单位 package search import "fmt" type ListItem struct{ Value int NextItem *ListItem } func Revertm(items *Li...

2019-04-03 11:22:35 217 0

提示
确定要删除当前文章?
取消 删除