自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 context: goroutine 上下文

文章目录Context 接口context 包中包含如下几种衍生的子 Context使用 context.WithCancel 控制子 groutine 结束通过 context.WithValue 来传值超时取消 context.WithTimeout截止时间 context.WithTimeo...

2020-06-11 23:43:56 51 0

原创 go test 单元测试

文章目录go test [flag] flag 有:打印/报告T 类型 普通测试用例B 类型 压力测试测试控制台输出的例子补充覆盖率使用Short标记可跳过的测试用例 go test [flag] flag 有: go help testflag 查看有那些 flag: -args: 测试函数接...

2020-06-09 00:42:38 33 0

原创 线性回归

线性回归就是对输入特征加权求和,再加上一个偏置项(也称为截距项)的常数,得到的结果就是预测值。公式如下: y^=θ0+θ1x1+θ2x2+...+θnxn \hat{y} = \theta_0 + \theta_1x_1 + \theta_2x_2 + ... + \theta_nx_n y^​=...

2020-05-21 02:44:03 38 0

原创 线程模型 与 gorountine 的关系

文章目录用户级线程模型内核级线程模型两级线程模型Goroutinegoroutine 的调度 线程的实现模型主要有3种:内核级线程模型、用户级线程模型 和 两级线程模型(也称混合型线程模型),它们之间最大的差异就在于用户线程与内核调度实体(KSE,Kernel Scheduling Entity)...

2020-05-05 19:57:52 108 0

原创 aiomysql + sqlalchemy(ORM) 配合使用

官方文档:https://aiomysql.readthedocs.io/en/latest/sa.html (过时) 其他教程:https://gzm1997.github.io/2018/05/26/%E4%BD%BF%E7%94%A8%E5%BC%82%E6%AD%A5ORM-aiomysq...

2020-03-28 21:51:09 380 0

原创 树莓派 3B+ 安装 OpenWrt 作为中继路由器.md

家里有一个闲置的树莓派,已经吃灰很久了,家里的电信路由器wifi时而连不上… 所以打算使用树莓派作为中继路由器来使用. 1. 下载 OpenWrt 镜像,并制作镜像盘 镜像下载地址: https://downloads.openwrt.org/snapshots/targets/brcm2708/...

2020-02-11 14:30:06 1099 0

原创 go base64 编码.md

文章目录两个默认的编/解码器:异常类 CorruptInputError编解码类 Encoding函数 NewEncoding方法 DecodedLen 返回n字节解码后字符串最大长度方法 Decode 解码到一个 []byte方法 DecodeString 数据为 string 类型,解码返...

2020-01-17 19:10:47 87 0

原创 go文件操作

https://studygolang.com/static/pkgdoc/pkg/os.htm#File 文章目录文件对象 os.File函数 Create函数 Open函数 OpenFile函数 NewFile函数Pipe方法 Name方法 Stat 获取 文件信息方法 Fd 返回文件...

2020-01-15 17:40:54 44 0

转载 go 错误与异常及处理

https://www.jianshu.com/p/f30da01eea97 文章目录错误与异常错误处理正确姿势1 失败的原因只有一个时,不使用error2 没有失败时,不使用error3 error应放在返回值类型列表的最后4 错误值统一定义5 错误逐层传递时,层层都加日志6 错误处理使用...

2020-01-15 15:26:43 86 0

原创 go 正则表达式

文章目录将 正则表达式字符串 转义为普通字符串:检测字符串中是否含有匹配在 pattern 的子序列正则表达式对象 Regexp函数 Complie函数 CompliePOSIX函数 MustCompile函数 MustCompliePOSIX方法 String方法 LiteralPrefix方法...

2020-01-15 10:37:13 191 0

原创 happyhbase: python 调用 hbase 接口包.md

happyhbase 文档地址 注意: 创建 连接时注意兼容,通过参数 compat 设置兼容级别(默认 0.98, thrift 的版本),具体看这里https://happybase.readthedocs.io/en/latest/api.html#connection import hap...

2020-01-08 13:44:45 71 0

原创 上传几张之前看flask 源码时画的结构图

2019-12-30 10:47:55 45 0

原创 python 函数参数的 ‘*’和‘/’ 的意义.md

/ 之前的参数都是 positional-only(位置) 参数,不能 写出参数的 name * 之后的参数都是 keyword-only(命名参数) 参数,必须 写出参数的 name 比如,我们用参数签名的方法来举例: from inspect import Signature, Pa...

2019-12-16 19:14:06 66 0

原创 asyncio 是如何处理io事件的.md

asyncio 是如何利用事件循环来监控和处理io事件的,看源代码: # asyncio.streams.py async def open_connection(host=None, port=None, *, loop=None, li...

2019-12-06 17:20:07 156 10

原创 asyncio

文章目录例子:开始看源代码例子解析 例子: In [1]: import asyncio In [2]: async def f(i): ...: await asyncio.sleep(i) ...: print(i) ...: ...

2019-12-05 20:12:26 143 0

原创 awaitable 可等待对象.md

能在 await 表达式中使用的对象。可以是 coroutine 或是具有 __await__() 方法的对象。参见 PEP 492。 注意可等待对象有两种: coroutine,在上节中有讲; 具有 __await__() 方法的对象,只要一个类实现了__await__方法,那么通过它...

2019-12-05 10:25:32 186 0

原创 python coroutine协程

python3.7 In [8]: async def funcc(): ...: print('2333') ...: return '2333' In [14]: x = funcc() In [15]:...

2019-12-02 14:19:56 54 0

原创 flask send_file 下载文件,断点续传.md

函数包含在 flask.helpers文件中: def send_file( filename_or_fp, mimetype=None, as_attachment=False, attachment_filename=None, add_et...

2019-11-12 16:02:53 307 0

原创 Local、LocalStack、LocalManager和LocalProxy 实现协程/线程间数据隔离

文章目录LocalLocalStackLocalManagerLocalProxy Local Local 对 dict 做了一层封装:{id:{...}, id:{...}, ...},每次存储或取出数据时,根据当前id来进行操作。 # get_ident 是优先获取协程id的(若当前环境安装了...

2019-11-12 11:02:41 60 0

原创 zerorpc 详解.md

zerorpc 是利用 zeroMQ消息队列 + msgpack 消息序列化(二进制) 来实现类似 grpc 的功能,跨语言远程调用。 主要使用到 zeroMQ 的通信模式是 ROUTER–DEALER,模拟 grpc 的 请求-响应式 和 应答流式 RPC : zerorpc 还支持 PU...

2019-10-24 11:09:37 268 0

原创 git 的简单使用

文章目录推送改动分支更新与合并log删除已提交的某个文件撤销 与 回退git add 后撤销:git commit 后撤销:git push 撤销:git merge 撤销:放弃本地所有改动图形化工具内建的图形化 git:gitkgit-gui #创建新仓库 创建新文件夹,打开,然后执行 g...

2019-09-30 16:41:50 52 1

原创 linux报No space left on device错误

视频分帧 报错 No space left on device 出现这个错误第一反应是空间满了。 df -h 一看却发现还有挺多没有用 df -i 一看发现是inodes空间满了 inode 是什么 磁盘的最小单位是扇区,操作系统对磁盘最小操作单位是块,多个扇区组成的块就是文件读写最小单位。 ...

2019-07-19 15:11:14 170 0

原创 在 k8s 中使用 GPU 资源

k8s-device-plugin github: https://github.com/NVIDIA/k8s-device-plugin 注意事项: 从Kubernetes 1.8开始,官方推荐使用Device Plugins方式来使用GPU。 需要在Node上pre-install ...

2019-06-20 10:58:38 4027 0

转载 在 Kubernetes 中挂载 cifs 网络文件共享协议的卷

kubernetes 插件地址: https://github.com/fstab/cifs 安装: Kubernetes提供了Flexvolume,这是一种插件机制,使用户可以编写自己的驱动程序。 Kubernetes 在默认的情况下在 /usr/libexec/kubernetes/kube...

2019-06-18 14:24:12 797 0

原创 docker 基础概念 Linux Namespace

Linux Namespace 是 Linux 提供的一种内核级别环境隔离方法,以前的 Unix 有一个叫 chroot 的系统调用,针对正在运作的软件行程和它的子进程,改变它外显的根目录,使它不能访问给它指定的目录以外路径。Linux 的 Namespace 在此基础上,提供了对 UTS、IPC...

2019-06-16 15:11:30 139 0

原创 Kubernetes 学习笔记汇总

Kubernetes kubectl 常用的命令: # 使用 kubectl get xxx -o json|yaml|wide|name... 查看详细信息 #1.获取节点列表: kubectl get nodes #2.创建: kubectl create -f webserver.yam...

2019-05-18 18:46:56 74 0

原创 elasticsearch mapping 映射

Mapping 作用 定义index 中的字段名、字段的类型,包括相关 配置setting 如果没有手动配置mapping, Elasticsearch 默认会自动解析出类型,以每个字段第一次出现为准。 手动配置 mapping PUT /user/ { "mappi...

2019-05-05 18:39:28 80 0

原创 es 索引的存储 .md

首先介绍几个es中支持的索引存储方式: 1.simplefs: 简单的粗盘存放, 这种方式会有大量的磁盘IO,因此索引的建立和索引非常依赖磁盘的性能; 2.niofs: 使用 NIO 方式读写索引;NIO 是 java New IO 的简称,NIO 与传统 IO 相比是面向数据块的、非阻塞的...

2019-04-24 13:17:45 263 0

原创 非对称加密算法 RSA

非对称加密算法 RSA如何计算得到 N E D1 求 N2 求 L (在生成密钥对过程中使用)3 求 E4 求 D实例生成密钥对加密解密 74mod127^4 mod 1274mod12 很好算 但 7xmod12=87^x mod 12 = 87xmod12=8 ,xxx 如何求就比较复...

2019-04-21 14:29:46 84 0

原创 elasticsearch docker 安装ik分词器

elasticsearch docker 安装ik分词器: Dockerfile: FROM elasticsearch:6.7.0 # 注意 es与ik 版本要对应 RUN ./bin/elasticsearch-plugin install --batch https://github.co...

2019-04-12 18:33:56 750 0

原创 elasticsearch docker集群

准备好镜像(装好中文分词等插件) 搭建 docker 镜像仓库 编写 docker-compose.yml docker swarm docker stack deploy -c docker-compose.yml es_demo 发布服务 安装可视化工具 kibana 要与 es 同...

2019-04-12 18:31:44 273 0

原创 AES 轮密钥(子密钥如何生成).md

AES首先将初始密钥输入到一个4*4矩阵中。这个4*4矩阵的每一列的4个字节组成一个字,矩阵4列的4个字依次命名为w[0]、w[1]、w[2]和 w[3]。它们构成了一个以字为单位的数组 w。 接着,对w数组扩充 40 个新列,构成总共 44 列的扩展密码数组。新列以如下的递归方式产生: (1...

2019-04-04 19:11:03 4060 3

转载 AES MixColumns 列混淆.md

转载自我的笔记: http://caf99af3.wiz03.com/share/s/3a-pHP3y4ABk2SLM5t03faoi0l_0X73Ex4342GXNjU2XHnrH S-box s盒替换 shiftRows行变换 MixColumns 列混淆 这个部分会接受4个字节的输入,...

2019-04-04 19:05:10 2078 1

转载 有限域GF(2^8).md

原文:https://blog.csdn.net/luotuo44/article/details/41645597 现在重点讲一下GF(2n),特别是GF(28),因为8刚好是一个字节的比特数。 前面说到, GF(p)GF(p)GF(p),p得是一个素数,才能保证集合中的所有元素都有加法和乘法...

2019-04-04 19:02:00 2615 0

转载 AES 对称密码.md

AES 使用 SPN 结构。 输入分组为 128bit 也就是16 byte。 加密 与 解密 S-box s盒替换 关于 S-box 的来看 有限域 GF(28)GF(2^8)GF(28) , 根据明文字节(十六进制)来作为横坐标与纵坐标,替换为 S-box 中相应位置的字节。 shift...

2019-04-04 18:59:54 127 0

转载 3DES 加密

原文我的笔记:http://caf99af3.wiz03.com/share/s/3a-pHP3y4ABk2SLM5t03faoi3joL4m2GE4eh23pr2H3eqa1F 现在还有些地方还在使用3DES,但其处理速度不高,除了特别重视向下兼容性很少使用于新的用途。 三重DES 加强 D...

2019-04-04 18:55:33 314 0

转载 DES 对称密码.md

DES 现在可以暴力破解,所以不应再用。 DES是一种将64bit的明文加密成64为密文的对称密码算法,对于长于64bit的明文,会将其进行分组然后迭代加密,迭代的方式称为模式,DES 是分组密码中的一种。 DES 秘钥长64bit,严格来说长度为56bit,每7bit后跟1bit校验位。 DE...

2019-04-04 18:52:15 79 0

转载 关于 Elasticsearch 内存占用及分配

Elasticsearch 和 Lucene 对内存使用情况: Elasticsearch 限制的内存大小是 JAVA 堆空间的大小,不包括Lucene 缓存倒排索引数据空间。 Lucene 中的 倒排索引 segments 存储在文件中,为提高访问速度,都会把它加载到内存中,从而提高 Luc...

2019-03-18 16:39:30 4945 3

原创 ubuntu samba 搭建与挂载

服务端 搭建samba服务: 安装samba套件:sudo apt install -d samba* 创建要共享的目录: sudo mkdir /samba_dir sudo chmod 777 /samba_dir 修改配置文件 sudo vim /etc/samba/smb.cnf...

2019-03-01 14:09:56 590 0

原创 双数组Trie树 Double-arrayTrie

Tire 树结构存在较大的数据稀疏,造成了空间浪费。Double-array结合了array查询效率高、list节省空间的优点,可以有效降低空间浪费,具体是通过两个数组base、check来实现。Trie树可以等同于一个自动机,状态为树节点的编号,边为字符。 base数组中每个元素对应trie中...

2019-02-24 21:32:15 240 0

提示
确定要删除当前文章?
取消 删除