- 博客(12)
- 收藏
- 关注
RSS订阅原创 ubuntu 18.04 ffmpeg cuvid硬解环境搭建
由于最近要在视频流上Mask R-CNN模型，cuda硬解也要上，又要折腾一下环境搭建，在此记录一下。这里的硬解说的是调用nvidia的video codec sdk来加速编解码，使用cuvid硬解的方式有两种，一种是调用ffmpeg已经嵌入的硬解方案，另外一种是先调用ffmpeg再调用codec sdk。从开发难度来说，第一种要稍微简单一些，只需要指定ffmpeg的video codec就可...
2019-04-27 23:09:48
4030
2
原创 linux zero-copy三个阶段演进
背景企业对生产环境的服务器产出要求越来越高，压榨IO是常有的事情，但是，当万兆网卡、SSD等设备用上了，性能却不一定随着硬件性能线性增长而增长。linux诞生之初是朝着一个稳定的操作系统演进的，这个初衷导致很多硬件上的特性无法完全释放出来。下面分几个阶段，聊一下其演进和对比一下优缺点。原始阶段以一个web服务器发送文件为例子，看一下数据流动：内核读取磁盘的文件到磁盘缓冲区APP从把内...
2019-04-16 22:15:54
193
原创 三步实现一个golang web framework
背景一般来说，对于入门某一门语言的web开发，都会从框架入手，但是，当你的使用场景越来月复杂的时候，框架本身会制约你的实现，这个时候，你需要自己实现一个框架才能满足你的需要。框架并不神秘，跟着笔者三步实现一个最基本的golang框架。所有代码都在github，由于考虑到三方库的api稳定性问题，启用了vendor,代码可以直接跑。首先，这里说的web framework是指一个非常精简的框架，...
2019-04-14 11:06:10
822
原创 golang重写time包默认时间的json格式
背景之前遇到一个需求，有一个字段属性是time.Time，需要的时间格式跟golang time包默认的格式不一样，要求是yyyy/mm/dd hh:mm:ss的格式golang time.Time默认json输出time包有一个默认的json格式，参考如下例子package mainimport ( "encoding/json" "fmt" "time")type Pe...
2019-04-13 19:54:40
5174
原创 站在应用的角度看nlp的用途
站在应用的用途看nlp的用途这里把分类归结为基础功能和业务功能，业务功能用到基础功能。举个例子，对于人脸识别的算法，人脸识别是一个业务功能，但是基础功能包括了人脸检测、人脸特征提取、特征对比三个基础功能。名称分类描述词法分析基础功能提供分词、词性标注、命名实体识别三大功能。词性标注要求在尽可能小的粒度以内保持尽可能大粒度去识别专有名词、命名实体依存句法分析基础...
2019-04-13 12:33:20
493
原创 聊一下优化问题
写这篇文章的背景由于笔者在运筹团队做开发，之前在搜索优化算法的时候，常常搜索到两种内容，一块是ML常用的LP问题的优化（SGD以及其变种AdaGrad/Adam…），另外一块就只有搜索运筹优化（OR）的关键词才能看到的优化(LP/MIP/NP)问题。个人认为，运筹优化的范围要比ML优化问题更广更复杂，面对的难题也更多。毕竟ML的优化问题主要在性能优化上，而运筹的优化问题更多还在实现功能。而且M...
2019-04-13 12:14:29
247
原创 k8s crd(custom resources definitions)
相关资料关于CRD（custom resources definition）的concept，可以参考官方文档：https://kubernetes.io/docs/concepts/extend-kubernetes/api-extension/custom-resources/#custom-resources其中有提到两个比较重要的概念：声明式（declarative）API和命令式(i...
2019-04-12 23:35:03
1843
原创 gitlab ci搭建和使用
关于选择ce/ee版本，请看 https://about.gitlab.com/installation/ce-or-ee/， 这里选择ee版本，如果方便日后加入ee版的功能，如果不购买license，功能就和ce版本差不多1. Installfirst installsudo apt-get updatesudo apt-get install -y curl openssh-serv...
2019-04-12 23:33:44
786
原创 kubernetes 带状态程序部署-以mysql为例
背景k8s 在部署带状态的程序相对来说比较麻烦，一个高可用的程序，应该可以在每一个node上跑，所以在程序的开发阶段就应该要考虑到部署阶段带来的问题，可以降低程序容器化配置信息尽量写入DB，那么程序起来的时候直接从DB加载，无论从提高部署效率或者运营的角度来说，入库都是最好的选择，更新配置之后，replace pod就ok无法入库的大文件配置，通过k8s的pv pvc来处理，参考小文件配...
2019-04-12 23:32:48
802
原创 golang Bitmap/Bloom/Cuckoo Filter
bitmap和bloom filter都可以对大量数据(通常是超过10亿条)构造集合，当要判断一个新的元素是否在这个大数据集合里面，两种方式都可以准确判断出“新元素不在这个集合”，但是“新元素在这个集合”的判断可能不准，在可以接受误判的系统中，bitmap和bloom filter都可以作为“神器”使用bitmapbitmap算法原理可以wiki一下，个人感觉它就是一个map[uint32]b...
2019-04-12 23:32:01
1185
原创 ubuntu16 kubernetes 1.9.2 集群
环境说明：Step1: install docker ceStep2: install kubenetesStep3: initialize via kubeadmStep4: install network addon:Step5: repeat operations参考官方文档Using kubeadm to Create a Cluster记得半年前也捣鼓过一次kub...
2019-04-12 23:26:03
188
原创 docker elk 6安装
es官方安装推荐安装方式：elk6套装安装$ docker-compose up...$ docker-compose ps Name Command State Ports------------------------------------------...
2019-04-12 23:24:57
324
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人