- 博客(35)
- 收藏
- 关注
RSS订阅原创 常用聚类算法
在直观印象中,说起聚类算法,首先想到的k-means.k-means作为经典的聚类算法,应用范围很广,但是在运行前要指定聚类的数量n,这个值对于最终的计算结果有很大的影响.而现在也没有通用的方法来得到这个值.本文介绍了包括k-means在内的多种聚类算法,可以在实际中灵活使用.
2020-06-22 15:33:21
803
原创 tesseract
Tesseract 打印字体识别引擎1 安装1.1 下载Leptonica源并安装:$ wget http://www.leptonica.com/source/leptonica-1.76.0.tar.gz$ tar xzvf leptonica-1.76.0.tar.gz$ cd leptonica-1.76.0$ ./configure & make & sudo...
2019-07-04 20:58:08
1504
原创 tensorflow
1 部署flask报错1.1 ValueError: Tensor Tensor("fc1000/Softmax:0", shape=(?, 1000), dtype=float32) is not an element of this graph.在将keras部署在flask时，使用https://github.com/jrosebr1/simple-keras-rest-api这个例程时...
2019-07-04 20:57:29
559
原创 opencv
opencv1 读取#imreadmode -1:保持原本, 0:灰度, 1:彩色cv2.imread(‘path’, 1) 2 转成灰色cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)3 显示图像cv2.imshow4 生成直方图import cv2import matplotlib.pyplot as pltzhou_data = cv...
2019-07-04 20:56:20
295
原创 ocr
一 OCR背景及基本流程光学字符识别（Optical Character Recognition, OCR），是指对文本资料的图像文件进行分析识别处理，获取文字及版面信息的过程。预处理：包括二值化，噪声去除，倾斜校正等；文字检测：对图片中的文字进行切割；文字识别：早期采用模板匹配，后来以特征提取为主，近些年来深度学习在人脸识别、目标检测与分类中达到前所未有的高度，开启了深度学习在文字分类的...
2019-07-04 20:55:34
687
原创 object tracking
csdnSORT simple online and realtime trackinggithub论文地址deep sortgithub论文地址
2019-07-04 20:49:24
303
原创 object detection
1.yolo2.RCNN步骤:1.采用selective search生成候选区域（region proposal）2.将候选区域输入到一个预训练的网络（fine-tuning）3.每个类别训练一个SVM分类器，用regressor对候选框进行回归缺点:时间和内存消耗太大，训练SVM和回归的时候都需要用网络生成的特征作为输入3.Fast R-CNN4.Faster R-CNN[...
2019-07-04 20:48:46
158
原创 instance retrieval
sift 对比 CNNSIFT与CNN的碰撞：万字长文回顾图像检索任务十年探索历程(上篇)SIFT与CNN的碰撞：万字长文回顾图像检索任务十年探索历程(下篇)
2019-07-04 20:47:56
527
原创 image matting
抠图介绍 https://zhuanlan.zhihu.com/p/27852081?utm_source=itdadao&utm_medium=referral1 绿幕抠图2 泊松抠图论文下载3 贝叶斯抠图论文下载4 基于机器学习的数字抠图learning based digital matting5 KNN抠图论文下载6 deep automatic portrai...
2019-07-04 20:45:43
1046
原创 image compression
图片压缩1 JPEG压缩JPEG压缩算法用失真的压缩方式来处理图像，但失真的程度是肉眼无法辨认的。压缩过程1.颜色模式转换及采样;2.DCT变换;3.量化;4.编码1.1 颜色模式转换及采样RGB色彩系统是我们最常用的表示颜色的方式。JPEG采用的是YCbCr色彩系统，Y代表亮度，Cb代表色度，Cr代表饱和度，计算公式如下：’‘’Y=0.2990R+0.5870G+0.1140B...
2019-07-04 15:54:59
751
原创 hand keypoint
hand detect,handtracking,medium手关键点介绍,learnopencvopenpose,开源姿态检测框架,卡耐基梅隆大学,github地址cv2包含dnn模块,可以支持openpose,openpose.py
2019-07-02 09:55:40
288
原创 face recognition
1 人脸识别方法1.1 tradtional分析眼睛,鼻子,颧骨,下巴的相对位置,尺寸,形状对脸进行归一化,然后压缩脸部数据,只保存对人脸识别有用的数据识别算法可以分为2种,几何(geometric),用于查看显著的特征,光学测量(photometric),是一种统计方法,将图片蒸馏成特征值,与模板的特征值比较用于减小方差整体(holistic)模型,基于特征(feature-based...
2019-07-02 09:55:09
3585
5
原创 DL
1 AlexNetAlexNet网络，以第一作者Alex Krizhevsky命名，开创性的使用了ReLu激活单元，GPU训练，局部归一化，Dropout，数据集扩展等技术手段，将图像分类任务的准确率提升了很多，并获得ISVRC-2012比赛的冠军，给后续深度网络的发展提供了思路。数据扩展:从256x256的照片中，随机截取224x224的子图（和水平镜像），把数据集的数量增加到了2048倍...
2019-07-01 16:17:25
184
原创 digital image processing
版本3下载地址版本2下载地址charpter 1low-level processes:初始的操作，包括图像预处理用于减少噪声，contrast enhancement，图像锐化mid-level processes:分割，对象的描述，个体的分类。输入是图像，输出是从图像中提取的属性higher-level processes:包括“感知”可识别对象image restoration,...
2019-07-01 16:15:52
2826
原创 xgboost
2015年Kaggle竞赛中，29支挑战成功队伍，有17支使用XGBoost。第二流行的方式是深度神经网络，有11支队伍使用。scalability，可伸缩性，可在单机运行，也可在分布式系统和内存限制的系统运行。创新点：• We design and build a highly scalable end-to-end treeboosting system.• We propose a...
2019-07-01 16:14:05
108
原创 ML
1 K-means聚类算法，原始数据不带标签，属于无监督算法的范围初始有一团数据，选择2个点作为其质心，计算每个数据点到各个质心的距离，选择距离最近的质心作为数据点的标签，由于有2个质心，现在数据被分为2个部分了，分别计算2个部分的数据得到新的质心；重复这个过程，直到质心位置不变或者变化范围很小。难点在于质心数量的选择，和计算距离的方式选择。2 决策树2.1 基本概念1 信息熵信...
2019-07-01 16:13:34
283
原创 kaggle之EDA,特征工程
kagglehttps://www.kaggle.com/c/santander-customer-transaction-prediction/leaderboardkaggle经验分享链接1 ata Exploration，EDA（Exploratory Data Analysis）通常我们会用 pandas 来载入数据，并做一些简单的可视化来理解数据。Visualization，...
2019-07-01 16:12:45
2175
原创 windows
在windows下解压缩文件时，无法创建符号链接可能需要以管理员身份运行winrarcmd进入需要解压文件的目录，运行start winrar x -y xxxxxx.tar.gz虚拟机作为服务器参考更新win10下host文件参考...
2019-07-01 16:05:36
241
原创 neo4j
介绍Node：节点，A node in Neo4j is a node as described in the property graph model, with properties and labelsRelationships：关系，A relationship in Neo4j is a relationship as described in the property graph ...
2019-07-01 15:50:38
1241
原创 hadoop
安装java在官网下载源文件后，执行sudo tar -zxvf jdk-8u112-linux-x64.tar.gz -C /usr/lib/java/配置JAVA环境变量，打开’sudo gedit ~/.bashrc’，在末尾增加:export JAVA_HOME=/usr/lib/java/jdk1.8.0_112export JRE_HOME=${JAVA_HOME}/jree...
2019-07-01 15:49:14
114
原创 IDE
1 intellij idea安装sbt（或者安装intellij idea下安装scala插件）在官网下载源文件后，执行sudo tar -zxvf sbt-1.2.1.tgz -C /opt/scala/配置sbt环境变量，打开sudo gedit ~/.bashrc，在末尾增加:export SPARK_HOME=/opt/spark/spark-2.3.1-bin-hadoop2...
2019-07-01 15:46:15
128
原创 mysql
登录mysqlmysql -uwgb -hXXX.XXX.XXX.XXX -p-u指定用户名，-h指定ip地址，-p表示需要输入密码mysql数据迁移mysqldump -uroot -pdbpasswd -d dbname >db.sql; #导出dbname的所有表结构mysqldump -uroot -pdbpasswd dbname >db.sql; #导出dbna...
2019-07-01 15:44:39
118
原创 linux
scp ssh 指定密钥ssh -p 60022 root@39.108.37.168 -i gpu-ai.pem #ssh登录scp -P 60022 -i gpu-ai.pem file_on_55 root@39.108.37.168:/data/yanzi #scp 拷贝文件若运行时出错，出现很多@@@@，降低密钥文件的权限chmod 600 gpu-ai.pem查询文件夹的...
2019-07-01 15:43:07
85
原创 gpu
tensorflow CUDA cudnn 版本对应关系参考安装anaconda安装完后，启动指令为 anaconda-navigator激活环境 source activate /home/yanzi/ENV_conda/pytorch （路径为实例，根据自己实际的放置）退出环境 source deactivate安装pytorch指令 conda install pytorch ...
2019-06-30 21:14:46
230
原创 git
1 删除远程分支查看远程分支git branch -r删除指令git branch -r -d origin/branch-namegit push origin :branch-name2 pull指令pull的作用就相当于fetch和merge，自动合并：git fetch origin master ///设定当前分支的FETCH_HEAD为远程服务器的master分支g...
2019-06-30 21:14:13
88
原创 docker
安装docker on centos参考卸载旧版本sudo yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-selinux docker-engine-selinux docker-e...
2019-06-30 21:13:18
119
原创 anaconda
1 安装anaconda安装清华库conda create -n caffe-tf # 创建环境conda remove -n caffe-tf --all # 删除环境source activate caffe-tfsource deactivateconda install caffe-GPU python=3.2# conda install python=3.5co...
2019-06-30 21:11:57
367
原创 spark
spark1 安装scala在官网下载源文件后，执行sudo tar -zxvf scala-2.10.5.tgz -C /opt/scala/配置scala环境变量，打开sudo gedit ~/.bashrc，在末尾增加:export SCALA_HOME=/opt/scala/scala-2.10.5export PATH=${SCALA_HOME}/bin:$PATH重启或者...
2019-06-25 22:02:14
185
原创 graphx
graphx介绍限制计算类型，图平行（graph-parallel，如Pregel，PowerGraph）系统，在进行图像算法时优于数据平行系统（data-parallel如Hadoop MapReduce），但不适合从数据库中提取图，消除同个范围内的顶点，数据平行系统会产生复杂的join操作和过多的数据转换GraphX通过统一的抽象使得同样的数据可以通过图像或者表格展示而不需要数据转移和...
2019-06-25 21:57:51
220
原创 scrapy
Scrapy多个spider对应不同的pipelines给spider设置自己的custom_settings下载的文件重命名继承ImagesPipeline，重写file_path函数csv文件按指定的顺序输出参考访问动态页面方式1：重写中间件，采用无界面浏览器selenium，禁用原本的middleware方式2：selenium最好放置在spider中，如果存在下载图片任务...
2019-06-25 21:50:24
130
原创 redis
redis 安装pip install redis如果在env中安装,可能会出现Error 111 connecting to localhost:6379,Connection refusedubuntu: sudo apt-get install redis-servercentos: sudo yum install redis安装了redis后,根据系统的不同有的会自动启动r...
2019-06-25 21:49:24
87
原创 nginx
nginx安装pcre：参考安装nginx：下载地址参考nginx 重新加载命令./nginx -s reload，出现nginx: [error] invalid PID number “” in “/usr/local/nginx/logs/nginx.pid”杀掉nginx 进程killall -9 nginx（若找不到killall指令，yum install psmisc...
2019-06-25 21:46:59
71
原创 python
1 图片转灰度或者黑白参考from PIL import Imagecol = Image.open("cat-tied-icon.png")gray = col.convert('L')gray.save(‘result_grey.png’)bw = gray.point(lambda x: 0 if x<128 else 255, '1')bw.save("result_...
2019-06-25 21:44:26
331
原创 一些java的基础知识
选择《java语言程序设计基础篇（原书第8版）》作为java学习的参考书。因为语法方面跟c语言相差不大，所以对书的前面7章快速扫了一遍，直接进入第8章对象和类的学习，了解了类的一些基础概念，构造方法，实例方法，实例变量，静态方法，静态变量，类的可见性（用修饰符private，public，protected）跳过第9章字符串和文本I/O第10章关于对象的思考，t
2015-06-09 21:28:12
266
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人