图像识别
项目一:齿轮表面粗糙度自动检测
开发应用:python3+sklearn+opencv
项目描述:1)使用CCD相机获取齿轮表面图像
2)图片预处理,使用中值滤波,去除图片椒盐噪声,使用直方图均衡化进行图像增强
3) 使用小波变换提取零件的纹理特征
4)进行pca主成分分析进行降维获取特征
5)使用支持向量机分类器进行分类
项目二:验证码识别
开发应用:python+tensorflow
项目描述:1)通过公司提供的数据集对数据进行编码
2)搭建cnn神经网络
3)对模型进行训练,提高验证码的识别率
4)验证模型
项目三:字符喷吗识别系统
开发应用:python3+opencv+tensorflow
项目描述:通过公司的数据集,将不同风格的图片与数据集的图片进行训练得到不同风格的模型,
这样可以在用户选择不同风格时,将照片快速转换为不同风格。
项目3:基于ROS 系统机械臂抓取工件图像处理设计
项目简介:本移动机器人平台是上下料机械臂自动识别工件,方便机械臂对相应工件分析抓取,简化
工人操作,实现工厂生产工业智能化。
个人职责:USB 摄像头相关OpenCV 库驱动,使用cv_bridge 进行图像捕捉等
所用技术:
1.基于OpenCV 进行过图像获取、裁剪、灰度处理
2.使用ImageTransport API 发布摄像头帧
3.采用image_proc 进行ROS 图像管道,达到获取单色和彩色转换功能
4.训练建立模型、测试模型、检验模型,提高可靠性
项目名称 人脸图像解锁 系统
-
应用环境
-
Linux + Python + Pycharm + Tensorflow + Opencv + Numpy + Sklearn
负责模块 -
图像预处理 + 人脸识别
项目描述
通过 Mean shift 算法对收集来的大量 视频 数据进行分类标签化, 利用 OpenCV 获取视频流和提取
视频针,对获取的视频流使 用 基于 AdaBoost 算法 人脸检测模 从中提取相关的人脸图像 利用 直方图
均衡化、归一化 对图像进行预处理操作,形成图像集并进行保存。 当用户再次人脸解锁时, 通过
TensorFlow 对人脸图像进行识别与图像集进行比对 ,形成 识别人脸的效果
项目职责
- 对收集来的数据 进行数据 预处理
- 通过 Opencv 获取视频流 ,并通过模型获取先关人脸图像
- 对获取的图像 整理成数据集
项目名称名称 :: 快递违禁物品快递违禁物品识别识别
应用环境
应用环境 : Linux + Python + Pycharm : Linux + Python + Pycharm + Opencv + Numpy + Sklearn+ Opencv + Numpy + Sklearn
负责模块
负责模块 :: 图像识别图像识别
项目描述
项目描述 ::
通过危险品扫描图像集通过危险品扫描图像集对对OpencvOpencv所构建的颜色边缘识别分类器模型进行训练,获取危险品扫描颜所构建的颜色边缘识别分类器模型进行训练,获取危险品扫描颜色分类集。通过色分类集。通过OpencvOpencv对对快递快递检测检测扫描扫描时的视频流从中获取视频帧时的视频流从中获取视频帧形成图片,图片通过所训练的模形成图片,图片通过所训练的模型进行识别,获取物品型进行识别,获取物品颜色图片分类,再通过颜色图片分类,再通过朴素贝叶斯中的径向基核模型朴素贝叶斯中的径向基核模型对物品颜色与危险品颜色图对物品颜色与危险品颜色图片集中进行比对,从而判断是否是违禁物品片集中进行比对,从而判断是否是违禁物品
项目职责
项目职责::
- 通过通过OpencvOpencv进行图像颜色边缘识别和视频流的获取进行图像颜色边缘识别和视频流的获取
- 整理收集好的图片形成图片集整理收集好的图片形成图片集
- 对新的视频流中获取的图片进行与图片集的比对对新的视频流中获取的图片进行与图片集的比对
项目4 :门店收银台实时智能监督系统
项目描述:
门店收银台是重点及敏感区域, 以前总公司对于收银台的实时监控是靠专门的监控专员来做的,无
法做到24 小时监控,故通过对主要关键的不合规范的行为进行采集,训练监督,最终开发了可以识别着
装不合规范,长时间玩手机,有无举手示意,或存在违规操作行为的人员,进行记录。
项目职责:
收集大量的不合规范的操作行为,并对这些行为进行分析,收集主要的且重要的不合规范行为;图像
的压缩,裁剪,降噪处理,直方图均衡化处理,创建图像识别器;运用OpenCV 获取USB 摄像头的视频流,
运用高斯滤波对图像进行去燥处理,图片颜色进行空间转换后使用色谱直方图均衡化调节图像亮度,用
TensorFlow 和keras 深度学习框架训练识别模型,采用交叉验证模块,验证精度,提升模型的可靠性和稳
定性。
项目效果:基本实现了重要不规范操作行为的抓取记录。
项目名称:车牌检测与识别项目
项目描述:
为了管理公司车辆,阻止外部车辆进入,使公司更加智能方便,在汽车不作任何改动的情况下,实现汽车身份
的自动登记及验证。
职责描述:
- 读取图片文件,根据设定的阈值和图片直方图,找出波峰,用于分隔字符,分隔图片,从而得到逐个字符图
片,采用来自opencv 的sample,用于svm 训练,定义省份数据,训练svm。 - 进行字符识别,识别英文字母和数字和识别中文,高斯去噪,图片分辨率调整,找到图像边缘。
- 确定找出车牌矩形区域,目前只支持识别蓝、绿、黄车牌。识别车牌的字符。
- 搭建项目主界面。
项目名称:检测不符合要求的产品
项目描述:
在Keras 搭建深度CNN,具体过程分为数据读取、模型构造、模型训练、测试模型
项目职责:
- 数据集来自实时监控中视频流中的帧数据, 首先对数据集进行预处理, 使用Keras 的
ImageDataGenerator 将不同种类的图片分在不同的文件夹中。
2.进行模型构建,这里采用了卷积层,池化层,全连接层,采用激活函数为relu,并采用了Dropout 防止
结果过拟合,这里采用的随机梯度下降SGD 的优化函数进行参数优化,
3.进行模型训练,采用fit_generator(相比较于fit 节省内存)进行训练,执行fit_generator 时,通过设置
一些超参数进行模型优化,直至模型训练结束.
4.最终进行调取模型并进行测试模型。
项目三: 教室的人脸签到识别签到系统
业务场景:模型的应用
个人职责:1、opencv+dlib进行视屏采集,从视屏流循环帧
2、实时人脸检测(5特征点的人脸检测,检测灰度帧中的脸)
3、实时特征点标定(68点特征标定)
4、实时人脸特征点对齐
5、实时人脸验证,捕获视屏流,与已注册的人脸数据对比,匹配合适的目标显示
姓名
6、实时活体检测,眨眨眼,张张嘴
项目一:基于CNN的CO2腐蚀类型识别
项目介绍:
针对CO2腐蚀过程复杂、腐蚀类型特征难以提取和准确识别的问题,提出了以腐蚀图像信息为特征,基于卷积神经网绚训练模型的 CO2 腐蚀类型识别方法。以未腐蚀、点腐蚀和均匀腐蚀三种类型样本集构建模型,经测试,该方法识别 CO2 腐蚀类型准确率可达到96.8%。
负责部分:
- 使用OpenCV对图像进行裁剪、缩放,利用高斯滤波对图像进行降噪处理,以及利用直方图均衡化调节图像亮度作为CNN的输入;
- 搭建基于VGGNet的卷积神经网绚结构,并训练模型,调整模型参数;
- 评估模型,测试训练好的模型。
项目二:HSE监控平台
项目介绍:
随着HSE管理体系在化工行业得到高度认可,企业更加迫切的要求HSE管理理论切实的落实到基层生产车间,因而提出了HSE监控平台系统的概念:依靠各类检测仪器仪表获取所需数据信息,在无人干预的情况下由计算机分析数据得出结论,根据所得结论对控制器、执行机构进行操作,最终使整个厂区各个部分实现无人值守的智能化监控。
负责部分:
本人参不生产安全视频监控系统, 主要负责对化工厂工作区内工作人员安全帽佩带情况的监测。
- 使用OpenCV对图像进行预处理;
- 搭建基于AlexNet的卷积神经网绚,并进行模型训练;
- 进行模型验证并将预测结果反馈给报警系统以达到监测效果。
项目三:基于OpenCV对煤粉细度与形状的测量
项目介绍:
煤粉细度是燃烧优化控制的核心参数之一。在电厂运行中,煤粉细度会直接影响到丌完全燃烧热损失不磨煤机耗能。对于煤粉细度信息的测量,当前国内电厂在实际中大部分仍采用筛分法。该方法统计时间长,结果稳定性差,且无法得出煤粉的形状信息。本项目采用图像测 量法制作煤粉图像监测设备,基于OpenCV 视觉库开发软件对电厂风煤粉的细度和形状信息进行测量分析。
负责部分:
- 使用OpenCV对图像进行裁剪、缩放,利用高斯滤波对图像进行降噪处理;
- 利用matplotlib绘制煤粉细度不燃烧热的相关图像。
项目三: 脸部识别与任务分配
软件环境: Linux + Python + Pycharm +Tensorflow+ Numpy + Matplotlib 项目
描述:
利用检测人脸的脸部笑容,生成的微笑指数,对今天员工的工作情况的统计,记
录每天早上微笑程度,及今天的工作效率,进行针对性的能够完成的工作量的大体
统计,通过长期统计分析公司的各个部门工作效率,并作为公司一段时间的工作量
的参考,进而合理分配工作任务(主要针对生产环境)。并通知其领导进行针对性
辅导,项目涉及到深度学习框架tensorflow, 基于CNN 和经典机器学习模型。
项目职责:
1,前期数据规整,对图像的标注,图像主要特征的提取,图形分形特征的描述性研
究。
2,利用深度学习框架tensorflow 搭建卷积神经网络,根据分析选择合适的训练集
和合适的超参数,完成卷积网络的训练。
3,完成基于特征矩阵,分形特征、PCA 和SVM 模型,具体模型的参数调整,训
练集,开发集,测试集的确定,不同模型的偏差和方差分析,逐步改进模型。
项目一 零件 编号的识别
机械设计部门需要将设计图纸交予加工厂生产机械零部件
每张图纸都会有自己的
编号 零件编号由字母和数字构成 加工厂将每个零件编号粘贴到零件表面 加工厂将零
部件加工完后 需要进行产品零部件的出入库 出入库需要将零部件的编号和数量输入
excel 此项目解决了这个问题
职责描述
- 读取图片文件,分隔图片,从而得到逐个字符图片 字符 校正 。
2.
对分割后的图片进行图像预处理 选用算法 用 训练集训练模型 。
3.
用测试集进行测试 并 优化模型
4.
将识别的字符存入 excel
5
参与 主界面的搭建
项目二 产品正反面识别
公司主营晶体的生产和打包销售
打包过程时要求所有的晶体产品上下面保持一致 由
于晶体尺寸过小数量过多 靠人工来反转不能满足生产的需求 需要一个识别软件 来识别
晶体的正反面 并通过其他软件控制机械部分将其反转
职责描述
1.
图片预处理
2.
采用 opencv 库 的 平均哈希法 获取图片信息指纹
3.
最后比对两张图片的指纹,获得汉明距离
4.
判断明汉距离
5.
明汉距离差距过大 将 信号传递给机械部分进行翻转
一 、 人脸识别打卡考勤
项目描述
传统的打卡、刷卡为代表的考勤产品,存在着替代打卡,效率低下,不宜统计,管理和使用
维护成 本高等弊端。指纹识别产品在考勤中大规模应用,部分解决了代打卡问题。但是在出汗,手指破
皮等情 况下识别度偏低。因此研发人脸识别打卡考勤系统
个人职责
图像压缩、剪裁,图像降噪处理,创建模型,调试参数。
所用技术
1.
基于 OpenCV 获取摄像头视频流,运用中值滤波对图像进行降噪
2.
将图片做灰度处理,并利用直方图均衡化调节图像亮度
3.
使用哈尔级联定位人脸,形成输入输出
4.
创建局部二值模式直方图模型,对数据进行训练
项目名称:字符条形码的识别系统
项目描述:通过采集电芯表面的字符条形码,经过图像预处理,字符分割,最后
使用BP 神经网络得到字符编码信息,用来追踪产品信息。
个人职责:图像预处理,BP 神经网络模型搭建与优化。
所用技术:
- 图像预处理:图像采集,采用中值滤波器对采集到的图像进行平滑滤
波,去除噪声,通过Canny 边缘检测和膨胀处理得到图像的轮廓; - 在图像的倾斜校正和噪声的进一步去除的基础上,运用垂直投影的字
符分割方法,将字符分割出来; - 采用BP 神经网络对得到的大量字符进行训练,得到合适的神经网络
模型,对新的字符识别并保存; - 使用生成的识别系统应用于条形码字符识别,达到追踪产品信息的目
的。
项目名称:卷芯表面贴胶检测识别
项目描述:采集生产调试中的卷芯表面贴胶照片,经过图像预处理,隐马尔科夫
模型构建,识别卷芯表面有无贴胶,规范生产。
个人职责:提取图像特征矩阵,隐马尔科夫模型创建。
所用技术:
- 基于OpenCV 对图像尺寸转换、裁剪,运用高斯滤波对图像进行降噪
处理。 - 将图片颜色进行空间转换后,使用色谱直方图均衡化调节图像亮度;
- 利用STAR 特征提取和SIFT 算法的结合,提取图像特征值矩阵;
- 创建隐马尔科夫模型,根据该模型的Score 值比较,确定卷芯表面是
否贴胶。
项目名称:图像识别在电芯激光封口焊缝检测中的应用
项目描述:采用CCD 摄像机作为焊缝检测的传感器,抓取焊缝成形图像,引入
计算机处理和机器视觉技术,进行图像处理,通过对焊缝表面形貌的
识别,进而进行产品检测,提高产品合格率。
个人职责:图像的特征提取,目标识别与模板判断。
所用技术:
- 采用高斯滤波。
- 利用Canny 算法对图像进行边缘检测;
- 采用HOG 算法提取图像特征,特征向量主要借助图像轮廓的提取完
成; - SVM 分类器。
办公楼人脸识别打卡系统
项目
描述
为员工采集人脸图像库,采集人脸特征,进行机 器学习并将学习生成的模型保存。摄像头
每秒采集一次图像,通过 opencv 定位每张图像中的人脸,将人脸的特征传递给已经训练好的
训练模型,测试该人脸是否存在, 签到 成功 并 记录 签到 时间
所用技术:
Lniux + Python + OpenCV + Numpy + sklearn + OS
实现
方式 选择 使用 OpenCV 的局部二值模式做人脸识别模型
完成基础代码,处理训练集图片得到训练的输入和输出
对训练集进行训练并将得到的模型保存
测试摄像头采集的人脸图像与训练好的模型进行匹配
人脸识别打卡考勤
项目描述
传统的打卡、刷卡为代表的考勤产品,存在着替代打卡,效率低下,不宜统计,管理和使用维护成
本高等弊端。指纹识别产品在考勤中大规模应用,部分解决了代打卡问题。但是在出汗,手指破皮等情
况下识别度偏低。因此研发人脸识别打卡考勤系统
个人职责
图像压缩、剪裁,图像降噪处理,创建模型,调试参数。
所用技术
- 基于OpenCV 获取摄像头视频流,运用中值滤波对图像进行降噪
- 将图片做灰度处理,并利用直方图均衡化调节图像亮度
- 使用哈尔级联定位人脸,形成输入输出
- 创建局部二值模式直方图模型,对数据进行训练
无人值守停车场(区分车型)
项目描述
区分车型,将三轮车与摩托车单独定义收费规则;
区分车型(小车,客车),单独定义收费规则。
个人职责
图像恢复,图像降噪处理,创建模型,调试参数。
所用技术
- 利用公式将图像去模糊恢复
- 使用边缘检测法将目标车辆从背景中分离
- 将图片二值化后通过贝叶斯分类器实现智能识别
无人值守停车场(识别车牌)
项目描述
自动识别停车场进入车辆的车牌号,并识别。节省时间和人工成本。
个人职责
图像预处理,图像分割,利用已经创建好的神经网络训练数据并验证
所用技术
- 前期图像预处理:图像增强,二值化,边缘检测,滤波和膨胀等
- 边缘检测法定位车牌位置
- 将图片二值化,采用投影分割的方法将字符分割
- 采用改进后的BP神经网络进行字符识别操作
毕业生信息录入
项目描述
毕业生需要录入银行卡号信息。学校采用学生上传图片,自动识别银行卡信息
个人职责
图像压缩、剪裁,图像降噪处理,创建模型,调试参数。
所用技术
1. 读入模板图片,并对模板预处理,将模板轮廓放入集合
2. 读入待处理图片,进行剪裁,灰度,礼帽操作
3. 利用Sobel 算子,图像梯度计算,进行边缘检测
4. 进行闭操作和自适应阈值,画出轮廓
5. 遍历每一个轮廓数字,并计算轮廓中的每一个数字的值
北京陌陌信息技术有限公司平台技术部(算法工程师)
业务场景:视频场景三维重构项目,致力于开发三维虚拟场景的落地应用,提升用户体验;
本人在项目中主要负责视频的序列模式识别训练任务,为三维重构提供预测支持;
主要负责内容:
制定项目实施方案(预期目标,可能存在的风险等);
Python+opencv 实现视频的光流样本提取,并完成样本数据的扩充;
Python,Tensorflow,keras 实现分类任务的训练(参数选择,网络结构选择);
基于Tensorflow Lite 的轻量级模型转换,转换后的模型便于在移动设备上实施部署。
基于C++和opencv 实现ios 端测试样本的输入和预处理,完成模型的加载与测试过程。
并进行PC 端和IOS 端数值输入输出一致性验证;
协同团队配合完成模型的测试和迭代工作。
被动毫米波人体违禁品实时目标检测[科研项目] 核心算法
项目介绍:大客流安检急需一种能够快速实现乘客安检的解决方案,该研究项目基于毫米
波具有透过衣物成像的能力,利用传感器融合和图像识别技术致力于提高人体安检时的通
过效率。
主要负责内容:
实现毫米波安检影像人体携带违禁品的实时目标检测。
毫米波影像数据采集,预处理包括裁剪,去噪,灰度归一化等。
基于sklearn 的k-means 和GMM 模型的聚类学习。
基于Yolov2,Yolov3 的目标检测模型训练,评估和测试。
北京陌陌信息技术有限公司平台技术部(算法工程师)
业务场景: 项目主要为了提升直播平台主播和用户之间在互动效果,利用深度学习技术增
强直播过程中主播和用户之间的互动效果,基于手势识别模型的特效生成。
主要负责内容:
手势样本数据采集和预处理,包括比心、点赞、关注等类别。
基于Pytorch 深度学习框架的分类模型训练,评估和测试。
协同团队配合完成模型的线上维护和模型迭代。
通过反馈分析漏检样本和现有样本的差异性,并在下次迭代过程中加入差异性特征样
本提升模型识别精度。
基于层析SAR 的城市三维重构[科研项目] 核心算法
项目介绍:城市大范围沉降监测对于城市发展与规划至关重要,该项目主要利用新型的层
析SAR 手段针对北京地区进行大范围三层重构,实现大范围的沉降监测。实现城市大范
围的三维重构,便于进行城市大范围的沉降监测。
获取城市的雷达影像数据。
基于层析成像原理,利用python 实现城市建筑物等三维重构,并进行仿真验证。
研究探索层析SAR 三维重构算法的精度验证方法;
项目名称:车牌检测与识别项目
项目描述:
为了管理公司车辆,阻止外部车辆进入,使公司更加智能方便,在汽车不作任何改动的情况下,实现汽车身份的
自动登记及验证。
职责描述:
- 读取图片文件,根据设定的阈值和图片直方图,找出波峰,用于分隔字符,分隔图片,从而得到逐个字符图片,采
用来自opencv 的sample,用于svm 训练,定义省份数据,训练svm。 - 进行字符识别,识别英文字母和数字和识别中文,高斯去噪,图片分辨率调整,找到图像边缘。
- 确定找出车牌矩形区域,目前只支持识别蓝、绿、黄车牌。识别车牌的字符。
- 搭建项目主界面。
项目名称:检测不符合要求的产品
项目描述:
在Keras 搭建深度CNN,具体过程分为数据读取、模型构造、模型训练、测试模型
职责描述:
- 数据集来自实时监控中视频流中的帧数据, 首先对数据集进行预处理, 使用Keras 的
ImageDataGenerator 将不同种类的图片分在不同的文件夹中。
2.进行模型构建,这里采用了卷积层,池化层,全连接层,采用激活函数为relu,并采用了Dropout 防止
结果过拟合,这里采用的随机梯度下降SGD 的优化函数进行参数优化,
3.进行模型训练,采用fit_generator(相比较于fit 节省内存)进行训练,执行fit_generator 时,通过设置
一些超参数进行模型优化,直至模型训练结束.
4.最终进行调取模型并进行测试模型。
项目1 自适应HCS-LBP特征的行人检测
项目环境: MATLAB + Ubuntu + C++ + 自适应HCS-LBP算子 + HIKSVM。
项目描述: 该项目用以解决 LBP用于行人检测时,直方图维数过高,人为阈值主观性较强,造成局部描述能力较差的问题。
主要工作:构造HCS-LBP特征编码方法减少编码长度,利用积分图像法快速计算,引入灰度级概率与高斯矩阵获取图像的
自适应阈值;令中心像素参与编码,通过信息熵确定不同子块的权重;使用直方图交叉核支持向量机(HIKSVM)训练样本。
项目2 融合共生关系与矩阵式级联分类器的行人检测
项目环境: Python + Ubuntu + ICoHOG特征 + CoLQC特征 + 矩阵式级联分类器。
项目描述: 该项目结合LBC运算简单高效与HOG对光照变化和偏移不敏感等特点,改进或设计特征编码,以解决量化等级过
低,舍弃局部结构,易受较强竖直条纹或混乱边缘的影响的局限性。
主要工作: 提出两种局部特征描述子-共生局部量化编码(CoLQC)与改进共生方向梯度直方图(ICoHOG),以增强图像纹理特
征的描述能力,对光照、旋转和偏移具备更强的鲁棒性;采用矩阵式级联分类器进行分类训练,对正负样本进行自适应选取,
压缩有效样本的选择范围,增加样本复杂度,提升了级联分类器的检测性能。
项目4 智能门禁系统
项目环境: Python + OpenCV + TensorFlow + AlexNet + Ubuntu
项目描述: 为小区提供具备人脸识别功能的智能门禁系统,解放业主双手,提升小区的科技氛围。
主要工作: 负责人脸检测模块: 改进AlexNet模型的网络结构,三层全连接层修改为卷积层,设置输出为二分类,以满足人脸
检测的业务需求,采集数据集,对数据集进行清洗去重,裁剪分割,翻转镜像等处理,利用Opencv标注人脸,训练模型,分
析结果,优化参数。利用滑动窗口法与最大值抑制进行人脸检测。
货车不进站抓拍系统,已在山西晋中董榆线安装
项目描述:山西多煤车,为利益不惜违法超载,正常煤车重40吨以内,而超重可达60吨,严重威胁公路安
全。同时因治超站多不在公路主线,需从引道进入,所以很多违法车辆闯卡,造成国家税费流失也造成很多公
路事故。货车不进站(治超站)抓拍系统,对闯卡不进站检测的货车进行抓拍处罚,有针对性地解决了由于警
力不足导致货车闯卡严重的问题,为下一步治超提供良好的基础。
系统主要由以下几部分组成:视频监控及抓拍系统、立杆/标志标牌警示、道路标线喷涂。
项目职责:1.抓拍系统车牌识别 2.数据库设计 3.软件API编写 4.算法优化 5.版本迭代
人脸识别系统(2018.12-2019.06)
项目描述:基于Tensorflow 框架,实现MTCNN 模型的人脸识别系统
主要职责:1、取候选窗,生成训练图片;2、通过P-Net、R_Net、O_Net 对人脸进行识别和定位;3、
使用Tensorflow 搭建MTCNN 网络模型;4、训练模型并改进和提高模型可靠性和稳定性;