2021-07-27

百度飞桨第一课

第一课：让人拍案叫绝的创意都是如何诞生的

1.1：创意来源于组合

老师：韩磊

创意：将现有的想法进行某种组合，例如美人鱼（人和鱼的结合）

所以假如让你创造一个新的生物，很难逃出现有生物的特征。

趣味项目

1、游戏复刻：（二仙桥）

2、特效复刻：（识别人嘴巴并放大），换天空

3、效果复刻：（把很多帧的人物叠加，空间域相加，时间域相加）

4、表情机器人：Wechaty，一个开源聊天机器人框架sdk，支持python，java等语言，通过几行代码可以创建一个聊天机器人

1.2：零代码实现安全帽检测模型

老师：顾茜/ PPDE

零代码实现安全帽检测模型

背景介绍：

背景介绍:目标检测任务与安全帽佩戴检测

目标检测任务
目标检测的任务是找出图像中所有感兴趣的目标(物体)， 确定它们的位置和大小，是计算机视觉领域的核心问题之一。由于各类物体有不同的外观，形状，姿态，加上成像时光照，遮挡等因素的干扰，目标检测一直是计算机视觉领域最具有挑战性的问题。

安全帽佩戴检测模型
安全帽佩戴检测是计算机视觉在工业安全领域应用的典型场景。
本文使用PaddleX GUI进行迁移学习训练，可实现安全帽检测模型的0代码开发。
同时介绍了PaddleX的实时视频流预测部署、PaddleHub-Serving。
基于PaddleX /PaddleDetection+ Paddle-Lite,也可以实现安全帽检测模型在树莓派上的部署。

开发流程：

安全帽检测任务:开发流程

A：数据采集与标注
B：模型开发
C：模型部署

树莓派部署：

1.训练并导出部署模型
PaddleDetection训练ssd-mobilenet检测模型,使用PaddleLite导出部署模型

2.树莓派环境准备
在树莓派上安装Paddlelite预编译库

3.拉取部署项目，替换默认标签
到Paddle-Lite-Demo中拉取部署项目示例，并准备好安全帽检测标签

4.实现蜂鸣器报警模块
微调示例代码，加入蜂鸣器报警和检测图片保存模块

"以终为始”

场景驱动项目

从问题找到想解决的场景，为实现某个特定场景的解决方案，探索形成一系列“创意”项目。

1.一个想法
结合实际问题，产生关于一个场景的想法。

2.尝试验证
可以从易到难，从最熟悉的思路做起，开始尝试解决方案。

3.用项目记录进展
一个孤立的项目不能形成一套解决方案，但可以逐步探索，每一次探索可能就产生了新的项目。

项目创意

项目创意:面向不同场景的解决方案

01：目标检测落地
	布匹、白酒等瑕疵检测项目
	树莓派检测模型全流程系列项目

02：脚本任务怎么用
	各大模型库脚本任务系列项目
	
03：比赛or课程
	面向比赛和课程开发的项目

04：网页、邮件安全解决方案
	PaddleNLP系列项目。

找官方要灵感:各种“小众”模型库
多翻github有惊喜.. . ..

Parakeet：有意思的语音合成项目。
PGL：门槛较高又热门门的图神经网络。
EasyEdge：潜力巨大的全流程部署平台。

1.3：创意源于生活

老师：颜鑫/飞桨开发者技术专家

创意:来源于生活

创意:来源于生活

生活中的创意来源
01：社会管理
02：生活出行
03：新闻资讯
04：......

举例：
01：社会管理：
	公共场所下的吸烟检测
02：生活出行：
	车辆事故检测系统，路障检测
03：新闻资讯：
	森林火灾检测系统
04：日常生活：
	垃圾分类

垃圾分类作品背景及创意：

作品背景及创意

垃圾分类愈发重要
	国家机关事务管理局印发通知，公布《公共机构生活垃圾分类工作评价参考标准》;《上海市生活垃圾管理条例》正式成为地方性法规，2019年申城成为全国第一个实行垃圾分类的城市。[新闻资讯]

垃圾分类进展缓慢
	社会调查结果显示，有约2.38%的群众从未进行过垃圾分类，57.14%的群 众偶尔垃圾分类，只有约40.48%的群众经常进行垃圾分类。在日常生活中，也只有53.66%的人能确保垃圾能够正确分类，存在近半数的群众缺乏基本的垃圾分类知识。[社会管理]

当前的垃圾分类方案：

当前的垃圾分类方案

只聚焦于手机小程序/APP而忽略实际使用场景
	当前市场上垃圾分类的相关产品绝大多数的载体在于小程序或者APP，但在实际使用中，很少有人愿意打开小程序或者APP去进行垃圾分类。[市场缺乏]
	
只关注于群众是否自觉进行垃圾分类而忽略监管
	当前垃圾分类的相关产品的聚焦点绝大多数均集中于普通群众是否自觉并正确进行垃圾分类，而忽略了正常监管的参与。[社会管理]

项目技术可行性评估

项目技术可行性评估

清晰的技术路线能有效评估项目的可行性

数据：AIStudio，Kaggle，天池，讯飞
训练：PaddlePaddle，PaddleX，Paddlenlp，PaddleGan
部署：PC端，树莓派，服务器，小程序/APP

项目技术可行性评估

慧眼识垃圾

1.数据获取及处理：
	在AIStudio等数据集平台选取合适的开源数据集或自己动手制作数据集，并根据自己选取的开发工具对数据集进行适应性处理。

2.模型训练及压缩：
	python低代码视频流预测；Hub Serving服务化部署，EasyEdgeAPP部署。

3.模型部署
	根据部署环境的不同，选取ResNet50_vd_ssld或MobileNet v3等模型进行针对性训练及压缩。


EasyEdge部署
	参考教程:htts://aistudio.baidu.com/ aistudio/projectdetai|/1757082
测试部署
	基于PyQt5可视化部署，B站链接: https://www.bilibili.com/video/BV1354y1b7H7/

1.4：看图写诗的创意是如何诞生的

老师：郑博培：百度飞桨开发者技术专家

项目背景:创意来源(通用版)

思路来源于GitHub_上的”狗屁不通文章生成器”

	“狗屁不通文章生成器’"的原理很简单，在没有用到深度学习模型的情况下，只要输入关键字就能随意生成字数上万的文章。
	看到这个项目以后，我就在想，能不能实现其他更高级的操作?于是，我想到了根据图片生成文章的想法。
	日常生活中，我们经常会遇到在拿起手机准备发朋友圈的时候，却不知道在选好图片后要写什么文案的情况;又或者是看到一处美景时，想不出别的高级形容词，只会说: "天哪，太好看了吧!”。
	PaddleHub有很多PaddlePaddle生态下的预训练模型，能非常快速地完成模型的管理和预测。
	因此，我基于PaddleHub制作了看图写诗的项目。

实现思路:
类比人类看图说话的方法让Al也能看图"说话"

1.获取图像信息
	就像人类看图说话一样，要想让机器看图"说话”，首先要让机器看懂图片即这张图片是什么。
	(图像分类，类别信息)
	(多目标目标检测)

2.扩展关键字
	有了图片的关键信息以后，我们需要把这些关键字串起来，因为我们的任务是写诗，所以我们将关键字组合成一首古诗
的上阕。（近义词，等等，关键字关联）

3.得到古诗词
	因为PaddleHub有生成古诗词的预训练模型，所以根据古诗词的上阕，我们就能很轻松地得到模型生成的下阕，最后组合起来就是一首完整的古诗了。

项目背景:创意来源(中秋特别版)

古有文人墨客举杯邀明月，今有百度飞桨看月写诗。
	中秋节以月之圆兆人之团圆，为寄托思念故乡，思念亲人之情，祈盼丰收、幸福。如今，在中秋节赏月、吃月饼、猜灯谜等已经成为了这一天必不可少的项目。
	古有文人墨客举杯邀明月，今有百度飞桨看月写诗。为了将我们中华民族的优秀传统文化发扬光大,我也打算写一写诗，但不同的是，我打算让AI自己写诗。

实现思路:
类比人类看图说话的方法让Al也能看图"说话”

1.使用目标检测获取
	图像内物体的信息就像人类看图说话一样，要想让机器看图”“说话"，首先要让机器看懂图片即这张图片是什么。

2.将识别结果送入
	文本生成模型有了图片的关键信息以后，直接将关键字送入根据关键词生成古诗词的模型，得到一首古诗的上阕。

3.将上阕送入古诗生成模型
	因为PaddleHub有生成古诗词的预训练模型，所以根据古诗词的上阕，我们就能很轻松地得到模型生成的下阕，最后组合起来就是一首完整的古诗了。

总结：

1.从技术出发
2.从场景出发
3.从可以改进的地方出发