1.模型改进
在上周对简单的模型和复杂模型进行了简单的初步对比后,本周工作内容为在复杂模型上进行结构调整,试图寻找到比简单模型更好的模型结构。
主要尝试的调整包括以下四个方面的内容:
不使用眼部图像,单独使用脸部图像和眼睛相对于的屏幕的信息构建网络
在复杂模型基础上,减少脸部特征的提取数量(一层卷积)
在复杂模型上减少脸部图像卷积后的全连接层(一层全连接)
在获取所有特征后只经过一层全连接输出
具体结果详见:
https://blog.csdn.net/AFXBR/article/details/89643998
2.手势功能
本周实现用户手势的语义理解,从而实现根据手势操作应用.
之前队友使用了Face++进行情绪分析,Face++同样也有手势识别,但是手势的种类有限,因此采用了百度的API.
http://ai.baidu.com/ 找到对应的模块 注册 获得各类Key以后即可使用.
具体的一些要求和Face++类似,无非是图片的一些要求,不再赘述.
2.1.Node.js SDK
整体包结构如下,主要用到的是核心是AipBodyAnalysis.其中的getGesture方法.
├── src
│ ├── auth //授权相关类
│ ├── http //Http通信相关类
│ ├── client //公用类
│ ├── util //工具类
│ └── const //常量类
├── AipBodyAnalysis.js //人体分析交互类
├── index.js //入口文件
└── package.json //npm包描述文件
Nodejs SDK代码已开源,github链接:https://github.com/Baidu-AIP/nodejs-sdk
2.2.连接使用
直接使用node开发包步骤如下:
1.在官方网站下载node SDK压缩包。
2.将下载的aip-node-sdk-version.zip
解压后,复制到工程文件夹中。
3.进入目录,运行npm install安装sdk依赖库
4.把目录当做模块依赖
其中,version
为版本号,添加完成后,用户就可以在工程中使用人体分析 Node SDK。
直接使用npm安装依赖:
npm install baidu-aip-sdk
新建AipBodyAnalysisClient
AipBodyAnalysisClient是人体分析的node客户端,为使用人体分析的开发人员提供了一系列的交互方法
var AipBodyAnalysisClient = require("baidu-aip-sdk").bodyanalysis;
// 设置APPID/AK/SK
var APP_ID = "App ID";
var API_KEY = "Api Key";
var SECRET_KEY = "Secret Key";
// 新建一个对象
var client = new AipBodyAnalysisClient(APP_ID, API_KEY, SECRET_KEY);
此外模块提供了设置全局参数和全局请求拦截器的方法;
var HttpClient = require("baidu-aip-sdk").HttpClient;
// 设置request库的一些参数,例如代理服务地址,超时时间等
// request参数请参考 https://github.com/request/request#requestoptions-callback
HttpClient.setRequestOptions({timeout: 5000});
// 也可以设置拦截每次请求(设置拦截后,调用的setRequestOptions设置的参数将不生效),
//