简历项目涉及到的知识点

今天列举一下简历中项目涉及到的知识点，逐渐补全。

一、基于内容的遥感图像检索系统

1、Hadoop框架，MapRedce并行运算，HDFS文件系统分布式存储。

1）如何让每次Map读取一整幅图片？

2、图像分割算法：tile分割，四叉树分割，Meanshift，Selective Search算法相关知识。其他的图像分割算法（补全）超像素分割

1）四叉树分割：在灰度均匀分布的区域内，灰度的标准方差较小；而在灰度非均匀分布的区域内，灰度的标准方差较大。灰度的标准方差较大的区域可以再分为更小的灰度均匀分布的区域。从原始图像开始，如果他的标准方差超过一个预先设定的值，就把他分为四个象限，对每一个像素在重复进行以上操作，最终把图像分为具体较小的灰度标准方差的块。

2)Meanshift: 聚类的一种，均值漂移.和K-means类似。K-means 需要初始化K个中心点。

3)图像分割：

基于阈值的分割方法、基于边缘的分割方法、基于区域的分割方法（分水岭法）、基于图论的分割方法（Graph-Cut）

4)SLIC（simple linear iterative clustering）超像素分割算法，LAB颜色空间。

1.  初始化种子点（聚类中心）：按照设定的超像素个数，在图像内均匀的分配种子点。假设图片总共有 N 个像素点，预分割为 K 个相同尺寸的超像素，那么每个超像素的大小为N/ K ，则相邻种子点的距离（步长）近似为S=sqrt(N/K)。

2.  在种子点的n*n邻域内重新选择种子点（一般取n=3）。具体方法为：计算该邻域内所有像素点的梯度值，将种子点移到该邻域内梯度最小的地方。这样做的目的是为了避免种子点落在梯度较大的轮廓边界上，以免影响后续聚类效果。

3.  在每个种子点周围的邻域内为每个像素点分配类标签（即属于哪个聚类中心）。和标准的k-means在整张图中搜索不同，SLIC的搜索范围限制为2S*2S，可以加速算法收敛，如下图。在此注意一点：期望的超像素尺寸为S*S，但是搜索的范围是2S*2S。

4.计算距离，迭代直到收敛。

5)Selective Search 

先用Efficient Graph-Based Image Segmentation(基于图论从像素点开始合并像素生成候选区域)得到最初的候选区域，然后应用一种类似于层次聚类的方法，计算相邻的候选区域的相似度（颜色，纹理，大小，fit），合并相似度最大的两个区域，然后计算合并后的区域与相邻区域的相似度，依次合并。最终得到目标区域。

3、特征提取算法实现。SIFT特征及其思想，GLCM纹理特征及其思想，颜色直方图等等特征。

2）SIFT特征：
SIFT算法可以分解为如下四步：
1.高斯差分（DoG）滤波：搜索所有尺度上的图像位置。通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。
2.尺度空间的极值检测和关键点位置确定：对DoG金字塔中的每一层，进行尺度空间的极值检测（极大值和极小值），把每一个极值点作为候选点，在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度。关键点的选择依据于它们的稳定程度。
3.关键点方向确定：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。
4.构建关键点特征描述符：在每个关键点周围的内，在选定的尺度上测量图像局部的梯度。这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。

4、BOVW基本思想。

5、聚类算法及其比较，K-means聚类，谱聚类，AP聚类，DBSCAN聚类，GMM聚类，SOM聚类。

6、组合特征入库存储，Hbase数据库。

7、Ubuntu,CentOS系统。

8、图像检索，计算相似度，排序。

9、可改进的方面：

加入索引：LSH?

图像分块：使用Region Proposal Networks？

特征选取：使用深度特征？

10、项目中遇到哪些困难？如何克服？

11、项目的创新点在哪里？

二、边境异常检测项目

1、该项目是干什么的？

针对获取到的新疆边境地区遥感影像，界定异常行为，发现可疑行为之后预警。

人员异常聚集，异常建筑物。

2、为什么要做场景分类？

不同场景的遥感图像需要做不同的处理，比如沙漠、戈壁、草原、森林等场景属于自然场景，当出现大量的人员、车辆时需要重点关注。城市，道路等场景不需要特别关注。

3、评价一下Keras框架，为什么选它。

库本身的代码比较简单易读,文档比较全，网站上各种模型和示例都有，python编写，易于理解。比较适合我这种新手。封装的比较高级，许多训练细节没法修改，想要弄懂原理，还是要学tensorflow。

4、CNN网络相关知识。

1）卷积神经网络各层的作用：

卷积层：使用卷积核进行特征提取和特征映射    特点:

参数共享：很大限度地减少运算量

局部感知：每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知

多核：一个核的参数是固定的，其提取的特征也会单一化

池化层：很好地聚合特征、降维来减少运算量

5、为什么用softmax？

6、VGG-16模型。