缄默笔记-CSDN博客

原创推荐系统(十二) 门控机制在CTR模型中应用梳理

门控机制在推荐系统被广泛应用，如多任务模型MMOE、PLE等，其主要作用相当于一个调节阀，控制信息流入或流出的程度，本文主要梳理几个包含门口机制思路的CTR模型。

2022-03-26 10:50:01 2746

原创推荐系统(十) 「知识梳理」CTR模型中连续特征加入方法

主要梳理CTR模型中连续特征加入方法：No Embedding、Fileld Embedding、硬离散化、软离散化。

2022-03-19 16:46:09 594

原创推荐系统(十一) 2021-2022年工业界推荐算法实践经验汇总

对2021-2022年，工业界推荐算法实践经验进行了梳理，主要以下七个维度进行归纳：推荐系统演化、召回、双塔模型、排序模型、重排模型、多目标模型、智能算力。

2022-03-19 16:35:12 1242

原创 ContextNet：基于上下文信息优化特征Embedding的CTR模型

逐层动态优化(dynamically refine)特征embedding向量，也是非常重要的。本文提出通过上下文信息动态优化特征embedding的CTR预估框架ContextNet

2022-03-06 22:30:19 3314

原创 2021年「顶会论文」特征交叉相关CTR模型汇总

主要介绍2021年顶会论文中，特征交叉相关的CTR模型，主要介绍7篇论文模型。

2022-03-06 22:27:11 675

原创语义分割学习笔记（五）——DenseImageData 数据层

1 参数message DenseImageDataParameter { // Specify the data source file. optional string source = 1; // Specify the batch size. optional uint32 batch_size = 2; // The rand_skip variable is f

2017-11-27 20:27:50 1865

原创语义分割学习笔记（四）——ENet 训练问题

根据ENet说明https://github.com/TimoSaemann/ENet/tree/master/Tutorial ，进行训练遇到以下问题1 No module named spatial_dropout ENet通过python接口定义了新层spatial_dropout，根据说明直接在终端启动训练，出现“No module named spatial_dropout”

2017-11-14 15:00:47 4223 7

原创语义分割学习笔记（三）——SegNet Upsample层解析

1 参数设置message UpsampleParameter { // DEPRECATED. No need to specify upsampling scale factors when // exact output shape is given by upsample_h, upsample_w parameters. optional uint32 scale = 1

2017-11-02 10:29:08 4728 1

原创语义分割学习笔记（二）——Windows下 Labelme 配置

1配置1.1资源下载 MIT分割标定工具：http://labelme2.csail.mit.edu/Release3.0/index.php?message=1 python版本：https://github.com/wkentaro/labelme 1.2python版本配置首先安装Anaconda，安装后，在命令窗口用conda ...

2017-10-28 14:11:50 2814 1

原创语义分割学习笔记（一）——SegNet 配置与训练

1 配置1.1 资源下载与参考 SegNet版本caffe： https://github.com/alexgkendall/caffe-segnet https://github.com/TimoSaemann/caffe-segnet-cudnn5参考：项目主页：http://mi.eng.cam.ac.uk/projects

2017-10-25 09:46:12 3551

原创 2018校招——机器学习问题汇总

说明：问题主要来自牛客网面经。LR 专题1 讲一下逻辑回归，及优缺点2 用代码写出LR的损失函数（目标函数），损失函数如何推导？3 LR的优化方法及区别，梯度下降有哪几种4 LR的思想 LR对输入和输出的分布假设5 LR可以用来处理非线性问题么？怎么做？可以像SVM那样么？为什么？6 LR模型为什么采用似然估计？7 LR为什么要用对数似然，不用平方损失和绝对值

2017-10-19 10:36:52 1527

原创 L1 L2正则化及贝叶斯解释

1 L1正则化和L2正则化区别L1得到的是稀疏权值，可以用于特征选择，假设参数服从Laplace分布（贝叶斯角度理解）L2得到的是平滑权值，因为所有权值都趋于最小，假设参数服从Gauss分布，(并趋于一致，因为一致时平方和，最小)2 L1正则化稀疏解理解2.1问题转化2.2图形化解释 2.3其他理解2.4

2017-10-19 10:19:58 3051

原创 Caffe学习笔记（九）——python接口各网络层构建

构建网络一数据层1 基本说明layer { name: "cifar" //层的名字 type: "Data" //层类型 Data表示表示数据来源于LevelDB或LMDB top: "data" //输出层 top: "label" include { //该层属于训练阶段的层 phase: TRAIN } transfor

2017-05-29 22:29:38 1261

原创 caffe学习笔记（八）——binaryproto 转 npy、mat文件

主要介绍：对于caffe生成的均值文件binaryproto，在python和matlab接口使用时，如何转化为npy、mat文件。一转npy文件#!/usr/bin/env pythonimport numpy as npimport cafferoot = 'F:/Data/'binary_path = root + 'mean_train.binaryproto' #bi

2017-05-29 22:21:24 3542

原创 Caffe学习笔记（七）—— solver参数说明及利用自己的数据集对权值微调

本文主要介绍：在进行网络训练和权值微调过程中，需要对solver中的参数进行设置，本文主要介绍solver中的参数设置，以及如何利用自己的数据集，对权值进行微调。1. solver参数设置net: "train_val.prototxt" //深度学习模型的网络结构文件test_iter: 1000 //1000指的是测试的批次，测试样本较多时，一次性执行全部数据，效率

2016-09-04 17:21:23 4824

原创 Caffe学习笔记（六）—— Windows下训练自己的数据

本文主要介绍：Windows下，根据自己的数据训练自己的网络模型。1. 图像数据转化为lmdb格式转化方法及过程参考 http://blog.csdn.net/hong__fang/article/details/52424690，根据训练数据和测试数据，建立两个文件名及标签txt文件，train.txt和val.txt，然后运行comput_image_mean.bat，生成两个

2016-09-03 20:43:01 13471 4

原创 Caffe学习笔记（五）—— 相关cpp编译及数据转成lmdb格式

本文主要介绍：Windows下，如何caffe-windows-master\tools 文件夹中的cpp进行编译和调用，以及如何把图像转化为lmdb格式。1. 相关cpp编译1.1 创建控制台工程在caffe-windows-master 目录下创建空白控制台工程，编译环境设置为：Release x64，把caffe-windows-master\tools 文

2016-09-03 19:56:50 7312

原创 Caffe学习笔记（四）——Windows 下caffe配置相关问题说明

本文主要介绍：Win10 64位系统下，再次配置caffe，遇到了一些新的问题，现对这些问题及其解决方法进行总结。详细的安装配置过程见以前博客：Caffe学习笔记（一）——Windows 下caffe安装与配置1. CUDA的安装问题CUDA的安装过程可以参考CUDA 7.5 安装及配置(WIN7 64 英伟达G卡 VS2012)，但参考到第九步即可，第十步及其以后的过

2016-09-01 15:49:04 17147 3

原创 Caffe学习笔记（三）——Matlab接口

本文主要介绍：Windows下Caffe框架的Matlab接口，即Matlab如何调用Caffe框架中的函数，进行分类、提取特征以及训练。1 官网说明官网：点击打开链接2 注意事项待续。。。

2016-07-31 21:19:26 10160

原创 Caffe学习笔记（二）——AlexNet模型

深度学习笔记1 LeNet-5 21.1 局限性 21.2 理解 22 AlexNet 2.1 结构介绍 42.1.1 ReLU非线性 42.1.2 在多个GPU上训练 42.1.3 局部响应归一化 42.1.4 重叠Pooling 52.1.5 减少过拟合 62.2 总体结构 82.2.1 总体介绍 82.2.2 各层运算、维度和参数 92

2016-07-31 20:56:02 18308

原创 GDAL生成等高线——等值线

本文主要介绍：利用gdal的函数，根据DEM图像，生成等高线或等值线，两种方法，一种是利用GDAL自带的exe文件，一种是利用GDAL函数。说明：GDAL使用版本为Gdal2.0.0。1 利用GDAL自带exe，生成等高线1.1 参数说明具体说明可见：GDAL实用工具简介官网说明：gdal_contour.exe1.2 调用exe程序//数字转 stringstring Float2S

2016-06-07 17:24:32 10665 1

原创 GDAL栅格矢量化

本文主要介绍：利用GDAL函数直接把图像转化为矢量图。说明：以下程序GDAL版本为Gdal2.0.0，如果使用低版本gdal库，会出现一些问题。1 头文件及声明 //栅格矢量化#include "gdal_alg.h"#include "gdal_priv.h" //添加GDAL库函数的头文件#include "ogrsf_frmts.h"int WriteShpFile(cons

2016-05-20 12:44:58 4451 1

原创 GDAL写矢量图

本文主要介绍：利用GDAL库写矢量文件，把栅格图转化为矢量图。1 相关资源 GDAL官网，ORG相关函数和读写矢量图介绍：http://www.gdal.org/ogr_apitut.html ORG相关函数及说明的中文资料：OGR入门2 写矢量函数 2.1 shp文件中写多边形int WritePolygonShp(){ const char *p

2016-05-20 11:42:50 2913

原创 Caffe学习笔记（一）——Windows 下caffe安装与配置

本文主要介绍：经过一番周折，在Windows7 64位系统下成功配置Caffe，下面总结一下基本的配置过程，以及配置过程中遇到的问题。配置环境：Windows7 X64 + CUDA7.0 + VS2013 + Matlab2014a1.安装CUDA1.1. 版本选择至于版本的选择，安装7.5、7.0和6.5版本都可以，安装包网上到处可见，分享一个自己安装的版本：h

2016-05-04 21:32:14 60456 3

原创 OpenCV 常用函数(一)

本文主要介绍：Opencv常用函数，如均值、最大最小、归一化、滤波、旋转、求连通域等函数。一、基本函数//初始化Mat img = Mat::zeros(Height, Width, CV_8UC1);Mat img = Mat::ones(Height, Width, CV_8UC1);Mat img(Height, Width,CV_32FC1, Scalar(5))

2016-04-19 16:23:47 29575

原创 QT聚类(Quality Threshold Clustering)

本文主要介绍：QT聚类原理、优缺点及其实现。1 聚类过程比较简单的一种聚类方法，通过限定类额直径来聚类，大致过程如下（1）设定聚类直径阈值D;（2）以每一个样本为初始聚类中心，在特征空间，逐渐合并与之最近的样本，直到增加样本时，该类的直径将超过给定阈值D；直径D内的所有样本归为一类；（3）以每个样本为初始中心聚类完成后，把样本最多的一类作为第一类，从样本中移除该类样本，余下样本

2016-03-11 21:30:15 3071

原创 OpenCV常用函数——图像采样

本文主要介绍：Opencv实现图像采用。1.Mat数据类型：/*********************************************************************** 函数名称：MatImgSample 函数功能：对IplImage类型的图像进行采样函数参数： src :原图像 dRatioX ：列采样比率，0.5为2采样 dRa

2016-03-04 20:16:32 5096

原创 SPM——Spatial Pyramid Matching

1 基本介绍 SPM 全称是Spatial Pyramid Matching，出现的背景是bag of visual words模型被大量地用在了图像表示（Image representation）中，但是BOVW模型完全缺失了特征点的位置信息。SPM考虑空间信息，将图像分成若干块(sub-regions)，分别统计每一子块的特征，最后将所有块的特征拼接起来，形成完整的特征，这就是SPM

2016-01-21 19:13:16 9143 1

原创 BOF——Bag-of-Featrures

本文主要介绍：BOF（Bag-of-Featrures）的原理及其应用。1.1 引言文档分类领域有一种模型称为词袋（Bag of words）模型，它是自然语言处理与信息检索过程中的一种简化模型。在这种模型中，文本（段落或文档）被视为忽略了语法甚至语序的无序词汇集合。文本中每个单词的出现都是独立的，不依赖于其他词是否出现。词袋模型对文档分类有着重要的作用，它提出了一种基于统计的

2016-01-20 21:08:01 4720 1

原创直方图交叉核

本文主要介绍：直方图交叉核（Histogram intersection kernel）又称 Pyramid match kernel，本文主要介绍其原理与计算方法。1. 基本思想直方图交叉核（Histogram intersection kernel）又称Pyramid match kernel，该核是一种基于隐式对应关系的内核函数，解决了无序、可变长度的矢量集合的判别分类的

2016-01-20 20:31:31 9313 8

原创图像处理基础知识（三）——根据主轴方向旋转至水平或垂直方向

本文内容：主要介绍根据主轴方向，把图像旋转至水平或垂直方向，以及求最小外接矩形长宽比。1.旋转至水平方向2.旋转至垂直方向3. 求连通域最小外接矩形长宽比 for(i=0; i<Boundry.size(); i++) { xMap=Boundry[i].x*A[0][0]+Boundry[i].y*A[0][1]; yMap=Boundr

2015-12-08 19:42:33 4860 1

原创图像处理基础知识（二）—— 中心矩求主轴方向

本文内容：主要介绍中心矩的定义，以及利用中心矩求取图像主轴方向。1.4 matlab求取归一化中心矩、hu不变矩和主轴方向function test % atan(phi) 值域为[-90,90] atan2(y,x) 值域为[-180,180]% 2phi范围为[-180, 180] 因此此处应用atan2% 所求主轴方向，为与x轴正向最小夹角，

2015-11-15 20:17:52 11694

原创图像处理基础知识（一）—— 图像旋转

本文内容：主要介绍图像旋转的正反映射矩阵。

2015-11-15 18:29:37 2063

原创 MFC基础知识（九）——几种创建DLL动态库的方法

本文主要介绍：用VS创建DLL动态库的几种方法： 1. 创建DLL工程+MFC头文件 2. 创建DLL工程+空项目 3. 创建控制台应用程序+MFC头文件1.创建DLL工程+MFC头文件（1）应用程序设置：

2015-09-11 11:44:39 2139

原创 libsvm在matlab中使用

安装及测试过程见： http://noalgo.info/363.html以下是使用过程中总结： 1. svmtrain 和svmpredict 输入参数train_label train_mat test_label test_mat都是double型，因此调用时需要注意数据类型；2.如果不知道test_label 要用一个矩阵代替，test_label不能缺省；3.heart_scal

2015-07-27 11:14:41 6466 2

原创 C++重载运算符

本文主要介绍：结构体中重载运算符、类重载运算符以及容器排序重载运算符。 1、结构体重载运算符typedef struct tagSaveImgFile{ tagSaveImgFile &operator = (tagSaveImgFile &other) //放在结构体内部 { m_scale = other.m_scale; m_imgPath

2015-07-10 17:17:24 959

原创 C++字符串之间转化——Unicode字符集

本文主要介绍：Unicode字符集下字符串之间以及字符串与数字之间的转化。 1.string、char*与 const char* <1>string->char*char *ctr = new char[str.length()+1]; strcpy(ctr,str.c_str()); delete[]ctr; //用完后释放字符串<2>string->const char*

2015-07-03 17:12:57 6076

原创 C++写XML

本文主要介绍：C++中利用TinyXml库写XML文件。一、TinyXml库配置详细配置见： http://blog.csdn.net/hong__fang/article/details/43340191 二、写XML文件程序 1.TinyXml中的一些类： TiXmlBase：整个TinyXML模型的基类。 TiXmlAttribute：对应于XML中的元素的属性。 TiXm

2015-07-03 16:15:23 1582

原创 C++字符串之间转化——多字节字符集

一、字符串之间转化 1.string、char*与 const char* <1>string->char* char *ctr = new char[str.length()+1]; strcpy(ctr,str.c_str()); delete[]ctr; //用完后释放字符串<2>string->const char* string str("good");

2015-07-03 11:31:09 1721

原创 C++计时器

本文主要介绍：C++中对运行程序进行计时。一、计时程序 .h文件：#pragma once#include <windows.h> //头文件 typedef struct { LARGE_INTEGER start; LARGE_INTEGER stop; } stopWatch; class CHRTimer {

2015-07-03 10:15:29 1445 2

GDAL生成等高线等值线

利用GDAL函数生成等高线（等值线），保存结果为shp文件，即矢量图，通过arcgis可以显示其海拔高度。

2016-06-07

TinyXml库文件

共三个版本： lib版本:只需要按动态库的方式,添加相应路径即可，不需要把 .h .cpp文件添加到工程中，支持的编码形式为 ANSI 空白工程和预编译头文件版本，没有生成lib文件，需要把.h .cpp添加到工程中，前者建工程时为空白工程，即没有stdafx.h 后者为建工程时，添加了预编译头文件，有stdafx.h，编码方式为 UNICODE

2016-06-05