- 博客(26)
- 收藏
- 关注
RSS订阅原创 task03
多路召回所谓的“多路召回”策略，就是指采用不同的策略、特征或简单模型，分别召回一部分候选集，然后把候选集混合在一起供后续排序模型使用，可以明显的看出，“多路召回策略”是在“计算速度”和“召回率”之间进行权衡的结果。其中，各种简单策略保证候选集的快速召回，从不同角度设计的策略保证召回率接近理想的状态，不至于损伤排序效果。如下图是多路召回的一个示意图，在多路召回中，每个策略之间毫不相关，所以一般可以写并发多线程同时进行，这样可以更加高效。上图只是一个多路召回的例子，也就是说可以使用多种不同的策略来获取用户
2020-12-01 09:20:08
149
原创 天池新闻推荐task02
数据分析http://datawhale.club/t/topic/197/1数据分析的价值主要在于熟悉了解整个数据集的基本情况包括每个文件里有哪些数据，具体的文件中的每个字段表示什么实际含义，以及数据集中特征之间的相关性，在推荐场景下主要就是分析用户本身的基本属性，文章基本属性，以及用户和文章交互的一些分布，这些都有利于后面的召回策略的选择，以及特征工程。建议：当特征工程和模型调参已经很难继续上分了，可以回来在重新从新的角度去分析这些数据，或许可以找到上分的灵感# coding: utf-8#
2020-11-27 08:45:29
189
原创 天池推荐系统task01
**赛题理解：**根据用户历史浏览点击新闻的数据信息预测用户最后一次点击的新闻文章。之前有看过根据用户浏览信息做文章推荐，不过对于预测用户最后一次点击的文章还没有遇到过，拿到这个题目想很久。所以拿到这个题目，我们的思考方向就是结合我们的目标，把该预测问题转成一个监督学习的问题(特征+标签)，然后我们才能进行ML，DL等建模预测。对于该赛题的解决方案应该有了一个大致的解决思路，要先转成一个分类问题来做， 而分类的标签就是用户是否会点击某篇文章，分类问题的特征中会有用户和文章，我们要训练一个分类模型， 对某
2020-11-25 08:45:18
186
原创 redis相关问题
1、安装redis之后 在命令行窗口中输入 redis-server redis.windows.conf 启动redis 关闭命令行窗口就是关闭 redis。 — redis作为windows服务启动方式 redis-server --service-install redis.windows.conf 启动服务：redis-server --service-start 停止服务：redis-server --service-stop...
2020-08-24 11:24:21
116
转载 Redis 21问
1.什么是redis?Redis 是一个基于内存的高性能key-value数据库。2.Reids的特点Redis本质上是一个Key-Value类型的内存数据库，很像memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非常出色，每秒可以处理超过 10万次读写操作，是已知性能最快的Key-Value DB。Redis的出色之处不仅仅是性能，Redis最大的魅力是支持保存多种数据结构，此外单个value的最大限制
2020-08-24 09:25:10
111
原创 怎么从github中克隆项目
在桌面右击打开git bash 默认在桌面文件夹下，克隆后的文件也会保存在桌面输入命令 git clone + guihub地址，enter即可cd + 文件夹地址即可进入该文件目录下输入 ls即可查看当前目录下所有文件git中克隆项目速度很慢可以将github上找到的地址放进 码云 库中转一下，再用码云中的地址在git中克隆会快很多， 或者直接用码云中转过的地址下载zip安装包...
2020-08-21 16:31:36
627
原创 用 pymongo 操作 MongoDB 数据库
1、连接数据库# -*- coding: utf-8 -*-#导入pymongo中的MongoClient模块from pymongo import MongoClient#第一种方法:使用host和portclient1 = MongoClient(host,port)#这里的host是一个ip地址，可以是本机的127.0.0.1，也可以是一个网络地址，也就是说可以不在安装MongoDB的情况下使用MongoDB#第二种方法:使用mongodb urlurl = 'mongodb://ho
2020-08-18 17:50:29
305
原创 Regularization
RegularizationDeep Learning models have so much flexibility and capacity that overfitting can be a serious problem, if the training dataset is not big enough. Sure it does well on the training set, b...
2020-04-17 15:00:37
284
原创 initialization methods 参数初始化
1 - Neural Network modelYou will use a 3-layer neural network (already implemented for you). Here are the initialization methods you will experiment with:Zeros initialization – setting initializatio...
2020-04-16 21:16:02
734
转载 pytorch loss function 总结
19 种损失函数tensorflow和pytorch很多都是相似的，这里以pytorch为例1、 L1范数损失 L1Loss计算 output 和 target 之差的绝对值。torch.nn.L1Loss(reduction=‘mean’)参数：reduction-三个值，none: 不使用约简；mean:返回loss和的平均值；sum:返回loss的和。默认：mean。2、均方误...
2020-04-16 20:10:55
535
原创 Opencv3 tutorial_21对象测量
对象测量一、弧长与面积：1、 轮廓发现2、 计算每个轮廓的弧长与面积，像素单位，通过换算才能得到实际度量单位3、 难点中心位置的求取二、多边形拟合1、 获取轮廓的多边形拟合结果2、 approxPolyDP—contour—epsilon越小越折线越逼近真实形状—close - 是否为闭合区域三、几何矩阵计算1、 难点：如何使用几何矩阵计算对象中心四、相关API代码演示...
2020-04-12 11:41:12
116
原创 代码运行中出现的一些问题收集
1、 报 ZeroDivisionError: float division by zero已知解决办法：发现标注有些png的时候会报ZeroDivisionError: float division by zero 错误，把png转成jpg图像就没这个问题2、...
2020-04-12 11:40:45
272
原创 卷积神经网络
卷积神经网络1、import kerasfrom keras import layersfrom keras import modelsmodel = models.Sequential()model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)))model.add(layer...
2020-04-12 11:39:17
337
原创 tensorflow学习笔记
1、Create placeholdersTensorFlow要求您为运行会话时将输入到模型中的输入数据创建占位符。现在我们要实现创建占位符的函数，因为我们使用的是小批量数据块，输入的样本数量可能不固定，所以我们在数量那里我们要使用None作为可变数量。输入X的维度为[None,n_H0,n_W0,n_C0]，对应的Y是[None,n_y]。...
2020-04-12 11:37:35
133
原创 其他形态学操作
其他形态学操作1、顶帽2、黑帽3、形态学梯度顶帽（tophat）顶帽是原图像与开操作（先腐蚀后膨胀）之间的差值图像黑帽（blackhat）黑帽是闭操作图像与原图像的差值图像形态学梯度（Gradient）1、基本梯度基本梯度是用膨胀后的图像减去腐蚀后的图像得到的差值图像，称为梯度图像也是opencv中支持的计算形态学梯度的方法，而此方法得到梯度也被称为基本梯度2、内部梯度是用...
2020-04-10 16:00:11
245
原创 冈萨雷斯 数字图像处理阅读笔记
冈萨雷斯 数字图像处理阅读笔记第二章2.4 图像的取样和量化1、通过坐标和幅值将图像转化成数字形式，数字化坐标值叫取样，数字化幅值叫量化2、灰度级取值为2的整数(k)次幂3、存储数字图像需要的比特数是 b = M (行)* N(列) * k4、像素p(x,y)的四个相邻像素{(x+1, y), (x-1, y), (x, y+1), (x, y-1)}的集合叫p的4邻域用N4§表示，如...
2020-04-10 15:59:40
544
原创 编程过程中遇到bug解决方案
1、ModuleNotFoundError: No module named ‘planar_utils’解决办法很简单，只需要在对应文件夹里面再建一个文件__init__.py即可运行
2020-04-10 15:58:03
773
原创 Opencv3 tutorial_5 ROI泛洪填充
ROI泛洪填充# ROI 与 泛洪填充import cv2 as cvimport numpy as npdef fill_color_demo(image): # 读取图像进行填充 copyImg = image.copy() h, w = image.shape[:2] mask = np.zeros([h+2, w+2], np.uint8) ...
2020-03-31 00:34:16
164
原创 Opencv3 tutorial_4图像之间的运算
图像之间的算数运算、逻辑运算使用打开对应defimport cv2 as cvimport numpy as npdef add_demo(m1, m2): # m1 + m2 dst = cv.add(m1, m2) cv.imshow("add_demo", dst)def subtract_demo(m1, m2): ...
2020-03-31 00:11:35
145
原创 过拟合(高方差)与欠拟合(高偏差)
过拟合与欠拟合1、机器学习的根本问题是优化和泛化之间的对立优化（optimization）是指调节模型以在训练数据上得到最佳性能（即机器学习中的学习），而泛化（generalization）是指训练好的模型在前所未见的数据上的性能好坏。机器学习的目的当然是得到良好的泛化，但你无法控制泛化，只能基于训练数据调节模型。2、优化和泛化是相关的：训练数据上的损失越小，测试数据上的损失也越小。这时的...
2020-03-30 16:31:31
877
原创 Opencv3 tutorial_3 色彩空间的转换
色彩空间的转换读取视频并且追踪视频中标记的某种色彩通过变化彩色空间，可以实现对视频里的某一特有颜色进行追踪先拆分通道，修改图像通道颜色，再混合三种颜色import cv2 as cvimport numpy as npdef extrace_object_demo(): capture = cv.VideoCapture("C:/Users/LENOVO/Desktop/t...
2020-03-30 00:14:27
159
原创 Opencv3 tutorial_2图像和视频的读取
调取图像的基本信息尝试使用opencv的API处理问题创建新的窗口并且填充色彩建立数组测试OKimport cv2 as cvimport numpy as npdef access_pixels(image): print(image.shape) heigh = image.shape[0] width = image.shape[1] chan...
2020-03-29 23:08:21
127
原创 Opencv3 tutorial_1图像和视频的读取
做图像处理的预先准备读取图片和视频，并查看相关信息每个都亲自测试OKimport cv2 as cvimport numpy as npprint("----------------hi.python!---------------------------")src = cv.imread("C:/Users/LENOVO/Desktop/test image/Image_2020....
2020-03-29 22:07:40
141
原创 图像形态学（开闭操作）
图像形态学（二）开闭操作开操作（open）1、基于膨胀与腐蚀操作组合形成的2、主要应用在二值图像分析，灰度图像也可3、开操作 = 腐蚀+膨胀，输入图像 + 结构元素二值图像对OCR识别、特征分析、轮廓匹配等都有重要作用变成灰度图像的时候，背景最好是黑色的，前景（图像）是白色的，输入图像加上结构元素再进行先腐蚀后膨胀完成开操作开操作可以帮助消除图像中的小的干扰区域，去除一些干扰噪点...
2020-03-29 12:21:13
1073
原创 图像形态学
图像形态学1、是图像处理学科的一个单独分支学科2、灰度与二值图像处理中重要手段3、是由数学的集合论等相关理论发展起来的膨胀3*3的结构元素/模板注意：–腐蚀与膨胀都支持–任意形状的结构元素膨胀的作用（Dilata）或操作也就是最大值替换中心像素1、对象大小增加一个像素（3*3）2、平滑对象边缘3、减少或者填充对象之间的距离腐蚀的作用 （Erode）与操作也就是最小值...
2020-03-29 07:53:17
1399
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人