- 博客(62)
- 收藏
- 关注
RSS订阅原创 目标检测Loss 比较
1.L1 vs L2 vs Smooth L1对比: https://www.jianshu.com/p/19483787fa24.从梯度方面分析：smooth L1 loss能从两个方面限制梯度：当预测框与 ground truth 差别过大时，梯度值不至于过大；当预测框与 ground truth 差别很小时，梯度值足够小。...
2020-12-29 16:20:02
593
原创 目标检测（3）anchor free：FCOS解读
PDF: https://arxiv.org/pdf/1904.01355.pdf.CODE： https://github.com/tianzhi0549/FCOS/.1.思路来源segmentation方法应用在object detection上。model：FCN。FCN使用在语义分割、关键点检测等领域使用的很好，能否迁移到检测任务上。2.anchor box介绍：使用在one-stage和two-stage中，用于bbox框的检测。缺点：1、检测效果受到anchor的size、ra
2020-12-10 20:39:40
776
原创 finetune心得
（1）测试新网络1.github上拉网络下来先根据tutorial测试网络2.根据costum数据集进行code修改。3.可能出现的train的问题：loss：较大 （可能欠拟合，更好的batch_size或者lr等进行调整）
2020-12-09 11:27:19
259
原创 important block（1）
1.深度可分离卷积可分离卷积：空间可分离卷积和深度可分离卷积。空间可分离卷积：将大的卷积核变成两个小卷积核的乘积。深度可分离卷积：深度卷积+逐点卷积深度卷积：卷积核拆分成单通道形式，对每个通道进行卷积。逐点卷积：1*1卷积核，进行通道融合。过程：例如：Conv：input:12×12×3 + 5×5×3×256卷积核====>output:8×8×256SeparableConv:input:12×12×3 +5×5×1×3卷积（逐个通道）===>mid:8×8×3 +
2020-11-27 14:23:10
200
1
原创 backbone（1）：mobilenet
1.mobileNet轻量级神经网络(1)mobileNet v1model：将VGG标准卷基层替换成深度可分离卷积网络模型：VGG中Conv改为SeparableConv激活层：用Relu6 = min(max(0,x),6)(2)mobileNet v2v1问题：深度卷积部分的卷积核比较容易训废掉：训完之后发现深度卷积训出来的卷积核有不少是空的原因：Relu:对低维度做ReLU运算，很容易造成信息的丢失。而在高维度进行ReLU运算的话，信息的丢失则会很少。这就解释了为什么深度卷积的卷积
2020-11-27 14:12:34
724
1
原创 目标检测（2）RetinaNet解读
1.核心：one-stage方法：速度快，但有大量候选区，只有少部分为真实标记的，导致计算loss的时候正负样本不平衡。two-stage方法：可以得到高的精确度，却不能保障速度要求。思考：能不能找到一种方法，既保证精确度，又保障速度。2.解决:Focal Loss的提出就是在one-stage的基础上解决accurary的问题。one-stage精确度底的本质：类别不平衡导致，导致计算loss时，以类别多的为主导地位。提出Focal loss:不是解决异常值问题，而是通过控制样本分类难以
2020-08-14 11:26:31
475
原创 目标检测（1）疑难问题分析
目标检测1.Spatial Pyramid Pooling 和Feature Pyramid Network1.Spatial Pyramid Pooling 和Feature Pyramid Network（1）Spatial Pyramid Pooling 是金字塔池化。应用在SPP-Net及Faster RCNN中，对不同的feature，转化成大小一致的feature map。在Fast-Rcnn中ROI pooling== SPP。（2）Feature Pyramid Network 多通
2020-07-30 18:14:59
258
原创 python(9) Django CSRF
1.CSRFcsrf：防止跨站攻击。思路是：匹配客户端和服务段加密信息是否一致流程：get请求是{%csrf_token%} 会生成一个字符串（隐藏域中）post请求时，隐藏域字符串传给服务器加密，如果cookie中字符串加密后与前面的相同，则信息安全。2 图解CSRF3.中间件1.中间件流程图设置中间件（1）mymiddleware 创建package(2)setti...
2019-11-23 21:46:43
141
原创 python Django（8）
1.基于函数的视图和基于类的视图1.用基于类的视图，可以自动识别是get 还是post 类型。只需要重写 get post 方法就行了子urls中from django.urls import path,re_pathfrom stu import viewsurlpatterns = [ path('',views.IndexView.as_view()), re...
2019-11-22 20:27:12
220
原创 python Django（7）
1.重定向访问一个网站，结果访问了另一个地址。第一次访问，走到viewsviews中进行重定向，重新访问另一个界面再访问另一个地址302 重定向通过HttoResponseRedirect()301 永久性重定向redrect(地址‘，permanent = true)301 302 的区别是没有中间的第2步（服务器缓存下来了）(1)HttoResponseRedirect...
2019-11-21 17:54:12
151
原创 python Django(6)
1.配置urls的方式 正向python3中的配置：1.位置传参：参数依次取值 re_path(‘query/(\d{2})’,views.index1)2.关键字传参：？P<关键字> re_path(‘query1/(?P[0-9]{4})/(?P[0-9]{2})’,views.index2)例子：方式2：方式3：方式4：2.反向...
2019-11-16 00:23:34
203
原创 python Django(5)
1. 学生注册功能1.新建 django项目2.创建apppython manage.py startapp stu3.修改根路由urlpath(’/student’，include(‘stu.urls’))4.创建子路由new一个python文件5.views中创建function（1）如果是GET请求，访问页面。html <form action="/student/...
2019-11-11 15:27:35
279
原创 python Django(4)
1. 创建数据库表1V1人和身份证1Vmany一个班级多个学生manyVmany课程和学生uuid 唯一的字符。不可能重复。 唯一id2.数据库迁移失败如何处理3.创建多表1V1人和身份证1Vmany一个班级多个学生manyVmany课程和学生CASCADE 级联删除，...
2019-11-07 18:28:46
158
原创 python7 Django（2）
1.注册功能1.建立django项目2.创立apppython manage.py startapp stu3改setting.py中的参数INSTALLED_APPS4.urls.py中 建立预测路径加子路由 ath(‘register/’,include(‘stu.urls’))5.在stu中建立子路由6.views.py中创立function，并在判断在GET请求时候渲染页面，...
2019-11-02 20:29:25
204
原创 PySpark(二）RDD 常见算子及RDD运行model
五、RDD 常见算子transformation: RDDA ====》 RDDB 的中间过程为transformation例如，map是一个转换，它通过一个函数传递每个数据集元素，并返回一个表示结果的新RDD特点：Spark中的所有转换都是惰性的，因为它们不会立即计算结果。相反，他们只记得应用于某些基础数据集的转换（例如文件）。仅当操作需要将结果返回到驱动程序时才会计算转换。这种设计使S...
2019-08-20 21:15:14
1385
原创 推荐算法（9） CTR预测
一、CTR介绍 在计算广告中，CTR是非常重要的一环。对于特征组合来说，业界通用的做法主要有两大类：FM系列和Tree系列。 在传统的线性模型中，每个特征都是独立的，如果需要考虑特征与特征之间的相互作用，可能需要人工对特征进行交叉组合。非线性SVM可以对特征进行核变换，但是在特征高度稀疏的情况下，并不能很好的进行学习。现在有很多分解模型可以学习到特征之间的交互隐藏关系，基本上每个模型都只适...
2019-07-18 17:31:14
2448
原创 面试题集合（2）深度学习中的优化方法
深度学习中的优化算法：一、梯度下降SGD：mt=gt,vt = I^2SGD with Momentum: mt = βm(t-1)+（1-β）gt （也就是说，t 时刻的下降方向，不仅由当前点的梯度方向决定，而且由此前累积的下降方向决定。）SGD with NAG: （知道在时刻t的主要下降方向是由累积动量决定的，自己的梯度方向说了也不算，那与其看当前梯度方向，不如先看看如果跟着累...
2019-07-17 16:36:28
774
原创 python6 js
1.JS基本语法：1.js引入方式js是脚本语言，可以在浏览器中执行。js文件是以.js为结尾的，引入html文件中时使用script标签，这时script需要添加一个属性src，src中写js文件的路径；但是js还可以直接写在html当中，在html中需要使用 标签中写js代码在html内部写js时，script标签可以放在head中，可以放在body中，还可以放在body后...
2019-07-08 21:24:55
123
原创 python5 html
一、常见的html元素1.html的作用：定义整个页面"长"成什么样子，相当于网站的骨架。2.html搭骨架的标签：标题标签：h1~h6容器标签：div :定义大的模块段落标签：p ：段落行内标签：span ：元素内容可以在同一行显示，是个行内元素跳转标签：a ：跳转，有个href属性，属性中放网络路径，点击时会跳转到指定的网络路径中还有一个属性叫target，target属性...
2019-07-05 21:37:00
316
原创 大数据推荐系统（9）实战
一、公共部分（离线和在线都可使用）1.参数设置 redis的参数 kafka的参数package com.dylan.recom.common;public final class Constants { public static final String REDIS_SERVER = "master"; public static final String KAFKA_SER...
2019-06-26 20:48:58
5317
1
原创 主题分布
PLSA的推导:主要通过文档生成主题，主题生成词的逆过程来求解。求解的方式：化简成主题分布，和词分布的两个参数的形式。再用EM方法求解https://blog.csdn.net/m0_37788308/article/details/78115378LDA模型：在PLSA的基础上加上了贝叶斯框架先用用一个Dirichlet分布去取主题，再用一个Dirichlet分布去取词。htt...
2019-06-21 11:58:15
1280
原创 大数据推荐系统（8）分布式数据收集和存储
推荐系统数据user 用户基本信息item 产品信息user行为 用户访问日志（不同行为存在不同机器上和系统上）分散的数据源（由不同系统组件产生，部署在不同机器上）：用户访问日志用户购买日志用户收藏日志用户搜索日志日志收集：Flume/ /Scribe （日志排序）关系型数据：用户注册信息：保存在关系型数据库MySQL、Oracle等传统数据库与Hadoop 同步。数据收...
2019-06-20 17:28:46
3775
原创 大数据推荐系统（7）推荐系统与Lambda架构
推荐平台基本架构HDFS 日志数据MySQL Oracle 结构化数据 JDBG数据源MapReduce : mahout Spark:ml、mllib（从HBase中读取数据）HBase:：数据做选择， 数据需要大数据平台，能建模，能大规模数据访问。 （表结构）服务层前有redis 内存的存储。（生成的推荐的列表）Web Service 图形展示结果数据加载数据...
2019-06-20 15:33:37
1990
原创 大数据推荐系统（6）Spark
一、概述MLLib 是基于Spark 引擎实现的机器学习算法库良好的扩展性和容错性充分利用了Spark 扩展性和容错性属于Spark 生态系统重要组成部分实现了大部分常用的数据挖掘算法（1） 聚类算法（2）分类算法（3）推荐算法MLlib协同过滤实现：ALS推荐流程加载数据集将数据集解析成ALS要求的格式将数据集分割成两部分：训练集和测试集运行ALS，产生并评估模...
2019-06-19 19:50:53
1871
原创 大数据推荐系统（5）Mahout
开发环境：Linux + Intellij IDEA(IDE) +SBT（Simple Build Tool）(项目管理工具) 和 Maven + 持续集成：Jenkins（Jenkins是基于Java开发的一种持续集成工具，用于监控持续重复的工作）Spark 基于内存，图调度，算子简单。 scalaH2O 预测分析的平台Flink 做流处理的平台 （也可做批处理）Mahout架构...
2019-06-17 21:45:55
2381
原创 大数据推荐系统（4）推荐算法
一、推荐模型构建流程：1.data 分类：显性和隐性2.data转成计算机data ：Item – user 矩阵。评分为里面的data3.算法基于内容过滤从信息检索，和文本检索发展而来基于商品描述及用户喜好描述，为用户推荐商品协同过滤基于用户行为为用户推荐感兴趣的商品行为可以是过往的交易行为和商品评分，这种方式不需要显性的属性信息混合推荐基于内容和协同过滤的对比：...
2019-06-10 20:36:56
14409
原创 python4 正则表达式
正则表达式是一个特殊的字符序列：用来描述某个规则re.match(正则表达式， 要匹配的字符串) 得到的是一个对象，匹配不成功返回NONEmatch方法的第一个参数接收的是描述某个规则的字符串第二个参数是要进行校验的值 从左向右开始匹配.group() （如果匹配到数据的话， 可以使⽤group⽅法来提取匹配到的数据出现次数：表示边界分组匹配search 搜索符合特征...
2019-06-10 20:09:18
499
原创 python3 数据库基本操作及与python的连接
分组查询和过滤过滤：SELECT 列名 FROM 表名 WHERE 过滤条件使用where，可以用来过滤单行，如果想要过滤分组或者聚合之后的数据，要加having正确：查看每个国家的总人数，年龄总和，平均年龄，最高年龄，最低年龄，但是排除某个国家SELECT country,COUNT(uname),SUM(age),AVG(age),MAX(age),MIN(age) FROM t_...
2019-06-07 21:29:48
997
原创 python2 网络编程
udp网络通信过程：（类似于发快递）1，应用层编写数据（你好），然后向下层传递2，传输层在数据前面加上端口号（包括发送端口和目的端口）3，网络层继续在前面加上IP地址（包括原IP和目的IP）4，链路层再在前面加上mac地址（mac：硬件地址，用来定义网络设备的位置）此时数据变成了：mac地址 IP地址 端口号 数据内容...
2019-06-06 14:20:40
341
原创 python 1 多进程 多线程
一、多进程1.主进程和子进程多任务处理：使得计算机可以同时处理多个任务听歌的同时QQ聊天、办公、下载文件程序执行就是一个进程主程序（就是主进程）中可以包含很多的其他进程。在主进程中添加了子进程，这样每个子进程可以在不同的gpu上跑，就可以实现并行。如果不加多进程，那么只能单进程运行，速度很慢。可能子进程的函数还没有跑完，可是主进程中已经完了。（比如子进程中有sleep方法）。2.创建进...
2019-06-05 16:32:33
424
原创 推荐算法（8）评测指标
1.用户满意度（在线）用户满意度没有办法离线计算，只能通过用户调查或者在线实验获得。用户调查获得用户满意度主要是通过调查问卷的形式。2.预测准确度（离线）这个指标是最重要的推荐系统离线评测指标。2.1评分预测评分预测的预测准确度一般通过均方根误差（RMSE）和平均绝对误差（MAE）计算。对于测试集中的一个用户u和物品i，令rui是用户u对物品i的实际评分，而rui是推荐算法给出的预...
2019-06-05 16:26:42
17328
原创 推荐算法(7)缺失的评分预测问题
评分预测问题：就是user-item矩阵是一个稀疏的矩阵，我们要根据已知值来预测出未知项的值。评测标准：测试集的均分误差。训练集，测试集的划分：如果不和时间有关，就随机选；如果和时间有关就将最后10%作测试。评分预测算法：1.平均值1.1全局平均值1.2 用户评分平均值1.3物品评分平均值1.4用户分类对物品分类的平均值假设有两个分类函数，一个是用户分类函数ϕ ，一...
2019-06-04 16:33:42
4475
1
原创 推荐算法（6） 实例
一、推荐系统外围构架从用户日志经过推荐系统得到推荐列表，返回给UI界面；用户在UI界面，反馈，生成日志，最后储存起来。界面设置：1.展示物品2.物品有推荐理由3.提供按钮反馈数据收集和储存：针对不同的行为的特点，需要不同的存储方式。书中给了一个表格，列出了不同的用户行为采取的不同存储方法。实时存储的一般放在数据库和缓存中，大规模非实时数据存在分布式文件系统(HDFS)二、...
2019-06-03 20:49:12
4551
原创 大数据推荐系统算法（3） 用户画像
1 用户画像用户画像是对现实世界中用户的数学建模。挑战：1.记录和存储亿级数据用户的画像；2.支持和扩展不断增加的维度和偏好；3.毫秒级更新；4.支撑个性化，广告投放和精细化营销等产品。前三个可以用hadoop来解决，3可以用spark二、用户画像系统三、用户画像处理流程1、明确问题和了解数据追求数据和需求的匹配明确需求：分类、聚类、推荐、。。。数据的规模...
2019-06-03 17:43:12
11501
原创 大数据推荐系统算法（2） lambda架构
一、介绍大数据 3V1.海量数据 Volume2.更新频率高 Velocity3.图像，文本，语言 非结构画数据 VarietyLambda架构1.Lambda系统架构提供了一个结合实时数据和Hadoop预先计算的数据环境的混合平台，以提供一个实时的数据视图。2.分层架构：批处理层、实时处理层、服务层批处理：批处理主要操作大容量静态数据集，并在计算过程完成后返回结果。流式处理...
2019-06-03 16:49:36
2909
1
原创 推荐系统实战（十一）基于社会网络的好友推荐
4中不同的方法，具体可看 好友推荐数据集为Slashdot0902.txt# 导入包import randomimport mathimport timefrom tqdm import tqdm# 定义装饰器，监控运行时间def timmer(func): def wrapper(*args, **kwargs): start_time = time.t...
2019-06-03 15:59:29
972
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人