![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
网络技术-互联网
BigDeng_2014
期望从事策略工程类方向
展开
-
feed - 1
feed=推荐,区别于搜索。搜索是PC时代,推荐是移动时代。两份数据:用户的数据(又分两类)。 推荐中的行为数据、搜索中的行为数据、大数据画像(用户人口属性)(神经网络建模输出匹配度) user-item点击、用户地理位置、手机常用app(神经网络建模输出相似性)推荐的数据。 从用户数据中提取长期或短期兴趣特征。 将兴趣特征和推荐数据进行匹配...原创 2018-06-05 09:29:03 · 192 阅读 · 0 评论 -
20180807 - Spark快速大数据分析
Spark快速大数据分析概念数据的两个方向:数据科学:分析+建模(回答业务问题、挖掘潜在规律、辅助产品推荐)数据处理:硬件(内存、集群)+软件(封装、接口、监控、优化)框架应用层:SparkStreamingSparkSqlSparkGraphxSparkMLlib中间层:SparkCore分布式集群部署:Standalone(Spark自带),YA...原创 2018-08-07 14:30:55 · 283 阅读 · 0 评论 -
20180806 - 知识整理-大数据分析的道与术
10大知识领域:整合、范围、进度、成本、质量、人力资源、沟通、风险、采购、干系人----------------------------------------------------------------------------------------------------------------------------------------------------------商...原创 2018-08-06 11:04:47 · 981 阅读 · 0 评论 -
机器学习 - 20180624
机器学习: 基于数据的分析,得出数据的规律,从而指导现实的决策。收集数据,并将数据做归一化处理。你事先大概知道数据的输入和输出之间的关系: 你想要连续的预测结果:梯度下降/线性回归,正规方程。回归问题。 你想要离散的预测结果:逻辑回归。分类问题。你事先一点也不知道数据的输入和输出之间的关系: 你想知道这些数据可以分为几类:将相似的数据放到一起。聚类问...原创 2018-06-24 01:30:36 · 217 阅读 · 0 评论 -
机器学习-4
实践 问题建模 建模是实现业务的部分 不同的业务目标导致不同的模型 分类 内容是否有价值 回归 内容明天的浏览量 排序 给搜索词确定内容的展现列表 推荐 给用户历史浏览确定内容的展现列表 我们想要什么 模型预测的Y是什么 往往会想很多X特征 我们想干什么 两种检索系统 网页的检索系统 离线建库 在线检索:解析-触发-排序 排序任...原创 2018-06-15 08:42:43 · 214 阅读 · 0 评论 -
机器学习 - 4
分类问题:SVM:回归问题:kernel函数的选取:线性kerl多项式kerl高斯kerl高维到低维:特征更少,表达更简单。1、样本量2、维度爆炸3、性能考虑图像技术:人工智能具备视觉能力图像的特征:最直接的想法:计算像素的相似性。除了像素的表达,可能还有更多的表达SIFT特征:(分类问题) 使用视觉不变的局部特征标定物体。 纹理:特征点与周围点的梯度变化。 考虑四个因素:遮挡、位置、尺度、...原创 2018-06-01 08:33:41 · 194 阅读 · 0 评论 -
机器学习-3
正则化(考虑大数定律,限制参数取值范围,加入超参数):1、减少样本误差2、减少大数定律的误差(实际与预测的误差)原优化目标(均方误差)新优化目标,加入正则化项(大数定律带来的误差)正则化项的设计与调参:稀疏解 - L1范式校验validation:1、常识性的观察法。2、样本误差不能作为正则化项超参数的选择标准。3、out = train(假设空间内最优假设) + validation(最优假设空...原创 2018-05-31 20:53:56 · 169 阅读 · 0 评论 -
机器学习-2
四步曲:怎么学到为何能学如何强大怎么学好80%精力在模型之外基于概率的信任(大数定律)两个思想:所有信息都观测到的情况下,结果是否能够确定。1、定值:频率学派。先验分布是不变的。2、分布:贝叶斯学派。根据观测的数据改变先验的分布。1、世界是确定的:因果律与经典物理。2、不确定性与量子物理:哥本哈根学派。只能保证在已有样本上是有效的。怎样保证对未来的数据也有效?1、增加假设空间中的假设的数量。2、将...原创 2018-05-30 23:41:37 · 220 阅读 · 0 评论 -
关键词竞价
拍卖:买家的报价估价买家的付款方式商品的分配方式私人价值-别人估价对我没影响关联价值-别人估价对我有影响公共价值-真正价值不会变,只是参与人估价不同买家报价和买家真实想法:英式拍卖:设一个低价,报价高得荷兰式拍卖:从高往低拍卖,沉默拍卖。第一价格密封拍卖:建筑价格,按照最高价计算第二价格密封拍卖:按照次高价计算机制设计:解决冲突,设计目标要明确委托人:卖方代理人:收益社会价值,吸引更多的用户关键词...原创 2018-06-06 15:02:38 · 518 阅读 · 0 评论 -
机器学习 - 1
使优化目标达到最好的假设。假设是历史观测中表现最好,是不是在未来也表现最好?需要验证。1、过拟合2、正则化3、校验评估方法有哪些?1、假设空间线性关系2、优化目标均方误差最小3、寻解算法导数为0,微分方程假设的设定:回归场景:线性回归:线性关系(实数域)。分类场景:1、分类假设,感知机(阶跃函数):输出类别的编号(概率=1)。2、概率假设,逻辑回归(sigmod函数):输出类别的概率。优化目标:线...原创 2018-05-30 08:37:13 · 239 阅读 · 0 评论 -
20180827 - 工作感想
老跟着别人很累,而且当前热点追不完(抖音、哈罗单车...)。从心里最深处出发做产品,找到感觉。1、认清自己优势:高效分发转化能力。根据优势,找到目标:做集大成者,少有人比我做的更好。根据目标,制定战略:开放平台、基础支持、共同协作产生更多可能。根据战略,下定决心:找到迫在眉睫的感觉,必须做出来。根据决心,活在当下:想想能改变些什么(降低门槛普及-开源开放,挑战带来机遇-医疗平台自建)...原创 2018-08-27 22:19:49 · 212 阅读 · 0 评论