- 博客(8)
- 收藏
- 关注
RSS订阅原创 机器学习深入与强化--工作流程与模型优化
实际建模之前，需要做数据的处理，首先是数据清洗，2点，然后是数据采样，因为大部分模型对正负样本的比例都十分敏感。之后非常重要的就是特征工程，它包括特征处理和特征选择两部分，首先是特征处理，针对不同类型的特征值进行处理。特征选择包括过滤型、包裹型和内嵌型，过滤型考虑单个特征与y值之间的相关度，挑选最相关的特征留下来。包裹型是指逐步取特征的子集，在子集上跑算法，看效果是否比在特征全集上好，比如
2017-09-27 21:49:53
458
原创 机器学习深入与强化--特征工程
机器学习算法是一个架子，特征需要我们自己去处理，做出更好的特征，让算法去学习，从而达到更好的效果。意义中灵活性指的是，如果使用的是简单的LR，处理起来更灵活，更好控制。做的都是一些基础的事情，比如：1、跑数据，但互联网的数据都是大数据，不会存在一台服务器上，一般存在HDFS或者Hive表里，自己去写mapreduce的任务，去写HQL去聚合处理这些数据，也就是在数据仓库里打杂。
2017-09-25 23:04:44
728
原创 机器学习深入与强化--数学基础(4)
一般优化问题：无约束和有约束无约束：综上，无约束忧化直接分析法的局限：局限一：导数有可能求不出来局限二：即便求出导数，导数=0的解可能就不出来，比如导数本身就是高维函数局限三：即便是解出来了，对于有些高度非线性矩阵，解也有可能是一个集合的形式，找一个最小值的解也不容易主要就看搜索方向dk的选择：上式先忽略二次项，只看前两项，第二项
2017-09-24 14:09:21
587
原创 机器学习深入与强化--数学基础(3)
矩阵分析与应用从行视图来看，方程有解就是在坐标系中直线相交，平面相交从列试图来看，方程的解就是这些列向量的线性组合。
2017-09-20 22:38:02
597
原创 机器学习深入与强化--数学基础(2)
一、概率与统计1、不是为了学习概率与统计，而是为了进行机器学习而补充相关的概率统计知识。2、概率与统计的水很深，不必强求全面。3、关键是打通概率与统计和机器学习的关系。二、概率与统计的差别：两种相反的思路概率：已知总体，求某种事件发生的概率。统计：已知事件，估计产生这个时间的总体的分布。三、概率统计与机器学习的关系1、统计估计的是分布，机器学习训练出
2017-09-19 20:33:03
488
原创 机器学习深入与强化--数学基础(1)
数学基础十分重要！！！如果不掌握这些数学基础知识，不了解机器学习算法的底层数学逻辑，仅仅知道它在某个场景下如何使用，相当于是把算法当做一个黑盒在使用——把数据喂进去，拿出来模型。但是如果此时模型的效果并未达到理想的要求，如何调优就会成为一个很大的难题。一、夹逼定理sinxsinx为线段BC的长度，小于线段AB，小于弧AB ----> sinx sinx同时扇形A
2017-09-17 18:00:28
704
原创 机器学习深入与强化--概念
一、机器学习的概念计算机模拟人的学习行为，以获取新的知识和经验，并重新组织已有的知识使之不断的完善。简单说就是，计算机从数据中学习出规律和模式，以应用在新的数据上做预测任务。二、人工智能（AI）、机器学习（ML）和深度学习（DL）三者的关系可以用如下的同心圆进行表达。一种技术的发展
2017-09-17 16:51:57
350
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人