自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Miracle8070

该博客记录学习计算机和人工智能的过程中做出的探索,见证一下自己的成长,同时也把自己踩过的坑和学习到的知识分享出来,大家共同进步,一起交流,一起努力。我们永远年轻,永远热泪盈眶。

  • 博客(214)
  • 资源 (6)
  • 收藏
  • 关注

原创 西瓜书重温(二): 硬核支持向量机SVM(手推版) --- 牛年开篇,牛气冲天

1. 写在前面今天这篇文章是支持向量机SVM的整理,这是机器学习中非常重要的算法之一,也是面试中非常受到面试官青睐的算法, SVM的公式推导几乎是面试必备知识点, 记得之前学习这块内容的时候, 心里非常的抵触这块内容,因为这块总感觉内容极多且公式复杂,不是太想看, 这次重新阅读,同时看了几个老师的视频加以理解之后,才发现原来支持向量机是数学上如此漂亮的算法,也是形式上如此简洁清晰的算法,支持向量机的逻辑性其实是很强的,背后也仅仅只有一条主线在支撑,从表面上看,会看到SVM的种类繁多,从线性可分到线性近似可

2021-02-13 18:21:14 108

原创 算法刷题重温(四):一个框架打回溯,细节要留心

1. 写在前言今天这篇文章复习回溯算法,回溯实际上是一种试探算法,这种算法跟暴力搜索最大的不同在于,在回溯算法里,是一步一步地小心翼翼地进行向前试探,会对每一步探测到的情况进行评估,如果当前的情况已经无法满足要求,那么就没有必要继续进行下去,当出现非法的情况时,算法可以回退到之前的情景,可以是返回一步,有时候甚至可以返回多步,然后再去尝试别的路径和办法。这也就意味着,想要采用回溯算法,就必须保证,每次都有多种尝试的可能, 每一次尝试一种可能, 然后回退。既然有上面的这种限制,那么一般用回溯解决的问题或者

2021-02-07 14:53:12 106 1

原创 西瓜书重温(一): 模型评估与选择

1. 写在前面寒假在家的时间想重新阅读周志华老师的《机器学习》, 第一是找工作需要,第二是内在驱动,自己也确实想学习关于算法的一些底层知识了, 吴军老师在《数学之美》里面说: “技术分为道和术两种, 具体的做事方法是术, 做事的原理和原则是道, 追求术的人一辈子工作很辛苦,而只有掌握了事情的本质和精髓才能在工作中游刃有余”, 西瓜书我觉得应该就是道的层面去总结机器学习, 虽然我感觉这本书对初学者不是很友好 ,因为我第一次读这本书的时候是上一年比这早些时候, 那时候给我的体会是完全不知所云或者是停留在皮毛根

2021-02-03 23:03:50 62

原创 大数据开发环境搭建番外之docker初识

1. 写在前面这几天业余时间简单的学习了一下docker,这个东西是Linux容器的一种封装,然后提供简单易用的容器接口, 这个东西有点像轻量级的虚拟机, 能够将应用程序和该程序需要的依赖打包在一个文件里面, 运行的时候就会生成一个虚拟容器,让程序在里面运行而不用担心环境问题。 既然有虚拟机了,那为啥要用docker呢? docker成本开销要比虚拟机小的多。 这篇文章就来初识一下docker,顺便在之前的Linux系统上安装一下 ????2. docker初识2.1 软件配置难题要想了解dock

2021-01-31 21:08:05 27

原创 算法刷题重温(三): 二叉树之二叉搜索树系列打通(树专题)

1. 写在前面

2021-01-31 13:22:10 53 2

原创 算法刷题重温(二):二叉树的修改构造与递归思维框架(树专题)

1. 写在前面这篇文章是对二叉树修改和构造方面相关题目的复习, 算是第一篇文章里面某些遍历方式的逆向应用,比如已知某棵树的前序中序遍历,去构造出这棵树来等等。 这篇文章尝试复习三个比较常考的二叉树修改和构造方面题目: 二叉树的镜像或翻转, 构造二叉树和二叉树的序列和反序列化。 通过这三个题目, 可以更好的理解二叉树的遍历思想,也能体会到递归的强大之处,还能培养一种遍历的逆向思维(已知遍历反求树)。 当然,这里不会对这三个题目给出丰富的通俗易懂的思路,因为第一遍的时候我已经整理过,这种东西看LeetCode

2021-01-26 15:29:46 61

原创 个性化广告推荐系统实战系列(六):实时推荐产生结果

1. 写在前面这几天打算整理一个模拟真实情景进行广告推荐的一个小Demon, 这个项目使用的阿里巴巴提供的一个淘宝广告点击率预估的数据集, 采用lambda架构,实现一个离线和在线相结合的实时推荐系统,对非搜索类型的广告进行点击率预测和推荐(没有搜索词,没有广告的内容特征信息)。这个感觉挺接近于工业上的那种推荐系统了,通过这个推荐系统,希望能从工程的角度了解推荐系统的流程,也顺便学习一下大数据的相关技术,这次会涉及到大数据平台上的数据处理, 离线处理业务和在线处理业务, 涉及到的技术包括大数据的各种技术,

2021-01-22 21:13:49 78

原创 个性化广告推荐系统实战系列(五):离线广告召回和离线特征缓存

1. 写在前面这几天打算整理一个模拟真实情景进行广告推荐的一个小Demon, 这个项目使用的阿里巴巴提供的一个淘宝广告点击率预估的数据集, 采用lambda架构,实现一个离线和在线相结合的实时推荐系统,对非搜索类型的广告进行点击率预测和推荐(没有搜索词,没有广告的内容特征信息)。这个感觉挺接近于工业上的那种推荐系统了,通过这个推荐系统,希望能从工程的角度了解推荐系统的流程,也顺便学习一下大数据的相关技术,这次会涉及到大数据平台上的数据处理, 离线处理业务和在线处理业务, 涉及到的技术包括大数据的各种技术,

2021-01-22 21:12:52 42

原创 个性化广告推荐系统实战系列(四):逻辑回归(LR)实现CTR预估

1. 写在前面这几天打算整理一个模拟真实情景进行广告推荐的一个小Demon, 这个项目使用的阿里巴巴提供的一个淘宝广告点击率预估的数据集, 采用lambda架构,实现一个离线和在线相结合的实时推荐系统,对非搜索类型的广告进行点击率预测和推荐(没有搜索词,没有广告的内容特征信息)。这个感觉挺接近于工业上的那种推荐系统了,通过这个推荐系统,希望能从工程的角度了解推荐系统的流程,也顺便学习一下大数据的相关技术,这次会涉及到大数据平台上的数据处理, 离线处理业务和在线处理业务, 涉及到的技术包括大数据的各种技术,

2021-01-22 11:30:54 54

原创 个性化广告推荐系统实战系列(三):CTR预估的数据准备(这篇走起来步履维艰)

1. 写在前面这几天打算整理一个模拟真实情景进行广告推荐的一个小Demon, 这个项目使用的阿里巴巴提供的一个淘宝广告点击率预估的数据集, 采用lambda架构,实现一个离线和在线相结合的实时推荐系统,对非搜索类型的广告进行点击率预测和推荐(没有搜索词,没有广告的内容特征信息)。这个感觉挺接近于工业上的那种推荐系统了,通过这个推荐系统,希望能从工程的角度了解推荐系统的流程,也顺便学习一下大数据的相关技术,这次会涉及到大数据平台上的数据处理, 离线处理业务和在线处理业务, 涉及到的技术包括大数据的各种技术,

2021-01-21 21:08:44 109

原创 AI上推荐 之 AFM与DIN模型(当推荐系统遇上了注意力机制)

1. 前言随着信息技术和互联网的发展, 我们已经步入了一个信息过载的时代,这个时代,无论是信息消费者还是信息生产者都遇到了很大的挑战:信息消费者:如何从大量的信息中找到自己感兴趣的信息?信息生产者:如何让自己生产的信息脱颖而出, 受到广大用户的关注?为了解决这个矛盾, 推荐系统应时而生, 并飞速前进,在用户和信息之间架起了一道桥梁,一方面帮助用户发现对自己有价值的信息, 一方面让信息能够展现在对它感兴趣的用户前面。 推荐系统近几年有了深度学习的助推发展之势迅猛, 从前深度学习的传统推荐模型(协

2021-01-19 18:26:34 150 2

原创 算法刷题重温(一):二叉树的 前中后层序 遍历的写法总结(树专题)

1. 写在下面最近又重新开始刷算法题,这次刷题和之前不太一样, 之前刷题的时候,由于对整体宏观没有把握住,所以大多是以框架思维为主,按照从基本的数据结构到算法这样的专题思路进行刷题, 每学一个地方,就要先整理相关理论,然后对应的一些题目刷一遍。 这样的好处是长期下来会形成一个知识框架,后面复刷的时候会很容易梳理总结。 缺点就是太费时间, 我花了很长的一段时间(从上年9月开始吧),到现在刚整理到一半, 而现在转眼就到了新的一年的快二月份了, 感觉这个思路进行的太慢了, 这样搞下去根本看不到全貌了,所以这次重

2021-01-19 12:32:51 59

原创 个性化广告推荐系统实战系列(二):根据用户行为数据创建ALS模型并召回商品

1. 写在前面这几天打算整理一个模拟真实情景进行广告推荐的一个小Demon, 这个项目使用的阿里巴巴提供的一个淘宝广告点击率预估的数据集, 采用lambda架构,实现一个离线和在线相结合的实时推荐系统,对非搜索类型的广告进行点击率预测和推荐(没有搜索词,没有广告的内容特征信息)。这个感觉挺接近于工业上的那种推荐系统了,通过这个推荐系统,希望能从工程的角度了解推荐系统的流程,也顺便学习一下大数据的相关技术,这次会涉及到大数据平台上的数据处理, 离线处理业务和在线处理业务, 涉及到的技术包括大数据的各种技术,

2021-01-16 20:40:59 113

原创 个性化广告推荐系统实战系列(一):任务数据简介和基本流程梳理

1. 写在前面参考:个性化广告推荐系统推荐系统算法基础

2021-01-15 13:21:11 1212 6

原创 大数据开发环境搭建番外及总结:Redis和Anaconda环境的安装搭建

1. 写在前面最近学习推荐系统, 想做一个类似于企业上的那种推荐系统(采用的阿里天池赛的一个电商数据集, 然后基于大数据的Lambda架构, 实现离线和在线相结合的实时推荐系统), 这样可以熟悉一下真实环境中的推荐系统流程, 但是这里面需要大数据的开发环境, 所以这里的这个系列是记录自己搭建大数据开发环境的整个过程, 这里面会涉及到Hadoop集群,Spark, zookeeper, HBase, Hive, Kafka等的相关安装和配置,当然后面也会整理目前学习到的关于前面这些东西的相关理论知识和最终的

2021-01-09 11:35:57 65

原创 大数据开发环境搭建系列六:Kafka和flume的安装和环境搭建

1. 写在前面最近学习推荐系统, 想做一个类似于企业上的那种推荐系统(采用的阿里天池赛的一个电商数据集, 然后基于大数据的Lambda架构, 实现离线和在线相结合的实时推荐系统), 这样可以熟悉一下真实环境中的推荐系统流程, 但是这里面需要大数据的开发环境, 所以这里的这个系列是记录自己搭建大数据开发环境的整个过程, 这里面会涉及到Hadoop集群,Spark, zookeeper, HBase, Hive, Kafka等的相关安装和配置,当然后面也会整理目前学习到的关于前面这些东西的相关理论知识和最终的

2021-01-08 17:29:08 55 4

原创 大数据开发环境搭建系列五:MySQL、Hive和Sqoop的安装和环境搭建

1. 写在前面最近学习推荐系统, 想做一个类似于企业上的那种推荐系统(采用的阿里天池赛的一个电商数据集, 然后基于大数据的Lambda架构, 实现离线和在线相结合的实时推荐系统), 这样可以熟悉一下真实环境中的推荐系统流程, 但是这里面需要大数据的开发环境, 所以这里的这个系列是记录自己搭建大数据开发环境的整个过程, 这里面会涉及到Hadoop集群,Spark, zookeeper, HBase, Hive, Kafka等的相关安装和配置,当然后面也会整理目前学习到的关于前面这些东西的相关理论知识和最终的

2021-01-08 08:46:20 53 3

原创 大数据开发环境搭建系列四:Zookeeper和HBase环境搭建

1. 写在前面最近学习推荐系统, 想做一个类似于企业上的那种推荐系统(采用的阿里天池赛的一个电商数据集, 然后基于大数据的Lambda架构, 实现离线和在线相结合的实时推荐系统), 这样可以熟悉一下真实环境中的推荐系统流程, 但是这里面需要大数据的开发环境, 所以这里的这个系列是记录自己搭建大数据开发环境的整个过程, 这里面会涉及到Hadoop集群,Spark, zookeeper, HBase, Hive, Kafka等的相关安装和配置,当然后面也会整理目前学习到的关于前面这些东西的相关理论知识和最终的

2021-01-08 08:42:52 49

原创 大数据开发环境搭建系列三:Spark环境搭建

1. 写在前面最近学习推荐系统, 想做一个类似于企业上的那种推荐系统(采用的阿里天池赛的一个电商数据集, 然后基于大数据的Lambda架构, 实现离线和在线相结合的实时推荐系统), 这样可以熟悉一下真实环境中的推荐系统流程, 但是这里面需要大数据的开发环境, 所以这里的这个系列是记录自己搭建大数据开发环境的整个过程, 这里面会涉及到Hadoop集群,Spark, zookeeper, HBase, Hive, Kafka等的相关安装和配置,当然后面也会整理目前学习到的关于前面这些东西的相关理论知识和最终的

2021-01-07 08:48:17 68

原创 大数据开发环境搭建系列二:Hadoop集群环境搭建

1. 写在前面最近学习推荐系统, 想做一个类似于企业上的那种推荐系统(采用的阿里天池赛的一个电商数据集, 然后基于大数据的Lambda架构, 实现离线和在线相结合的实时推荐系统), 这样可以熟悉一下真实环境中的推荐系统流程, 但是这里面需要大数据的开发环境, 所以这里的这个系列是记录自己搭建大数据开发环境的整个过程, 这里面会涉及到Hadoop集群,Spark, zookeeper, HBase, Hive, Kafka等的相关安装和配置,当然后面也会整理目前学习到的关于前面这些东西的相关理论知识和最终的

2021-01-06 22:59:44 61

原创 大数据开发环境搭建系列一:环境搭建前的准备与集群的相关配置

1. 写在前面最近学习推荐系统, 想做一个类似于企业上的那种推荐系统(采用的阿里天池赛的一个电商数据集, 然后基于大数据的Lambda架构, 实现离线和在线相结合的实时推荐系统), 这样可以熟悉一下真实环境中的推荐系统流程, 但是这里面需要大数据的开发环境, 所以这里的这个系列是记录自己搭建大数据开发环境的整个过程, 这里面会涉及到Hadoop集群,Spark, zookeeper, HBase, Hive, Kafka等的相关安装和配置,当然后面也会整理目前学习到的关于前面这些东西的相关理论知识和最终的

2021-01-05 22:29:02 111 2

原创 从LeetCode上的“x平方根“再到最优化问题中的牛顿和拟牛顿(知识在某种层面上是相通的呀)

1. 写在前面今天在LeetCode上刷二分搜索相关题目的时候, 无意间刷到了一道"x的平方根"的题目, 这个题当时用的二分查找的思路A掉了, 但看过后面的题解之后,发现还可以使用叫做牛顿迭代法的思路,就顺着这个思路深层次的看了一下, 竟然发现最优化问题里面的牛顿法竟然是从这里过来的,之前在这篇文章中也稍微整理了一点牛顿法的知识,但发现停留在了然的层面, 今天在LeetCode上发现了牛顿法的所以然,通过查阅的一些资料借机会再把这个脉络梳理一遍吧。首先,要先了解一下曲线的线性逼近, 然后说一下牛顿迭代法

2021-01-03 17:33:16 41

原创 AI上推荐 之 FNN、DeepFM与NFM(FM在深度学习中的身影重现)

1. 前言随着信息技术和互联网的发展, 我们已经步入了一个信息过载的时代,这个时代,无论是信息消费者还是信息生产者都遇到了很大的挑战:信息消费者:如何从大量的信息中找到自己感兴趣的信息?信息生产者:如何让自己生产的信息脱颖而出, 受到广大用户的关注?为了解决这个矛盾, 推荐系统应时而生, 并飞速前进,在用户和信息之间架起了一道桥梁,一方面帮助用户发现对自己有价值的信息, 一方面让信息能够展现在对它感兴趣的用户前面。 推荐系统近几年有了深度学习的助推发展之势迅猛, 从前深度学习的传统推荐模型(协

2020-12-28 23:20:35 615

原创 本地Pycharm用远程服务上的Pyspark环境写Pyspark程序的环境搭建“采坑“记

1. 写在前面今天花费了也算一天的时间在采坑, 特意借这个时间记录一下整个采坑的过程。这次要做的事情是这样, 分别在服务器上和本地的pycharm上运行pyspark程序, 程序很简单,就是wordcount, 代码如下:from pyspark import SparkContextsc = SparkContext('local[2]', 'wordcount')rdd = sc.textFile('file:///home/hduser/bigdata/1.txt').flatMap(la

2020-12-28 13:30:30 74

原创 AI上推荐 之 基于内容的推荐(ContentBasedRecommend)

1. 前言随着信息技术和互联网的发展, 我们已经步入了一个信息过载的时代,这个时代,无论是信息消费者还是信息生产者都遇到了很大的挑战:信息消费者:如何从大量的信息中找到自己感兴趣的信息?信息生产者:如何让自己生产的信息脱颖而出, 受到广大用户的关注?为了解决这个矛盾, 推荐系统应时而生, 并飞速前进,在用户和信息之间架起了一道桥梁,一方面帮助用户发现对自己有价值的信息, 一方面让信息能够展现在对它感兴趣的用户前面。 推荐系统近几年有了深度学习的助推发展之势迅猛, 从前深度学习的传统推荐模型(协

2020-12-17 15:38:28 453

原创 LearningToRank(LTR)排序算法LGBMRanker的原理和使用

1. 写在前面在最近新闻推荐的比赛中, 接触到了一个排序模型LGBMRanker, 该模型与普通的分类模型LGBMClassifier不太一样, 普通的分类模型在进行推荐的时候, 往往是先预测某个商品或者文章用户会不会点击, 也就是它的目标是预测用户点击某篇文章或者某个商品的概率, 然后根据这个概率值进行排序, 排完之后,把最靠前的几个返回回来给用户进行推荐。 而LGBRanker模型, 它不关心用户点击某篇文章的概率, 而是根据用户点击或者不点击的这个行为, 直接去预测最后商品或者文章的一个相对顺序,

2020-12-03 14:05:16 332

原创 AI上推荐 之 Wide&Deep与Deep&Cross模型(记忆与泛化并存的华丽转身)

1. 前言随着信息技术和互联网的发展, 我们已经步入了一个信息过载的时代,这个时代,无论是信息消费者还是信息生产者都遇到了很大的挑战:信息消费者:如何从大量的信息中找到自己感兴趣的信息?信息生产者:如何让自己生产的信息脱颖而出, 受到广大用户的关注?为了解决这个矛盾, 推荐系统应时而生, 并飞速前进,在用户和信息之间架起了一道桥梁,一方面帮助用户发现对自己有价值的信息, 一方面让信息能够展现在对它感兴趣的用户前面。 推荐系统近几年有了深度学习的助推发展之势迅猛, 从前深度学习的传统推荐模型(协

2020-11-30 21:04:02 900

原创 Linux下安装Scala IDE eclipse出现An error has occurred. See the log file/.metadata/.org的解决方法

1. 写在前面最近学习搭建spark的集成开发环境,需要在Linux上安装Scala IDE eclipse, 参考的教材是《Hadoop+Spark大数据巨量分析与机器学习实战》,本来想跟着这上面的步骤走一遍,熟悉一下整体的处理流程,结果发现到了第10章安装集成开发环境的时候出了问题,原因是这本教材是3年之前的,用的Scala IDE是4.4.1, 而如今已经到了4.7.0, 这差别会有点大, 需要的是Scala版本,java版本都不太一样。 所以当我安装了最新版本的IDE之后,就出现了查看错误提到

2020-11-23 16:47:42 61 1

原创 Faiss(Facebook开源的高效相似搜索库)学习小记

1. 写在前面faiss是在设计推荐系统入门竞赛之新闻推荐中学习到的一个非常好用的工具包,这个是Facebook AI团队开源的针对聚类和相似性搜索库,为稠密向量提供高效相似度搜索和聚类,支持十亿级别向量的搜索,是目前最为成熟的近似近邻搜索库。它包含多种搜索任意大小向量集(备注:向量集大小由RAM内存决定)的算法,以及用于算法评估和参数调整的支持代码。Faiss用C++编写,并提供与Numpy完美衔接的Python接口。除此以外,对一些核心算法提供了GPU实现。当时的应用场景就是面对20万用户点击过的所

2020-11-16 13:27:20 117

转载 Linux环境下root用户无法使用Anaconda

说明: 在Linux中的anaconda中用conda命令安装一些包的时候,有时候下载完了之后,写入到环境里面的时候报权限错误,类似于这种的这时候,可以转成root用户下进行安装, 但有时候转成root之后,没法进入anaconda环境,这时候就需要让root使用用户建立的anaconda。 下面是几种方法,我测了一下第一种比较好用,这是我测试的全流程:conda install 某个包 出现上面的报错# 切换到rootsu输入密码 转成root# 让root能用anaconda 需要配

2020-11-15 13:44:29 141

转载 深度可分离卷积

最近读《Self-Attention ConvLSTM for Spatiotemporal Prediction》论文的时候, 里面作者提到了一个名词叫做depth-wise separable convolution。 深度可分离卷积, 相比较于常规的卷积操作, 其参数数量和运算成本比较低。因此,在参数量相同的前提下,采用Separable Convolution的神经网络层数可以做的更深。这个思路就是先逐通道采用二维卷积, 然后再用1×11\times 11×1卷积进行通道上的压缩和扩张来达到原来常规

2020-10-27 11:20:19 66

原创 AI上推荐 之 NeuralCF与PNN模型(改变特征交叉方式)

1. 前言随着信息技术和互联网的发展, 我们已经步入了一个信息过载的时代,这个时代,无论是信息消费者还是信息生产者都遇到了很大的挑战:信息消费者:如何从大量的信息中找到自己感兴趣的信息?信息生产者:如何让自己生产的信息脱颖而出, 受到广大用户的关注?为了解决这个矛盾, 推荐系统应时而生, 并飞速前进,在用户和信息之间架起了一道桥梁,一方面帮助用户发现对自己有价值的信息, 一方面让信息能够展现在对它感兴趣的用户前面。 推荐系统近几年有了深度学习的助推发展之势迅猛, 从前深度学习的传统推荐模型(协

2020-10-21 18:23:57 680 2

原创 AI上推荐 之 AutoRec与Deep Crossing模型(改变神经网络的复杂程度)

1. 前言随着信息技术和互联网的发展, 我们已经步入了一个信息过载的时代,这个时代,无论是信息消费者还是信息生产者都遇到了很大的挑战:信息消费者:如何从大量的信息中找到自己感兴趣的信息?信息生产者:如何让自己生产的信息脱颖而出, 受到广大用户的关注?为了解决这个矛盾, 推荐系统应时而生, 并飞速前进,在用户和信息之间架起了一道桥梁,一方面帮助用户发现对自己有价值的信息, 一方面让信息能够展现在对它感兴趣的用户前面。 推荐系统近几年有了深度学习的助推发展之势迅猛, 从前深度学习的传统推荐模型(协

2020-10-09 20:17:21 541 2

原创 Pytorch实战总结篇之使用GPU训练模型

1. 写在前面这段时间一直在持续学习Pytorch, 也大约整理了20篇左右的笔记, 主要包括系统学习Pytorch的10篇, 这里面主要是从原理的层次看Pytorch的运行机制, 一方面是可以大致上对学习Pytorch有一个整体的框架, 另一方面是能理解很多知识的背后原理, 然后是Pytorch的入门与实战8篇, 这里面是使用Pytorch进行一些实战任务, 从图像到语音, 大致上可以知道Pytorch在各个领域是怎么发挥作用的, 但是经过前面的这些文章, 可能依然无法把Pytorch运用起来, 第一个

2020-10-06 07:58:24 545

原创 Pytorch实战总结篇之模型训练、评估与使用

1. 写在前面这段时间一直在持续学习Pytorch, 也大约整理了20篇左右的笔记, 主要包括系统学习Pytorch的10篇, 这里面主要是从原理的层次看Pytorch的运行机制, 一方面是可以大致上对学习Pytorch有一个整体的框架, 另一方面是能理解很多知识的背后原理, 然后是Pytorch的入门与实战8篇, 这里面是使用Pytorch进行一些实战任务, 从图像到语音, 大致上可以知道Pytorch在各个领域是怎么发挥作用的, 但是经过前面的这些文章, 可能依然无法把Pytorch运用起来, 第一个

2020-10-02 09:24:01 1117 4

原创 Pytorch实战总结篇之模型构建

1. 写在前面这段时间一直在持续学习Pytorch, 也大约整理了20篇左右的笔记, 主要包括系统学习Pytorch的10篇, 这里面主要是从原理的层次看Pytorch的运行机制, 一方面是可以大致上对学习Pytorch有一个整体的框架, 另一方面是能理解很多知识的背后原理, 然后是Pytorch的入门与实战8篇, 这里面是使用Pytorch进行一些实战任务, 从图像到语音, 大致上可以知道Pytorch在各个领域是怎么发挥作用的, 但是经过前面的这些文章, 可能依然无法把Pytorch运用起来, 第一个

2020-09-30 10:55:23 267

原创 pandas的stack, unstack, melt, 和pivot函数的学习总结

1. 写在前面今天总结一下pandas的四个函数, stack, unstack, melt和pivot, 这四个函数再处理DataFrame结构的时候, 非常常用, 也非常好用, 具体的就来看一下。pd.stack()和pd.unstack()这两个方法在数据分析的时候也是非常常用, 网上的文档说这是行转列,列转行的方法,但是具体转的时候,还是不知道转过来会是什么样子,或者有了需求也不会用,所以在这里,记录一下我对这两个方法的理解。方法原型: 通过 ?pd.DataFrame.unstack/st

2020-09-27 10:47:06 1019

原创 AI上推荐 之 FM和FFM(九九归一)

1. 前言随着信息技术和互联网的发展, 我们已经步入了一个信息过载的时代,这个时代,无论是信息消费者还是信息生产者都遇到了很大的挑战:信息消费者:如何从大量的信息中找到自己感兴趣的信息?信息生产者:如何让自己生产的信息脱颖而出, 受到广大用户的关注?为了解决这个矛盾, 推荐系统应时而生, 并飞速前进,在用户和信息之间架起了一道桥梁,一方面帮助用户发现对自己有价值的信息, 一方面让信息能够展现在对它感兴趣的用户前面。 推荐系统近几年有了深度学习的助推发展之势迅猛, 从前深度学习的传统推荐模型(协

2020-09-21 22:07:44 1115

原创 AI上推荐 之 逻辑回归模型与GBDT+LR(特征工程模型化的开端)

1. 前言随着信息技术和互联网的发展, 我们已经步入了一个信息过载的时代,这个时代,无论是信息消费者还是信息生产者都遇到了很大的挑战:信息消费者:如何从大量的信息中找到自己感兴趣的信息?信息生产者:如何让自己生产的信息脱颖而出, 受到广大用户的关注?为了解决这个矛盾, 推荐系统应时而生, 并飞速前进,在用户和信息之间架起了一道桥梁,一方面帮助用户发现对自己有价值的信息, 一方面让信息能够展现在对它感兴趣的用户前面。 推荐系统近几年有了深度学习的助推发展之势迅猛, 从前深度学习的传统推荐模型(协

2020-09-10 17:05:08 897

原创 梯度提升树GBDT的理论学习与细节补充

1. 写在前面今天是梯度提升树GBDT的理论学习和细节补充, 之前整理过XGBOOST和Lightgbm, 在那里面提到了GBDT, 但是只是简单的一过, 并没有关注太多GBDT的细节, 所以这次借着整理推荐系统里面的GBDT+LR模型的机会, 重新过了一遍GBDT和LR的基础知识, 确实发现忽略了很多知识, 而GBDT和逻辑回归模型都是作为面试考核的大点, 所以有必要细一些了。关于逻辑回归的细节, 在这篇文章中进行了补充, 今天的重点是GBDT, GBDT全称梯度提升决策树,在传统机器学习算法里面

2020-09-09 08:35:25 641

墨尔本气温预测.zip

时间序列数据广泛存在于量化交易, 回归预测等机器学习应用, 是最常见的数据类型。所以这里通过墨尔本十年气温变化预测的任务来整理一个时间序列数据挖掘的模板,方便以后查阅方便。这个模板可以用在大部分的时间序列预测任务,从股票价格波动,到四季气温变化, 从大桥沉降预测,到城市用电预警等。 通过本模板,可以掌握sklearn中常用的工具包以及深度神经网络的搭建Keras,能够学习到处理时间序列的方式,里边还包含了大量的数据可视化的套路。

2020-03-12

机器学习、深度学习面试笔试题300+.pdf

最新版的机器学习和深度学习面试题目,从牛客等各大网站整理剖析,整合整理,共300多道经典题目。 涉及机器学习和深度学习理论和实践等各方面的知识,底层的知识偏多一些!

2019-11-24

机器学习理论知识.zip

这是很全的机器学习理论的知识,是最好的自学机器学习的速查文档和速学方式,里面的内容涵盖机器学习的很多领域,从机器学习面试题集锦,到特征工程,正则等基础知识,到sklearn,spark等分布式,从线性回归,逻辑回归,决策树,朴素贝叶斯,adaboost,xgb,lightgbm,GBDT等主流的监督学习算法,到聚类,pca等非监督学习算法,从推荐系统到关联分析,svd等。最后一个OTO实战。 希望能够帮助到自学机器学习的小伙伴。

2020-01-05

AI算法工程师手册.zip

这算是一份手册或者是快速学习的一种方式,里面涵盖基本的机器学习和深度学习算法,从基本介绍,到特征工程,从基本的机器学习算法(决策树,贝叶斯,线性回归,支持向量机,KNN,聚合算法,GBDT,xgb,lightbgm等, 无监督算法pca,聚类等), 到深度学习算法(CNN,RNN)基本上全覆盖。所以有了这一个,能够在应用中快速的查看。希望在自学深度学习和机器学习的路上帮助到大家。

2020-01-05

深度学习理论知识.zip

这是很全的深度学习理论的知识,是最好的自学深度学习的速查文档和速学方式,里面的内容涵盖深度学习的很多领域,从神经网络的基础,到卷积神经,循环神经,LSTM,递归神经网络,从神经网络的优化方式到各种激活函数,batch正则,最后一个Minist手写数字识别实战,希望能够帮到自学深度学习的小伙伴。

2020-01-05

数据处理之特征选择知识.pdf

用sklearn进行特征选择的一些知识整理, 主要包括如何对数据进行归一化,标准化, 对定性数据怎么描述,如何降维,如何进行特征选择,这些其实sklearn包中都封装好了相关的函数,使用的时候,可以直接来用,所以也是一份随时可以查阅的资料。

2019-11-08

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除