weixin_42001089-CSDN博客

原创集成学习之Xgboost超详细推导

前言继上篇GBDT的介绍https://blog.csdn.net/weixin_42001089/article/details/84937301我们来看看其升级版，也是目前用的比较多的Xgboost模型，建议先看上篇博客，再来看本篇会容易些当然了也希望去看一下集成学习这一大家族的整体框架https://blog.csdn.net/weixin_42001089/article/...

2018-12-12 18:14:06 7484 20

原创集成学习之GBDT超详细推导

继上篇介绍的集成学习大框架后https://blog.csdn.net/weixin_42001089/article/details/84935462本文介绍其框架里面的GBDT。原论文：https://statweb.stanford.edu/~jhf/ftp/trebst.pdf---------------------------------------------------...

2018-12-12 18:13:18 10616 5

原创机器学习之集成学习

集成学习是机器学习中的一大分支。本篇文章重在梳理整个集成学习这一大分支的框架，所以更多的是概念，具体到某一细枝末叶会在后续文章单独给出详细介绍。出现背景：单个机器学习模型所能解决的问题有限，泛化能力差，但是通过构建组合多个学习器来完成学习任务往往能够获得奇效，这些学习器可以看成是一个个基本单元，由他们组合最终形成一个强大的整体，该整体可以解决更复杂的问题，集成学习的思想可以形象的归结为一句...

2018-12-12 18:12:24 5710

原创 96. Unique Binary Search Trees and 95. Unique Binary Search Trees II

可以看到第二道题要更复杂些，其实第二道题求出来的时候，第一个遍迎刃而解无非就是统计一下个数对吧。其实在不要树的具体结构只要个数的情况下即第一道题有更简便，更好的解题方式即其可以看做是动态规划问题--------------------------------------------------------------------------------------------...

2018-12-09 14:45:34 178

原创 3. Longest Substring Without Repeating Characters

Given a string, find the length of the longest substring without repeating characters.Input: "abcabcbb"Output: 3 Explanation: The answer is "abc", which the length is 3.Input: "bbbbb"Output: ...

2018-11-29 22:11:17 140

原创 765. Couples Holding Hands+399. Evaluate Division+Union-Find（并查集算法）详细探讨！！！！！！

本文先给出Union-Find算法的模板，然后结合该算法，解决两道题即Couples Holding Hands和Evaluate Division并给出详细的结题思路过程，虽然可能有点绕，但是对开阔思路，尤其是帮助我们对Union-Find算法的灵活使用都有很大的收益，这两道题都有别的解法，在一定程度上也更好理解，但是我们使用Union-Find其意义更重要的是在于可以借此学习一下Unio...

2018-11-22 21:10:40 591 1

原创拓扑排序：判断有向图是否有环（超级详细剖析！！）+207. Course Schedule实例

本文先给定义，接着以举例的形式讲解算法原理，最后使用python实践--------------------------------------------------------------------------------------------------------------------------------------------------------------------...

2018-11-21 19:02:42 16513 3

原创 42 Trapping Rain Water And 11. Container With Most Water

这是一类题，其核心就是牢牢把握住“短板”二字谁白了这就是木桶效应，能放水的高度是由那个短板决定的方法都是相同的即大体思路就是：首先需要两个指针，分别从左右出发，然后比较两者，哪个低我们就取哪一个作为当前能放水的最大高度，依次来进行一系列相关的计算下面先来看第一个例子正如上面所说，这里定义左右两个指针，当然了这里并非真真的指针，他们的取值就是走过的矩形的最大高度clas...

2018-11-20 22:14:43 181

原创 (python stack) leetcode84 Largest Rectangle in Histogram And 85. Maximal Rectangle

这道题使用的知识点是：栈从左到右，如果当前对应的小矩形高度大于栈顶对应小矩形高度，进栈，移动到下一个小矩形，，，，，，，，，否则栈顶元素出栈，再次比较此时栈顶元素和当前对应的小矩形高度，如果前者还是大于后者，继续出栈，直到小于等于为止依次计算上面一次连续出栈的小矩形组成的矩形面积，最大面积依此不断更新最后返回最大面积注意：这里每次进栈的是小矩形对应的索引而不是其高度，同时可...

2018-11-18 20:39:04 3165

原创 python cmp_to_key

这里介绍一个Python 中比较好用的模块，就是functools中的cmp_to_key这里所说的cmp_to_key是在python3中使用的，其实就是python2中的cmp函数它具体的作用是什么呢？一句话就是比较函数下面来举一个简单的例子就是：class Solution: def largestNumber(self, nums): """...

2018-11-18 12:42:10 10946 3

原创排序大法--------快速排序VS归并排序+实践

排序算法有很多，从时间复杂度比较高的冒泡排序，插入排序，到复杂度低的快速排序，归并排序等，可以说很多很多，冒泡排序，插入排序这种比较好理解，不做详细介绍就给一个简单的例子吧！！！如下。本文主要讨论一下复杂度低的快速排序，归并排序插入排序：这里看一下leetcode147Definition for singly-linked list.# class ListNode(obje...

2018-11-17 21:12:08 690

原创从L2R开始理解一下xgboost的 'objective': 'rank:pairwise'参数

我们首先对概念进行一下简单的介绍，然后结合例子来验证一下两部分以红色为分界线----------------------------------------------------------------------------------------------------------------首先说一下 ranking即排序问题，这在信息检索等领域是需要解决的核心问题简单来说...

2018-11-17 12:48:57 14595 7

原创 dfs调用小经验+All Nodes Distance K in Binary Tree实践

这里记录一个小经验吧，关于dfs的原理和更多实践可以看：https://blog.csdn.net/weixin_42001089/article/details/83001841在处理树问题的时候，一般要使用dfs进行遍历，遍历函数的参数有时候需要母亲节点和孩子节点即如下形式：def dfs(parent,child): pass比如我们定义好了该dfs函数，在之后...

2018-11-07 17:21:43 215

原创 pandas 的group 及其as_index理解

以下面这张表进行说明：print(dfoff) User_id Merchant_id Coupon_id Discount_rate Distance Date_received \0 1439408 2632 NaN NaN 0.0 NaN 1 1439408 ...

2018-11-05 14:44:54 3742

原创 /opt/conda/lib/python3.6/site-packages/pandas/core/ops.py:816: pandas 处理 NaN

这里记录一下犯过的及其傻帽的错误！！！！哈哈,无语,同时讨论一下NaN这个数据类型的处理/opt/conda/lib/python3.6/site-packages/pandas/core/ops.py:816: FutureWarning: elementwise comparison failed; returning scalar instead, but in the future w...

2018-11-04 14:11:53 15522 1

原创 LCA-Tarjan，RMQ,倍增算法超详细原理讲解+python实践（Lowest Common Ancestor of a Binary Tree）

最近公共祖先算法:通常解决这类问题有两种方法：在线算法和离线算法在线算法：每次读入一个查询，处理这个查询，给出答案离线算法：一次性读入所有查询，统一进行处理，给出所有答案我们接下来介绍一种离线算法：Tarjan，两种在线算法：RMQ,倍增算法Tarjan的时间复杂度是O(n+q)RMQ是一种先进行O(nlogn) 预处理，然后O(1)在线查询的算法。倍增算法是一种时...

2018-11-03 11:59:54 2316 1

原创 svm原理详细推导

笔者在查阅了大量资料和阅读大佬的讲解之后，终于对svm有了比较深一点的认识，先将理解的推导过程分享如下：本文主要从如下五个方面进行介绍：基本推导，松弛因子，核函数，SMO算法，小结五个方面以%%为分隔，同时有些地方需要解释或者注意一下即在画有---------符号的部分内。本文主要介绍的是理论，并没有涉及到代码，关于代码的具体实现，可以在阅读完本文，掌握了SVM算法的核心内容后去看一下笔者...

2018-10-29 17:50:54 17180 3

原创 SVM SMO算法代码详细剖析

算法实现一：本文要结合SVM理论部分来看即笔者另一篇https://blog.csdn.net/weixin_42001089/article/details/83276714二：有了理论部分下面就是直接代码啦，本文用四部分进行介绍：最简版的SMO，改进版platt SMO，核函数，sklearn库的SVM，四部分以%%%%%%%分开，采取的顺序是先给代码及结果，然后分析三：这里代码大...

2018-10-29 17:50:50 10435 7

原创 PCA SVD原理详解及应用

本文分为两大部分即PCA和SVD，每一部分下又分为原理和应用两小部分说明：本文代码参考Peter Harrington编写的Machine Learning in Action,感兴趣的小伙伴可以去看一下，笔者认为这本书还不错注意：本篇重在说明公式推导，关于具体使用的话python有专门的机器学习库已经集成，直接用就可以啦，可以在读完本文的理论部分后再去看笔者另一篇应用了PCA的关于人脸识...

2018-10-19 17:14:05 3281

原创 DP动态规划--例题Decode Ways 、 Longest Palindromic Substring详解

1题目：A message containing letters from A-Z is being encoded to numbers using the following mapping:'A' -> 1'B' -> 2...'Z' -> 26Given a non-empty string containing only digits, deter...

2018-10-17 22:28:17 207

原创总结mysql易错点

一：当group by 与聚合函数配合使用时，功能为分组后计算select count(id)from employee group by id当group by 与having配合使用时，功能为分组后过滤select count(id)from employee group by idhaving count(id)>2当group by 与聚合函数，同...

2018-10-12 14:05:47 395

原创 python 深copy 浅copy 解释+Palindrome Partitioning例子

先给出一个例题：也可以先看后面给出的小鸡例子Given a string s, partition s such that every substring of the partition is a palindrome.Return all possible palindrome partitioning of s.Input: "aab"Output:[ ["aa",...

2018-10-11 21:28:23 385

原创回溯dfs,bfs模板总结

做下笔记：BFS和DFS其实是两种不同遍历图的方式，前者是一层一层遍历，正是因为这个特性，它的一个应用就是可以用来找最短路径后者是一条路走到黑的方式，它的应用就是利用递归进行回溯遍历，得到所有组合情况，下面分开介绍：注意：1 两者其实都可以用来遍历找到所有路径（组合所有的情况），只不过由于BFS特殊遍历方式，可以用来解决找最短路径这一问题，由于DFS的回溯特性常用来在找所有组合情况这一...

2018-10-10 19:47:09 2367

原创 Roman to Integer(python)

Roman numerals are represented by seven different symbols: I, V, X, L, C, D and M.Symbol ValueI 1V 5X 10L 50C 100D ...

2018-09-23 13:51:03 559

原创 spark millib 推荐模型 +python

首先数据集下载：http://files.grouplens.org/datasets/movielens/ml-100k.zip下载好后解压，里面有几个比较重要首先是u.user 记录着用户的信息u.data记录着用户对其看过的电影的评价u.item记录的便是电影的信息----------------------------------------------------...

2018-09-16 14:57:33 1051

原创 Hive 安装配置

首先要确保安装了Hadoop和mysqlHadoop安装参考：https://blog.csdn.net/weixin_42001089/article/details/81865101mysql安装参考：https://blog.csdn.net/weixin_42001089/article/details/82106723下载：http://mirror.bit.edu.cn...

2018-09-08 13:30:51 308

原创 spark入门框架+python

目录：简介pysparkIPython Notebook安装配置spark编写框架：首先开启hdfs以及yarn1 sparkconf2 sparkcontext3 RDD（核心）4 transformation（核心） 5 action（核心）当然也可以指定运行py程序简介：不可否认，spark是一种大数据框架，...

2018-09-05 18:41:43 16790 1

原创 ubuntu18.04安装spark（伪分布式）

在安装spark之前，首先需要安装配置Hadoop,这个就不做详细介绍了，可以参看博主的另一篇：https://blog.csdn.net/weixin_42001089/article/details/81865101######################################################################################...

2018-09-05 18:40:55 25726 2

原创 SQL安装,pymysql及详细例子教程

本文首先是在ubtunu系统上安装mysql，然后总结了一下基本的mysql命令，并通过小例子实践了一下，最后简单介绍了一下python的pymysql模块安装：首先安装mysql服务端sudo apt-get install mysql-server安装mysql客户端：sudo apt-get install mysql-clientsudo apt-get inst...

2018-08-31 14:37:59 1478

原创 python 关于Hadoop的框架

hadoop的核心就是hdfs和mapperreducerpython都有对应的框架，下面分开说：（1）调用hdfs的python API相关的包有很多，这里介绍一下hdfs，安装很简单pip install hdfs使用的时候：from hdfs import * client = Client("http://localhost:50070") 那么之后...

2018-08-23 18:02:11 2526

原创 ubuntu18.04安装Hadoop

安装部分参考https://blog.csdn.net/qjk19940101/article/details/70544197，这里只是改动了部分和部分填充并进一步说明：首先更新apt包：sudo apt-get update安装SSH server：sudo apt-get install openssh-server配置SSH:ssh localhoste...

2018-08-20 15:35:21 33449 11

原创 ubuntu连不上网解决

ubuntu突然连不上网络了，由于内存卡爆了，造成网络中断.使用ifconfig查看后只有lo解决方案：sudo service network-manager stopsudo rm /var/lib/NetworkManager/NetworkManager.state sudo service network-manager start参考：htt...

2018-08-18 19:47:13 6104 5

原创 ubuntu18.04 anaconda安装tensorflow

大前提：tensorflow只支持64位可以使用：sudo uname --m参看如果是x86_64就是64如果是i686就是32，如果是32，那就重装64的吧，再进行如下：64位下载地址：https://www.ubuntu.com/download/desktop/thank-you?country=CN&version=18.04.1&archite...

2018-08-18 13:32:05 6887 5

原创 ubuntu 安装后一些简单配置

本文是在VM 虚拟机上安装的ubuntu（18.04）64位下载地址：https://www.ubuntu.com/download/desktop/thank-you?country=CN&version=18.04.1&architecture=amd64或者：https://pan.baidu.com/s/1ty72uH9Ho4FQqFxenaQ_gA 密码：...

2018-08-18 11:17:10 664

原创 Scala安装（Failed to initialize compiler: object java.lang//Error: could not find java.dll Error:解决）

要是看报错解决方案，直接跳到结尾首先要确保安装了jdk，可以测试一下：########################################################################################如果没有安装，要先去下载安装：https://www.oracle.com/technetwork/java/javase/downl...

2018-08-11 11:46:11 1566

原创 DRL---------------Actor-Critic/DDPG

从名字就可以看出其是PG（关于什么是PG，可以参看https://blog.csdn.net/weixin_42001089/article/details/81478628）的升级版首先说一下Actor-Critic（AC），之前所说的PG是在一个游戏回合结束之后才更新PG中DL的网络参数的。而AC主要就是看不惯这一点，他就是要改变这一现状，即实现单步更新的壮举。还有一点就是输出的不再是一些...

2018-08-08 18:42:57 4624 3

原创 DRL------------Poilcy Gradients

继上篇的DQNhttps://blog.csdn.net/weixin_42001089/article/details/81448677之后，这里说一下PG（Poilcy Gradients），它是DRL另一大家族，先来谈一下它出现的背景。这要追溯到DQN的来源，DQN的出现是因为有些场景状态数过多导致Q表行数过大，为了解决这一问题即通过神经网络近似了Q值函数（value function）...

2018-08-08 08:58:01 689

原创 DRL---------DQN详解

总结一下DQN.在传统的强化学习中，例如Q_learning以及Sarsa都需要一张由状态S以及行为A组成的Q表，行为的种类一般较少，比如常见的前进后退两种或上下左右四种等，也就是Q表的列一般还好，可是状态的话就不一定了，有些场景的状态多到可怕，就比如围棋等等，也就是Q表的行数过多，导致的结果就是难以维护如此大的一张Q表。现在假设有一个函数 f（x）如果输入状态S就可以得到每个行为的Q...

2018-08-06 18:31:43 7015 2

原创 Reinforcement Learning(强化学习)Sarsa/Q_learning

在说这两种算法之前，先说一下：蒙特卡罗的方法（MC）和动态规划的方法（DP）蒙特卡罗方法利用经验平均估计状态的值函数即：这里的是状态后直到终止状态所有回报的返回值，也就是要得到实验结束才可以进行更新，这样的话太慢。动态规划说的是可以用后继状态的值函数来估计当前的值函数即这里的和如果有模型的话就可以根据当前的通过一个策略（这个策略在强化学习中一般就是选取具有最大奖励值...

2018-08-05 10:51:46 2211

原创 pythin threading 剖析

进程是正在运行的程序实体，并且包括这个运行的程序中占据的所有系统资源，一个进程可以并发多个线程，多线程可以提高执行的效率，就是说一个任务分工给多人去完成，但是这是建立在两个线程干的事情类别相差较大（就是I/O操作及cpu操作），否则有的时候效果不是很明显。，除此之外还有就是这些线程之间的顺序又是怎么协调的呢？本文从三大部分进行介绍，（1）首先介绍一下，查看和当前线程有关的属性的一些方法...

2018-08-03 18:09:55 445

Scala安装包

pyltp wheel安装包（含py35,py36）.zip

NotoSansHans-Regular.otf&DroidSansFallback;.ttf

TensorFlow-inception

OPENGL ES 3.0编程指南 (英文版+中文版)

mnist数据集

空空如也