Harry-L-CSDN博客

原创 ML模型3：支持向量机SVM

支持向量机 SVM前言1. 线性可分支持向量机1.1 线性可分1.2 距离、支持向量与间隔1.3 最大间隔分类器1.4 求解支持向量机1.4.1 拉格朗日函数1.4.2 对偶问题1.4.3 KKT条件1.5 SMO算法2. 从简单到深入2.1 线性可分到线性不可分2.2 线性到非线性2.3 分类到回归3. SVM应用3.1 适用场景3.2 sklearn 参数3.3 示例Q&amp;amp;amp;amp;A前言 ...

2018-11-14 19:52:58 369

原创 ML模型2：逻辑回归

逻辑回归（Logistic回归）1. 实现分类2. 损失函数3. 极大似然估计4. 梯度下降求解5. 多分类问题softmax6. Sklearn示例Q&A一些回归算法可以用来处理分类问题，以及一些分类算法可以进行回归预测，逻辑回归就属于前者。逻辑回归一般通过估计一个概率值，来表示一个样本属于某一类的概率。假如一个样本属于某一类的概率大于50%，那么就判该样本属于这一类。优点：计算代价...

2018-10-23 18:52:09 317

原创 ML模型1：线性回归

文章目录1. 线性模型表示2. 最小二乘法3. 误差4. 最大似然估计5. 求解5.1 求解-正规方程法：5.2 求解-梯度下降6. 评估方法7. 广义线性模型回归在数学上来说是给定一个点集，就能够用一条曲线去拟合之。如果这个曲线是一条直线（超平面），那就被称为线性回归。若不是一条直线则称为非线性回归，常见有多项式回归、逻辑回归等。线性模型优劣：优点：结果易于理解，计算上不复杂；缺点：对非...

2018-10-23 10:51:29 1570

原创李宏毅《机器学习》笔记-4. Gradient Descent

关于梯度下降的一下技巧1. 调整学习率若学习率太大，可能会错过最小值；若学习率太小，有可能收敛速度太慢。可变学习率为了让梯度下降可以收敛到最小值，一般来说学习率要跟随迭代次数变小。一种常见的做法是让 ηt=η/t+1\eta^{t}={\eta} / {\sqrt{t+1}}ηt=η/t+1AdagradAdagrad 是一种常用的可变学习率的做法，它还考虑了历史梯度均值。A...

2019-05-17 21:56:45 182

原创李宏毅《机器学习》笔记-3. Where does the error come from?

1. 误差的来源误差（error）= 偏差（bias） + 方差（variable）方差（variable）：s2=1N∑n(xn−m)2s^{2}=\frac{1}{N} \sum_{n}\left(x^{n}-m\right)^{2}s2=N1∑n(xn−m)2一般来说，模型越复杂，方差越大偏差（bias）：E[f∗]=f‾E\left[f^{*}\right]=\overli...

2019-05-17 20:20:58 164

原创李宏毅《机器学习》笔记-2.Regression

1. 什么是Regression(回归)如果一个任务的输出（output）是一个数值（scalar），那么这种任务就是Regression（回归）。例如：股票指数预测；无人驾驶中输出方向盘角度；商品推荐中使用者购买商品的可能性等2. 线性回归案例：宝可梦cp值根据宝可梦当前cp值以及一些其他指标，预测进化后的cp值使用机器学习三板斧Step1. 设计模型（Model）假设进化后的...

2019-05-16 22:27:58 295

原创李宏毅《机器学习》笔记-1.Introduction of Machine Learning

1. 什么是机器学习机器学习就是，针对给出的数据，寻找一个函数，给出合适的输出。例如：2. 机器学习的步骤正如将大象放进冰箱一样，机器学习步骤简化下来分三步：确定一个函数的集合（我们称之为model）定义评价函数：因为有很多个函数，我们需要定义出用什么方法评价函数的好坏，这也是我们通常所说的 loss function挑选最好的函数3. 机器学习的划分机器学习主要划分为以...

2019-05-13 21:52:43 185

原创 PIL库快速入门

PIL库快速入门概述PIL库主要用途教程1. 使用 Image 类1.1 加载图像1.2 图片属性1.3 图片显示1.4 读写图像2. 图像处理2.1 剪切、粘贴、合并图像2.2 几何变换2.3 颜色模式转换3. 图像增强3.1 滤波器3.2 点操作3.3 增强4. 图像序列参考因为最近需要做验证码的识别，需要自己生成验证码数据集训练cnn。考虑到 PIL 是一个强大的图像处理工具，所以把一些常...

2019-03-25 11:45:45 4081

原创【MySQL】6. MySQL实战

主要针对某几个 MySQL 实例：1.行程和用户表结构：Trips 表中存所有出租车的行程信息。每段行程有唯一键 Id，Client_Id 和 Driver_Id 是 Users 表中 Users_Id 的外键。Status 是枚举类型，枚举成员为 (‘completed’, ‘cancelled_by_driver’, ‘cancelled_by_client’)。 Users ...

2019-03-04 11:27:13 249 2

原创【MySQL】5. MySQL实战 - 数据导入导出

数据导入导出1. 将Excel文件导入MySQL表导入EXCEL文件一般需要用到图形界面管理工具，如 Navicat，这一步截图比较多，直接关联到对应博客好了：教你一步一步将excel文件导入mysql数据库(使用Navicat)使用MySQL命令：LOAD DATA LOCAL INFILE "file_path"INTO TABLE table_name(col...

2019-03-03 17:57:02 275

原创【MySQL】4. MySQL基础 - 表联结

1. MySQL别名通过使用 SQL，可以为表名称或列名称指定别名。基本上，创建别名是为了让列名称的可读性更强。列别名SELECT column_name AS alias_nameFROM table_name;表别名SELECT column_name(s)FROM table_name AS alias_name;大部分情况下，用表名的简写可以增加可读性在...

2019-03-02 15:08:35 194

原创【MySQL】3. MySQL基础 - 表操作

1. MySQL数据类型MySQL中定义数据字段的类型对你数据库的优化是非常重要的。MySQL支持多种类型，大致可以分为三类：数值、日期/时间和字符串(字符)类型数值类型类型大小范围（有符号 signed）范围（无符号 unsigned）用途 TINYINT 1 字节 (-128，127) (0，255) 小整数值 S...

2019-03-01 15:16:02 190

原创【MySQL】2. MySQL基础 - 查询语句

1. 创建数据库并导入示例数据库创建数据库：CREATE DATABASE IF NOT EXISTS testdb DEFAULT CHARSET utf8 COLLATE utf8_general_ci;USE testdb；创建表：CREATE TABLE World (name VARCHAR(50) NOT NULL,continent VARCHAR(50) ...

2019-02-27 17:59:20 1965

原创【MySQL】1. MySQL在LINUX下安装及数据库基础

因为之前用的是windows，在windows下安装MySQL和破解版Navicat都很简单，直接下载对应的安装包安装就可以了。换了LINUX之后安装一些破解的软件有些麻烦，所以主要记录一下。系统：Deepin 15.91. 安装 MySQL安装MySQL很简单，直接运行下面语句就可以，当然也可以到官网下载安装包解压，但是懒人就用懒人的做法$ sudo apt-get insta...

2019-02-26 18:51:17 151

原创 HIVE数据抽样错误

在HIVE中，数据块抽样是抽样变得十分简单```# 按百分比抽样SELECT * FROM table_1 TABLESAMPLE (10 PERCENT)；# 按文件大小抽样(10与M之间没有空格)SELECT * FROM table_1 TABLESAMPLE (10M);# 按行抽样# 这里指定的行数，是在每个InputSplit中取样的行数，也就是，每个Map中都取样n...

2019-02-22 12:37:24 955

原创 LeetCode - 102. 二叉树的层次遍历

102. 二叉树的层次遍历题目给定一个二叉树，返回其按层次遍历的节点值。（即逐层地，从左到右访问所有节点）。例如:给定二叉树: [3,9,20,null,null,15,7], 3 / \ 9 20 / \ 15 7返回其层次遍历结果：[ [3], [9,20], [15,7]]解题思路对每一层构建一个队列 this_l...

2018-12-11 16:50:19 156

原创 LeetCode - 92. 反转链表 II

92. 反转链表 II题目反转从位置 m 到 n 的链表。请使用一趟扫描完成反转。说明:1 ≤ m ≤ n ≤ 链表长度。示例:输入: 1->2->3->4->5->NULL, m = 2, n = 4输出: 1->4->3->2->5->NULL解题思路第一反应可使用逐个插入法完成，但空间复杂度与实践复杂度都较高。...

2018-12-11 13:23:34 93

原创 LeetCode - 206. 反转链表

206. 反转链表题目反转一个单链表。示例:输入: 1->2->3->4->5->NULL输出: 5->4->3->2->1->NULL进阶:你可以迭代或递归地反转链表。你能否用两种方法解决这道题？方法1 - 常规解法解题思路获取当前指针 this_node 与上一个指针 last_node（当头指针指向thi...

2018-12-10 17:42:10 95

原创 LeetCode - 1.两数之和

1.两数之和题目给定一个整数数组 nums 和一个目标值 target，请你在该数组中找出和为目标值的那两个整数，并返回他们的数组下标。你可以假设每种输入只会对应一个答案。但是，你不能重复利用这个数组中同样的元素。示例:给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1] = 2 + 7 = 9所以返回 [0, 1]...

2018-12-10 17:34:57 112

原创 XGBoost 与 LightGBM 调参

一、安装xgboost：安装包路径：https://www.lfd.uci.edu/~gohlke/pythonlibs/#xgboost找到合适的包，使用pip安装如 pip install xgboost-0.81-cp27-cp27m-win_amd64.whllightgbm：可直接通过 pip install lightgbm 安装二、介绍xgboost...

2018-11-23 17:22:43 500

原创 ML实操 - 贷款用户逾期情况分析-特征工程

目录任务描述特征工程1. 删除无用变量2. 特征类型划分数值型特征字符型特征日期/时间型特征特征合并3. 特征衍生4. 特征筛选性能评估参考More任务描述给定金融数据，预测贷款用户是否会逾期。（status是标签：0表示未逾期，1表示逾期。）Misson1 - 构建逻辑回归模型进行预测Misson2 - 构建SVM和决策树模型进行预...

2018-11-21 18:40:58 1952 1

原创 ML实操 - 贷款用户逾期情况分析

目录任务描述实现过程基本思路1. 数据集预览2. 数据预处理3. 特征工程4. 模型选择4.1 数据及划分及数据归一化4.2 LR4.3 SVM4.4 决策树4.5 Xgboost4.6 LightGBM5. 模型调参6. 性能评估7. 模型融合遇到的问题参考More任务描述给定金融数据，预测贷款用户是否会逾期。（...

2018-11-19 11:11:44 3052 1

原创 ML模型5：集成算法简介

集成算法1. Bagging随机森林2. Boosting2.1 Adaboost2.2 GBDT2.3 Xgboost3. Stacking集成学习在机器学习算法中具有较高的准去率，不足之处就是模型的训练过程可能比较复杂，效率不是很高。其核心思想就是如何训练处多个弱分类器以及如何将这些弱分类器进行组合。主要分类如下：Bagging：训练多个分类器取平均。如随机森林Boosting：从弱学习...

2018-11-16 18:01:58 562

原创 ML模型4：决策树

决策树1. 常见决策树1.1 ID31.2 C4.5针对连续特征改进针对信息增益的问题改进针对缺失值改进1.3 CART树特征选择方法连续特征处理剪枝2. 决策树总结2.1 优点2.2 缺点3. 应用实例3.1 sklearn 参数决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。决策树是非常常用的分类方法，既可以用于分类，又可以用于回...

2018-11-16 17:36:20 535

原创 Latex公式语法

一、Latex基础LaTex公式编辑方法https://blog.csdn.net/Datawhale/article/details/82789174 二、一些常用特殊符号的整理1. Latex所有常用数学符号整理https://blog.csdn.net/ying_xu/article/details/512402912. 官方文档，可随手查阅https://k...

2018-11-14 11:26:42 584

原创 Linux：定时任务crontab

文章目录一、crontab命令二、安装crontab三、配置文件四、crontab服务五、crontab命令格式六、示例七、一些注意事项一、crontab命令crontab命令用于设置周期性被执行的指令。该命令从标准输入设备读取指令，并将其存放于“crontab”文件中，以供之后读取和执行。cron 系统调度进程。可以使用它在每天的非高峰负荷时间段运行作业，或在一周或一月中的不同时段运行。...

2018-10-23 11:47:11 1183

l75326747的博客