机器学习
文章平均质量分 87
HGaviN
邮箱:heguannan@163.com
展开
-
FNN网站m3u8视频抓取--python爬虫--抓包、浏览器模拟、openssl解密、FFmpeg视频合成、Tkinter图形界面、多线程
注意:本程序由于要使用windows的命令行,只在windows上测试通过。如果是Linux平台,将代码中windows的命令行部分换成相应的Linux命令就行。提示:大家可以先看博客https://blog.csdn.net/liujiayu2/article/details/8608340。 获取m3u8的基础知识。如果对FNN网站感兴趣,可以使用上面博文的方法对FNN网站的m3u8文件进行分析。FNN上的m3u8一般有3个。我们只需要获取主m3u8(main_m3u8),然后解析main_m3原创 2021-07-25 20:02:24 · 1151 阅读 · 1 评论 -
决策树与随机森林--机器学习--思维导图、笔记(27)
决策树、回归树、随机森林原创 2018-06-27 12:35:56 · 1667 阅读 · 0 评论 -
凸优化、对偶理论和支持向量机--机器学习数学基础--思维导图和笔记(28)
一、思维导图二、SVM补充笔记1、SVM基本模型的对偶问题是强对偶,那么对偶问题的最优解也为原问题的最优解。原创 2018-07-10 21:52:32 · 860 阅读 · 0 评论 -
特征工程和模型融合--机器学习--思维导图和笔记(29)
一、思维导图(点击图方法)二、补充笔记(1)常见的特征工程主要指对各种类型的特征进行处理,包括数值型特征、类别型特征、时间型特征和其他类型特征和组合特征。对于数值型特征,可以进行幅度调整(包括min-max缩放、标准化、归一化)、统计值分析(最大值、最小值、平均值等)、离散化、高次特征、通过特征的四则运算获取新特征、或将数值型特征转换为类别型。对于类别型特征,可以进行one-hot...原创 2018-07-23 17:04:34 · 2739 阅读 · 0 评论 -
矩阵分析、SVD、PCA--机器学习数学基础--手写笔记(30)
一、手写笔记原创 2018-07-29 16:03:21 · 751 阅读 · 0 评论 -
概率论、数理统计、EM算法--机器学习数学基础--手写笔记(31)
原创 2018-08-03 16:56:16 · 867 阅读 · 0 评论 -
非监督学习算法(聚类、降维、关联规则挖掘)--机器学习--思维导图手写笔记(32)
一、思维导图(点击图方法)二、补充笔记三、K-means算法的收敛性说明:当聚类中心μ确定时,求得的各个数据的cluster满足聚类目标函数最小。 当数据cluster确定时,求得的聚类中心μ满足聚类目标函数最小。可以发现,k-means的两个步骤都是在降低聚类目标函数的函数值,并且聚类的目标函数的函数值的下界为0. 所以,可以k-means可以收敛。 ...原创 2018-08-06 18:23:01 · 1928 阅读 · 0 评论 -
概率机器学习(马尔科夫链、主题模型)--机器学习--思维导图(33)
原创 2018-09-01 18:18:46 · 697 阅读 · 0 评论 -
常用机器学习算法的python源码实现--机器学习--sklearn简单源码(34)
一、思维导图二、Python源码## 二分类问题* 使用skleran自带的逻辑回归、支持向量机、决策树API进行二分类的任务* 使用sklearn的iris数据集,将iris数据集变成一个二分类的数据集,删除类别为2的数据* 使用准确率对模型进行评价### 准备数据import pandas as pdimport numpy as npfrom sklearn i...原创 2018-09-07 15:41:35 · 3047 阅读 · 0 评论 -
o2o优惠券使用预测--天池新人实战赛--Baseline代码及说明 ( 35 )
一、代码说明1.代码为一个baseline代码,处理特征和使用的模型都非常简单,将会在后期完善。2.代码中只使用offline数据3.只是简单对日期和优惠券特征进行了简单的处理。4.代码中使用逻辑回归进行分类二、python源码# -*- coding: utf-8 -*-"""Created on Tue Sep 18 10:13:08 2018@author: H...原创 2018-09-20 09:39:01 · 2064 阅读 · 2 评论 -
使用python进行全面数据探索--House Prices: Advanced Regression Technique--kaggle入门(38)
一、翻译声明本文为翻译Kaggle比赛House Prices: Advanced Regression Technique中Kernels的分享文章'Comprehensive data exploration with python'(国内访问速度较慢)。本文翻译进行了适当的删改,以突出重点。二、正文翻译本文根据Joseph F Hair 所著书籍《Multivariate Dat...翻译 2019-01-31 22:16:52 · 1017 阅读 · 0 评论 -
挑战排行前3% --House Prices: Advanced Regression Technique--kaggle入门(39)
1.题目链接House Prices: Advanced Regression Technique2.参考资料(1)Comprehensive data exploration with Python (国内访问速度较慢,可以参考我博客的中文翻译 点我!!)(2)Stacked Regressions : Top 4% on LeaderBoard(线上成绩0.11...原创 2019-02-01 17:02:15 · 962 阅读 · 0 评论 -
《机器学习》知识点总结--手写笔记(37)
一、参考文献1.《机器学习》 周志华著2.网易云课堂 机器学习工程师微专业二、知识点手写笔记 ...原创 2019-01-22 20:04:55 · 1037 阅读 · 0 评论 -
挑战排行前4%--Titanic: Machine Learning from Disaster--kaggle入门(40)
1.题目链接Titanic: Machine Learning from Disaster2.参考资料1.Titanic [0.82] - [0.83]3.线上成绩截至2019年2月24日排名:413/9909 前4%线上成绩:0.822964.流程及代码4.1 载入数据import pandas as pd import numpy as npim...原创 2019-02-24 17:08:28 · 457 阅读 · 0 评论 -
《多元统计分析与SPSS应用》-- 思维导图(3)-- 2019
一、基本信息作者:汪冬华、马艳梅出版社:华东理工大学出版社二、思维导图(点击图放大)原创 2019-03-29 15:18:58 · 4004 阅读 · 0 评论 -
机器学习概述、线性回归和逻辑回归--机器学习--思维导图、小抄、笔记(26)
一、思维导图 二、sk-learn小抄图片来源:http://scikit-learn.org/stable/tutorial/machine_learning_map/三、算法笔记1. 留出法将数据集D划分为两个互斥的集合,其中一个集合作为训练集S,另一个作为测试集T,在S中训练模型,在T上测试模型。注意点:(1)训练集/测试集要尽量保持数据...原创 2018-06-25 11:55:29 · 1877 阅读 · 0 评论 -
优化论(1)--机器学习数学基础--思维导图和笔记(25)
一、思维导图二、补充笔记1、梯度的定义$$\nabla f(x) = \frac{{\partial f(x)}}{{\partial x}} = \left[ \begin{array}{l}\frac{{\partial f(x)}}{{\partial {x_1}}}\\{\rm{ }} \vdots \\\frac{{\partial f(x)}}{{\partial {x_n}}}\en...原创 2018-06-24 19:08:28 · 642 阅读 · 0 评论 -
Logistic regression(逻辑回归)---deeplearning.ai---笔记及Python源码(13)
一、课程链接点击打开链接二、基本理论(1)模型图:图中所示的为逻辑回归模型,输入为一个一维特征x,输出y hat为预测值。中间神经元的使用了sigmoid函数作为激活函数。那么$$\begin{array}{l}z = wx + b\\\widehat y = \sigma (z) = \frac{1}{{1 + {e^{ - z}}}} \in[0,1]\end{array}$$其中w为权值(w...原创 2018-04-13 15:48:57 · 443 阅读 · 0 评论 -
ML strategy(机器学习策略)---deeplearning.ai---思维导图(19)
点击图放大原创 2018-04-30 16:15:42 · 388 阅读 · 0 评论 -
Deep NN(深度神经网络)---deeplearning.ai---笔记及Python源码(15)
深度神经网络指的是多隐层的神经网络。本文采用一个两输入,3个隐藏层,1个输出层来进行说明深度神经网络的前向和后向传播,以及具体的公式推导和代码撰写。一、符号定义参看笔记13和笔记14二、基本模型三、模型计算(1) 前向传播:在样本数为1的情况$$\begin{array}{l}{a^{[0]}} = {\left( {{x_1},{x_2}} \right)^T}\\{z^{[1]}} ...原创 2018-04-25 20:47:26 · 1021 阅读 · 0 评论 -
Setting up your ML application(深度学习实践技巧)---deeplearning.ai---笔记(16)
一、思维导图二、正则化正则化是一个较好的方法去解决神经网络的过拟合问题。我的理解是:如果一个神经网络出现过拟合,那么说明这个神经网络既拟合了输入数据中的特征部分,也拟合了输入数据的噪声部分。当神经网络处于过拟合,那么神经网络拟合的函数就非常复杂。那么非常复杂的函数就需要更多的神经元,更深的神经网网络才能表示。那么,现在有两个思路来解决过拟合问题(不要让神经网络太复杂),1是降低每个神经元的输出。使...原创 2018-04-26 15:22:56 · 388 阅读 · 0 评论 -
Optimization algorithms(优化算法)---deeplearning.ai---笔记(17)
一、思维导图二、关键公式(1)momentum梯度下降$$\begin{array}{l}{{\rm{v}}_{dW}} = \beta {v_{dW}} + (1 - \beta )dW\\{{\rm{v}}_{db}} = \beta {v_{db}} + (1 - \beta )db\\W = W - \alpha {{\rm{v}}_{dW}},b = b - \alpha {{\rm{v...原创 2018-04-27 14:35:45 · 847 阅读 · 0 评论 -
CNN(卷积神经网络)---deeplearning.ai---思维导图(20)
点击图放大原创 2018-05-07 15:16:46 · 1427 阅读 · 0 评论 -
Hyperparameter tuning/Batch Normalization(超参数调试、Batch正则化及优化)---deeplearning.ai---笔记(18)
一、思维导图二、重要的超参数学习速率alpha>mini-batchsize/hidden units>layers/learning rate decayAdam算法中的参数几乎不调试。调试的方法采取从粗糙到精细的方法,通过随机进行超参数的选择,观察这些超参数从而找到规律。估计超参数的大致范围,然后进行精细化调整。在进行随机生成随机数的时,不采用线性生成的方式。比如:如果你要搜索0....原创 2018-04-29 16:49:56 · 515 阅读 · 0 评论 -
RNN(循环神经网络)---deeplearning.ai---思维导图(21)
一、循环神经网络原创 2018-05-15 14:57:06 · 882 阅读 · 0 评论 -
IMDb电影评论情感预测(文本数据预处理)--keras--python源码(24)
一、说明本代码使用keras对文本文档进行处理,主要包括1.使用urllib下载数据集2.使用tarfile解压数据集3.使用re书写正则表达式,替换文本中的格式符4.使用Tokenizer去建立字典5.使用sequence去变换文本长度,短的补0,长的截取6.使用Embedding层将数字列表转换为向量列表原创 2018-06-04 15:51:24 · 3352 阅读 · 0 评论 -
多层感知机和卷积神经网络图像识别(mnist,CIFAR-10)--tensorflow,keras--源码(22)
一、多层感知机手写数字识别网络结构(mnist)本源码的神经网络为单隐层神经网络,输出层的神经元数量为784,隐层为全连接层,隐元个数为1000.在隐层后接入一个dropput层,用来防止过拟合。输出层为神经元为10的softmax层。keras代码中手动转换了数据的存储形式,并且进行了归一化。而tensorflow中的数据已经进行了预处理,在tensorflow中数据直接使用。在keras的代码中batch_size是200,在tensorflow中的batch_size是100。原创 2018-05-30 17:20:12 · 2060 阅读 · 0 评论 -
泰坦尼克号生存预测(数值数据预处理)--keras--python源码(23)
一、说明本源码主要利用python对于数据进行预处理,包括:(1)从指定的url中,下载数据文件(2)使用pandas读取xls文件,填充空缺的数据。(3)将性别转成二进制编码(4)对特殊字段进行了one-hot编码(5)进行数据归一化(6)按比例将数据分为训练数据和测试数据(7)构造感知机模型,对生存率进行预测...原创 2018-06-01 16:45:21 · 3068 阅读 · 0 评论 -
Single hidden layer NN(单隐层神经网络)---deeplearning.ai---笔记及Python源码(14)
一、预备知识笔记13 链接:点击打开链接二、基本理论(1)基本模型图示的为一个单隐层且隐层中神经元的数量为4,输出层为单层,神经元为1的神经网络。本例子中,神经元的均使用了sigmoid函数作为激活函数。从输入层到输出层依次进行编号,那么图示的输入层编号为0,隐层为1,输出层为2。并对符号做以下规定:W[1]为隐层的权值,b[1]为隐层的偏置向量,a[1]为隐层的输出,W[2]为输出层的权值,b[...原创 2018-04-16 17:22:45 · 1225 阅读 · 0 评论