自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 关联规则

关联规则也称为购物篮分析,最早是为了发现超市销售数据库中不同商品之间的关联关系。 常用的关联规则算法: 一、Apriori算法 核心思想:通过连接,产生候选项与其支持度,通过剪枝生成频繁项集。 1、关联规则和频繁项集 (1)项集:是项的集合,包含k个项的项集称为k项集,如集合{牛奶,...

2019-12-03 11:52:37

阅读数 3

评论数 0

原创 什么是EDR!

一、端点检测与响应 端点:台式机、服务器、移动设备和嵌人式设备等。攻击者往往首先利用目标网络中的脆弱端点建立桥头堡,再通过进一步的漏洞利用来构筑长期驻留条件,最终迈向既定目标。 端点检测与响应((Endpoint Detection and Response,EDR):完全不同于以往的端点被动...

2019-11-17 22:58:52

阅读数 45

评论数 0

原创 python之多进程与多线程

1、基本概念 1.1、线程 线程:是操作系统能够进行运算调度的最小单位。它被包含在进程之中,是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行不同的任务。一个线程是一个cpu执行时所需要的一串指令。 线程的工作方式:CPU会给你一个...

2019-09-11 10:50:13

阅读数 15

评论数 0

原创 情感分析之——电商产品评论数据

1、数据挖掘目标 对京东平台上的热水器评论进行文本挖掘分析,数据挖掘建模目标如下: (1)、分析某一品牌热水器的用户情感倾向。 (2)、从评论文本中挖掘出该品牌热水器的优点与不足。 (3)、提炼不同品牌热水器的卖点。 2、分析方法及过程 本次建模针对京东商城上“美的”品牌热水器的消费者...

2019-09-03 10:17:37

阅读数 138

评论数 0

原创 电子商务网站用户行为分析及服务推荐

一、背景介绍 1、问题描述 本文主要研究对象是某家法律网站,这是家电子商务类大型法律资讯网站,致力为用户提供丰富的法律信息与专业咨询服务,也为律师与律所提供有效的互联网整合营销解决方案,访问量剧增,数据信息量也大幅增长,面对大量信息用户无法及时从中获得自己需要的信息,信息使用效率越来越低;低效...

2019-09-02 16:52:26

阅读数 96

评论数 0

原创 基于矩阵分解的推荐系统

一、基于矩阵分解的推荐算法 1、概述 基于用户和基于项的协同过滤推荐算法,难以实现大数据量下的实时推荐。这时我们可以使用基于模型的协同过滤算法,矩阵分解(Matrix Factorization,MF)就是其中一种。 矩阵分解:将一个矩阵分解为两个或多个矩阵的乘积。mxn—>mxk X...

2019-09-02 13:08:20

阅读数 212

评论数 1

原创 基于协同过滤的推荐算法

1、推荐系统与推荐问题 推荐系统:根据用户的历史行为,挖掘出用户的喜好,为用户推荐与其喜好相符的商品或信息。推荐系统的任务是将信息和用户连接,帮助用户找到感兴趣的信息,让有价值的信息能触达潜在的用户。 推荐问题描述:核心问题是为用户推荐与其兴趣相似度比较高的商品。用一函数f(x)计算候选商品与用户...

2019-09-02 10:53:25

阅读数 18

评论数 1

原创 MySQL语句练习

一、背景 数据库名:Academic_affairs(教务) 数据库表:4个表,Student,Course,Teacher,SC 1、学生表 Student(SID,Sname,Sage,Ssex) 字段解释:SID 学生编号,Sname 学生姓名,Sage 出生年月,Ssex 学生性...

2019-08-29 18:50:13

阅读数 15

评论数 0

原创 mysql数据库的基本操作

1、基本常识: 表格组成:表头(header): 每一列的名称(第一行);列(col): 具有相同数据类型的数据的集合;行(row): 每一行用来描述某条记录的具体信息;值(value): 行的具体信息, 每个值必须与该列的数据类型相同;键(key): 键的值在当前列中具有唯一性。 主键:主键...

2019-08-27 16:17:45

阅读数 25

评论数 0

原创 如何使用git将本地代码上传到github

准备工作:注册github账号和安装git工具 https://github.com/ https://git-for-windows.github.io/ github是什么:GitHub是一个面向开源及私有软件项目的托管平台,因为只支持git 作为唯一的版本库格式进行托管,故名GitHu...

2019-08-22 20:39:35

阅读数 12

评论数 0

原创 tcpdump抓包结合wireshark进行分析

一、简介 如果是在windows环境,可以使用wireshark直接抓包,如果是在linux环境下,可以使用tcpdump命令进行抓包。 tcpdump是Linux系统下的一款抓包命令集,工作原理是基于网卡抓取流动在网卡上的数据包。在Linux系统中由于tcpdump命令的简单和强大,我们一般...

2019-08-17 10:50:42

阅读数 43

评论数 0

原创 利用Tensorflow实现多层感知器MLP

一、什么是Tensorflow TensorFlow 表达了高层次的机器学习计算,大幅简化了第一代系统,并且具备更好的灵活性和可延展性。 TensorFlow,简单看就是Tensor和Flow,即意味着Tensor和Flow是TensorFlow最为基础的要素;Tensor意味着data,Fl...

2019-08-12 21:22:09

阅读数 87

评论数 0

原创 利用keras实现多层感知器MLP模型

一、什么是keras Keras是一个由Python编写的开源人工神经网络库,可以作为Tensorflow、Microsoft-CNTK和Theano的高阶应用程序接口,进行深度学习模型的设计、调试、评估、应用和可视化。 Keras的神经网络API是在封装后与使用者直接进行交互的API组件,在...

2019-08-12 11:21:51

阅读数 38

评论数 0

原创 神经网络基础以及BP算法

2、人工神经网络 神经网络的定义:它是一种由具有适应性的简单单元(神经元)组成的并行互连的网络,构成的组织能模拟生物神经系统对真实世界物体所做出的的交互反应。在机器学习讨论的神经网络,是一种神经网络学习。 有意思的神经元:在生物中,每个神经元会与其他神经元相连,当该神经元兴奋,就会向其他神经元...

2019-08-11 10:05:55

阅读数 12

评论数 0

原创 SVM支持向量机与sklearn支持向量机分类

一、SVM的基本概念 1、总览: 在之前的机器学习基本知识中,总结了支持向量机的相关基础概念。 支持向量机(Support Vector Machine, SVM)是定义在特征空间上间隔最大的线性分类器。它是一种二分类模型,当采用核技巧之后,支持向量机可以用于非线性分类。 划分超平面:能将...

2019-08-06 16:20:59

阅读数 49

评论数 0

原创 机器学习之降维(特征选择与特征提取)

一、降维技术主要分为两大类:特征选择和特征提取。 基本概念:特征选择:我们可以选出原始特征的一个子集。特征提取:通过现有信息进行推演,构造出一个新的特征子空间。 为什么要降维: (1)数据的多重共线性导致解的空间不稳定, 从而导致模型的泛化能力弱; (2)高维空间样本具有稀疏性,导致模型比...

2019-08-03 23:11:34

阅读数 25

评论数 0

原创 CART决策树以及sklearn.tree.DecisionTreeClassifier()使用

注意:scikit-learn 使用 CART 算法的优化版本。 2、CART分类树预测 预测的过程就是:根据结点指定的属性以及属性值划分,将该样本划分为左右子树,一直到叶结点,找到最终的标签。 二、CART树回归 基本线性模型中,假设全局的数据之间是线性的,通过拟合所有的样本点,训练得到...

2019-08-03 21:45:33

阅读数 54

评论数 0

原创 连续属性离散化与sklearn.preprocessing.KBinsDiscretizer

1、连续属性离散化 离散化 (Discretization) (有些时候叫 量化(quantization) 或 分箱(binning)) ,是将连续特征划分为离散特征值的方法。 离散化可以把具有连续属性的数据集变换成只有名义属性(nominal attributes)的数据集。 2、K-bin...

2019-07-29 12:48:52

阅读数 102

评论数 0

原创 sklearn之Model selection and evaluation学习使用

这部分可以结合机器学习之模型评估与选择来阅读,sklearn库的中文地址和英文地址。 总共可以分为5部分:交叉验证来评估学习器性能;调整学习器的超参数;模型评估量化预测的质量。模型持久化。验证曲线,绘制分数来评估模型。 1、交叉验证来评估学习器的表现 下面是典型的交叉验证工作图,最优超参通过...

2019-07-28 18:30:46

阅读数 33

评论数 0

原创 机器学习之模型评估与选择

一、模型评估与选择 分为五部分:1、经验误差及过拟合;2、评估方法‘;3、性能度量’;4、比较检验;5、偏差与方差。 1、经验误差与过拟合 错误率(error rate):分类错误的样本数占总样本数。 精度(accuracy):1-错误率。 误差(error):学习器的实际预测输出和样本...

2019-07-27 23:34:27

阅读数 26

评论数 0

原创 逻辑回归以及sklearn.linear_model.LogisticRegression的使用

一、逻辑回归 二、sklearn.linear_model.LogisticRegression的使用 1、sklearn库提供了逻辑回归模型,连接地址 2、class sklearn.linear_model.LogisticRegression参数说明 @@@class sklearn...

2019-07-27 14:03:00

阅读数 91

评论数 0

转载 入侵检测之KDDCUP99数据集分析

背景知识 KDD是数据挖掘与知识发现(Data Mining and Knowledge Discovery)的简称,KDD CUP是由ACM(Association for Computing Machiner)的 SIGKDD(Special Interest Group on Knowle...

2019-07-24 14:26:53

阅读数 259

评论数 0

原创 使用Tensorflow实现卷积神经网络进行手写数字识别

一、卷积神经网络 卷积神经网络CNN是多层神经网络的一个变种,传统的多层神经网络,当隐层数变多时,节点数目过多时就会造成参数个数过多,训练难度极大。这时会想,如果在该网络中藏有一种深层的神经网络模型,在该模型中,参数个数可以得到削减,且不影响模型的精度。这就是卷积神经网络。 1、卷积神经网络的...

2019-06-25 12:39:34

阅读数 36

评论数 0

原创 机器学习之集成学习与sklearn使用

1、个体与集成 集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务,集成学习的一般结构:先产生一组“个体学习器”,再用某种策略将它们结合起来。也称为多分类器系统。 (1)同质集成:集成中只包含同种类型的个体学习器,比如神经网络集成中全是神经网络,同质集成中的个...

2019-06-11 11:35:35

阅读数 29

评论数 0

原创 机器学习的一些基本知识点

将之前学习的一些算法进行回顾,有时间写写

2019-06-10 13:23:47

阅读数 378

评论数 0

原创 对非支配遗传算法三的一些理解

前段时间在寻找求解高维目标优化问题的有效方法的时候,注意到了NSGA-III算法,大多数多目标进化算法在求解目标维数较低的问题时较为有效,当目标数目大于等于3的时候,也就是面对高维目标优化问题,很多方法由于维数增多选择压力下降,效果变得不理想。 NSGA-III的框架基本和NSGA-II相同,同...

2019-06-10 13:20:51

阅读数 644

评论数 0

原创 Kreas深度学习之LSTM

1、使用 Keras Sequential 顺序模型 Sequential官网链接 Sequential模型表面意思是顺序模型,它是多个网络层的线性堆叠,可以构建非常复杂的神经网络,包括全连接神经网络、卷积神经网络(CNN)、循环神经网络(RNN)、等等。这里的Sequential更准确的应该...

2019-06-10 13:17:52

阅读数 168

评论数 0

原创 利用解的KKTPM值度量其相对于真实最优解集的收敛程度

的到解集的KKTPM值,然后进行局部搜索加强解集的收敛性,有时间会写写

2019-05-23 18:33:44

阅读数 168

评论数 0

原创 在python中调用matlab函数

matlab的很多函数有着强大的功能,在python中调用matlab函数,无论是计算还是绘图都有巨大的前景,有时间会写写

2019-05-23 18:33:21

阅读数 1247

评论数 1

原创 进化神经网络之入侵检测

在入侵检测领域,遗传算法有很大的应用,详细介绍,有时间会写写

2019-05-23 18:33:06

阅读数 328

评论数 0

原创 多目标进化算法MOEA中一些性能评价方法

但是

2019-05-23 18:32:31

阅读数 841

评论数 0

原创 K-means聚类以及fuzzy c-means聚类的实现

有时间会写写

2019-05-23 18:32:16

阅读数 296

评论数 0

原创 python之多进程multiprocessing

做实验对比不同算法效果的时候,需要得到多个算法的解,如果按单线程依次运行,速度过慢,特别对于需要实验多次,比较均值和方差的时候,时间消耗更大,这时候最好使用多进程的方法,来节省时间。下面是做实验时运用的线程池的代码: import multiprocessing as mp def worke...

2019-05-23 18:32:01

阅读数 69

评论数 0

原创 深度学习之递归神经网络

一、递归神经网络 1、什么是递归神经网络 递归神经网络是两类人工神经网络的总称,分为是时间递归神经网络(Recurrent Neural Network)和结构递归神经网络(Recursive Neural Network)。也有文献分别称之为:递归神经网络和循环神经网络。RNN网络在传统神经...

2019-05-23 18:31:43

阅读数 126

评论数 0

原创 机器学习之——线性模型

一、一些理解 线性模型的表达式中,权重向量直观表达了各个特征在预测中的重要性。 线性的意思就是一系类一次特征的线性组合,二维空间为直线,三维空间为平面,推广到n维空间,这就是广义的线性模型。 线性模型易于建模,常见的广义线性模型有:岭回归,lasso回归,逻辑回归,线性判别分析,Elasti...

2019-05-23 18:31:01

阅读数 76

评论数 0

原创 决策树算法原理与sklearn.tree.DecisionTreeClassifier()以及决策树作图

绪论: 除线性模型中学习的逻辑斯谛克回归(包括梯度下降等)、多分类问题之外,这部分的分类算法学习主要包括:决策树,贝叶斯分类器,k近邻算法,支持向量机;顺便学习:人工神经网络和聚类。 1、决策树 决策树(decision tree)也是一种有监督学习算法。以树状图为基础,输出结果为一系列简单...

2019-05-23 18:30:18

阅读数 191

评论数 0

提示
确定要删除当前文章?
取消 删除