- 博客(43)
- 收藏
- 关注
原创 数据挖掘——关联规则挖掘
一、关联规则挖掘关联规则挖掘:一种发现大量数据中事物(特征)之间有趣的关联的技术。典型应用是购物篮分析:找出顾客购买行为模式、发现交易数据库中不同商品(项)之间的联系1.关联规则挖掘的应用:互联网、零售、交通事故成因、生物医学2.关联规则定义:假设I=I1,I2,。。。Im)是项的集合。给定一个事务数据库D,其中每个事务(Transaction)t是I的非空子集关联规则:不相交的非空项集X、Y,蕴含式X->Y,X->Y是一条关联规则。其中X∈I,Y∈I,且X∩Y=∅关联规
2022-11-03 14:06:30
3670
原创 回归算法———逻辑回归
回归是一种极易理解的模型,就相当于y=f(x),表明自变量x与因变量y的关系。最常见问题有如医生治病时的望、闻、问、切,之后判定病人是否生病或生了什么病,其中的望闻问切就是获取自变量x,即特征数据,判断是否生病就相当于获取因变量y,即预测分类。逻辑回归模型最简单的回归是线性回归,在此借用Andrew NG的讲义,有如图1.a所示,X为数据点——肿瘤的大小,Y为观测值——是否是恶性肿瘤。通过构建线性回归模型,如hθ(x)所示,构建线性回归模型后,即可以根据肿瘤大小,预测是否为恶性肿瘤hθ(x)≥.05
2022-10-17 10:31:19
2124
原创 SVM支持向量机的应用
支持向量机基于统计学习理论,强调结构风险最小化。其基本思想是:对于一个给定有限数量训练样本的学习任务,通过在原空间或经投影后的高维空间中构造最优分离超平面,将给定的两类训练样本分开,构造分离超平面的依据是两类样本对分离超平面的最小距离最大化。1.它的思想可用下图说明,图中描述的是两类样本线性可分的情形,图中“圆”和“星”分别代表两类样本。根据支持向量机原理,建立模型就是要找到最优分离超平面(最大间隔分离样本的超平面)分开两类样本。最优分离超平面可以记为:这样位于最优分离超平面上方的点
2022-10-01 10:51:38
1125
原创 关于岭回归和lasso回归
1. 岭回归岭回归(英文名:ridge regression, Tikhonov regularization)是一种专用于共线性数据分析的有偏估计回归方法,实质上是一种改良的最小二乘估计法,通过放弃最小二乘法的无偏性,以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法,对病态数据的拟合要强于最小二乘法。通过定义可以看出, 岭回归是改良后的最小二乘法, 是有偏估计的回归方法, 即给损失函数加上一个正则化项, 也叫惩罚项(L2范数), 那么岭回归的损失函数表示为其中, m是
2022-10-01 10:22:45
1443
原创 SVM——核函数
我们知道,SVM相对感知机而言,它可以解决线性不可分的问题,那么它是怎么解决的呢?它的解决思想很简单,就是对原始数据的维度变换,一般是扩维变换,使得原样本空间中的样本点线性不可分,但是在变维之后的空间中样本点是线性可分的,然后再变换后的高维空间中进行分类。线性可分时:求的最终结果:其中表示任选的一个支持向量当然这是线性可分的情况,那么如果问题本身是线性不可分的情况呢,那就是先扩维后再计算,计算形式是一样的:其中表示原来的样本扩维后的坐标。 从中可以看出,不管是不扩维
2022-09-25 10:49:10
2771
原创 机器学习十大算法
1. 线性回归线性回归(Linear Regression)可能是最流行的机器学习算法。线性回归就是要找一条直线,并且让这条直线尽可能地拟合散点图中的数据点。它试图通过将直线方程与该数据拟合来表示自变量(x 值)和数值结果(y 值)。然后就可以用这条线来预测未来的值!这种算法最常用的技术是最小二乘法(Least of squares)。这个方法计算出最佳拟合线,以使得与直线上每个数据点的垂直距离最小。总距离是所有数据点的垂直距离(绿线)的平方和。其思想是通过最小化这个平方误差或距离来拟合模型。
2022-09-11 17:25:33
2184
原创 数据挖掘——数据来源整理
常用的数据集下载:1.UCI数据集类型:比较全面,各类型数据都有涉及网址:http://archive.ics.uci.edu/ml/datasets.php2. Kaggle竞赛数据集类型:比较全面,各类型数据都有涉及网址:https://www.kaggle.com/datasets3. ImageNet类型:计算机视觉数据网址:http://image-net.org/4. VisualData类型:计算机视觉数据网址:https://www.visu
2022-09-11 10:47:42
2280
原创 PCI-E接口的学习
一、pci-e接口的概念PCI-E全称PCI-Express(peripheral component interconnect express),外部设备互连总线接口,由intel提出并推广,所连接的设备分配独享通道带宽,不共享总线带宽。PCle有两种存在形式,M.2接口形式和PCle标准插槽。PCle可拓展性强,可以支持的设备有:显卡、固态硬盘(PCle接口形式)、无线网卡、有线网卡、声卡、视频采集卡、PCle转接M.2接口、PCle转接USB接口、PCle转接Tpye-C接口等。二、.
2022-07-02 10:13:57
21875
原创 第六章——总线系统(2)
四、总线的定时【例3】某CPU采用集中式仲裁方式,使用独立请求与菊花链查询相结合的二维总线控制结构。每一对请求线BRi和授权线BGi组成一对菊花链查询电路。每一根请求线可以被若干个传输速率接近的设备共享。当这些设备要求传送时通过BRi线向仲裁器发出请求,对应的BGi线则串行查询每个设备,从而确定哪个设备享有总线控制权。请分析说明图6.14所示的总线仲裁时序图。1.总线数据传送模式读、写操作:读操作是由从方到主方的数据传送;写操作是由主方到从方的数据传送。一般,主方先以一个总线周期发出命令
2022-06-25 14:16:53
1146
1
原创 第八章——大数据
一、大数据概述1.大数据概念大数据(big data)是一个抽象的概念,至今尚无确切、统一的定义,不同的研究机构与学者对其有着不同的定义。全球最具权威的IT研究与顾问研究机构高德纳(TheGartner Group)咨询公司给出了这样的定义:“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。麦肯锡全球研究所对大数据的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速
2022-06-25 13:56:58
7078
原创 用python实现神经网络
一、BP神经网络这里介绍目前常用的BP神经网络,其网络结构及数学模型如下:x为n 维向量, y 为n 维向量,隐含层有q 个神经元。假设N 有个样本数据,𝑦𝑡,𝑥𝑡,𝑡=1,2,…𝑁{y(t),x(t),t=1,2,…N}。从输入层到隐含层的权重记为: 𝑊𝑘𝑖(𝑘=1,2,..,𝑞,𝑖=1,2,…𝑛)W_ki (k=1,2,..,q,i=1,2,…n),从隐含层到输出层的权重记为:𝑊𝑘𝑖𝑘=1,2,…𝑞,𝑖=1,2,…𝑛W_ki (k=1,2,…q,i=1,2,…n) 。1)以澳...
2022-06-18 19:29:19
5044
2
原创 第六章——总线系统(1)
一、总线的基本概念1.基本概念①数字计算机是由若干系统功能部件构成的,这些系统功能部件在一起工作才能形成一个完整的计算机系统。②总线定义:计算机的若干功能部件之间不可能采用全互联形式,因此就需要有公共的信息通道,即总线。总线是构成计算机系统的互联机构,是多个系统功能部件之间进行数据传送的公共通路。借助于总线连接,计算机在各系统功能部件之间实现地址、数据和控制信息的交换,并在争用资源的基础上进行工作。2.总线可分为以下几类:内部总线:CPU内部连接各寄存器及运算器部件之间的总线。
2022-06-18 14:57:37
1961
原创 第五章——中央处理器(2)
一、 时序产生器和控制方式1.时序信号的作用和体制1)作用:CPU中的控制器用它指挥机器的工作CPU可以用时序信号/周期信息来辨认从内存中取出的是指令(取指)还是数据(执行)一个CPU周期中时钟脉冲对CPU的动作有严格的约束操作控制器发出的各种信号是时间(时序信号)和空间(部件操作信号)的函数。2)体制:组成计算机硬件的器件特性决定了时序信号的基本体制是电位—脉冲制2.时序信号产生器1)功能:产生时序信号各型计算机产生时序电路不相同,大、中型计算机的时序电路复杂,微型计算
2022-06-10 21:10:50
1161
原创 第七章——数据挖掘(2)
一、 关联规则关联规则是数据库和数据挖掘领域中所发明并被广泛研究的最为重要的模型。关联规则的目标是在数据项目中找出所有的并发关系,这种关系也称为关联。1.基本概念关联规则的形式:设1=i,iz...im是一个项目集合,T是一个事务集合,其中每个事务t;是一个项目集合,并满足t;EI,一个关联规则可以表示成如下形式的蕴含关系:X→Y,其中X属于Y,Y属于I且X交Y非空。2.关联规则强度指标支持度和置信度是两个常用的衡量关联规则强度的指标关联规则X> Y的支持度是数据库中包含XUY 的
2022-06-10 20:38:51
708
原创 第五章———中央处理器(1)
一、CPU的功能和组成1.CPU的功能取指令→(操作控制、时间控制)→执行指令指令控制(程序的顺序控制)操作控制(一条指令有若干操作信号实现)时间控制(指令各个操作实施时间的定时)数据加工(算术运算和逻辑运算)2.CPU的基本组成3.CPU的基本组成(1)中央处理器CPU=运算器+cache+控制器(2)运算器ALU通用寄存器:R0~R3暂存器:DR状态字寄存器:PSW(3) cache指令cache:PC,IBUS数据cache:AR,.
2022-06-03 12:50:32
689
原创 第七章——数据挖掘(1)
一、数据挖掘的概述1.数据挖掘概念与发展随着科学技术的飞速发展,使得各个领域或组织机构积累了大量数据。如何从这些数据中提取有用的信息和知识以帮助做出明智决策成为巨大的挑战。计算机技术的迅速发展使得处理并分析这些数据成为可能,这种技术就是数据挖掘( Data Mining , DM ),又称为数据库知识发现( Knowledge Discovery in Database , KDD )。数据挖掘概念首次出现在1989年举行的第11届国际人工智能学术会议上,其思想主要来源于机器学习、模式识别、统计
2022-05-28 10:36:16
1849
原创 第四章——指令系统
一、指令系统的发展1.指令系统基本概念指令:就是要计算机执行某种操作的命令。从计算机组成的层次结构来说,计算机的指令有微指令、机器指令和宏指令之分。微指令是微程序级的命令,它属于硬件;宏指令:由若干条机器指令组成的软件指令,它属于软件;机器指令:介于微指令与宏指令之间,通常简称为指令,每一条指令可完成一个独立的算术运算或逻辑运算操作。指令系统:一台计算机中所有机器指令的集合,称为这台计算机的指令系统。(指令系统是表征一台计算机性能的重要因素它的格式与功能不仅直接影响到机器的硬件结构,而且也直
2022-05-28 10:36:10
11548
原创 第六章——机器学习(贝叶斯学习和决策树学习)
一、贝叶斯学习1.贝叶斯定理贝叶斯定理用于求解以下问题:已知某条件概率,如何得到两个事件交换后的概率,也就是在已知 P ( AB )的情况下如何求得 P ( BA )。这里先解释什么是条件概率。 P ( AB )表示事件 B 已经发生的前提下事件 A 发生的概率,称为事件 B 发生的条件下事件 A 的条件概率。其基本求解公式为2.朴素贝叶斯分类1)概念贝叶斯分类是一类以贝叶斯定理为基础的分类算法的总称,朴素贝叶斯分类是其中之一,这里的“朴素”指各个特征之间是相互独立、互不影响的。主.
2022-05-22 15:27:17
1896
原创 RAID(磁盘阵列)
1.RAID的简述RAID是英文(Redundant Array of Independent Disks)的缩写,翻译成中文是“独立磁盘冗余阵列”, 简称磁盘阵列(Disk Array)。简单的说,RAID是一种把多块独立的硬盘(物理硬盘)按不同的方式组合起来形成一个硬盘组(逻辑硬盘),从而提供比单个硬盘更高的存储性能和提供数据备份技术。组成磁盘阵列的不同方式称为RAID级别(RAID Levels),现在已拥有了从 RAID 0 到 6 七种基本的RAID 级别。另外,还有一些基本RAID级
2022-05-22 11:08:46
22670
1
原创 第七章——外围设备
一、外围设备的概述1.外围设备的一般功能外围设备的功能是在计算机和其他机器之间,以及计算机与用户之间提供联系。由于外围设备的地位越来越重要,主要介绍以下内容:硬磁盘、可移动磁盘、磁带和光盘。2.外围设备(磁盘)基本组成(1)存储介质,它具有保存信息的物理特征。例如磁盘就是一个存储介质的例子,它是用记录在盘上的磁化元表示信息。(2)驱动装置,它用于移动存储介质。例如,磁盘设备中,驱动装置用于转动磁盘并进行定位。(3)控制电路,它向存储介质发送数据或从存储介质接受数据。例如,磁盘读出时,
2022-05-15 16:47:13
2250
原创 第六章——机器学习(神经学习)
一、神经学习1.神经网络基础概念:人工神经网络又叫神经网络,是借鉴了生物神经网络的工作原理形成的一种数学模型。神经网络是机器学习诸多算法中的一种,它既可以用来做有监督的任务,如分类、视觉识别等,也可以用作无监督的任务。同时它能够处理复杂的非线性问题,它的基本结构是神经元,如下图所示:其中,x1、x2、x3代表输入,中间部分为神经元,而最后的hw,b(x)是神经元的输出。整个过程可以理解为输入——>处理——>输出。由多个神经元组成的就是神经网络:这是一个4层结构的神..
2022-05-15 16:46:13
1866
原创 网络学习(1)
一、同轴电缆(Coaxial Cable)1.概念:同轴电缆(Coaxial Cable)是指有两个同心导体,而导体和屏蔽层又共用同一轴心的电缆。最常见的同轴电缆由绝缘材料隔离的铜线导体组成,在里层绝缘材料的外部是另一层环形导体及其绝缘体,然后整个电缆由聚氯乙烯或特氟纶材料的护套包住。同轴电缆可用于模拟信号和数字信号的传输,适用于各种各样的应用,其中最重要的有电视传播、长途电话传输、计算机系统之间的短距离连接以及局域网等。同轴电缆作为将电视信号传播到千家万户的一种手段发展迅速,这就是有线电视。一个.
2022-05-08 18:02:56
640
原创 python的第三方包——Matplotlib(1)
一、关于MatplotlibMatplotlib是Python中一个二维绘图包,能够非常简单的实现数据可视化。Matplotlib图像大致可以分为如下4个层次结构:1. canvas(画板):位于最底层,导入matplotlib库 时就自动存在。2. figure(画布):建立在canvas之上, 从这一层就能开始设置其参数。3.axes(子图):将figure分成不同块, 实现分面绘图。4.图表信息(构图元素):添加或修改axes上的图形信息, 优化图表的显示效果。为了方便快速
2022-05-08 11:14:11
2068
原创 第四章——确定性推理
一、推理的基本概念按照推理过程中所用知识的确定性,推理可分为确定性推理和不确定性推理1.推理的基本概念推理:在现实生活中,人们对各种事务进行分析、综合并最后做出决策,通常是已知的事实出发,通过运用已掌握的知识,找出其中蕴含的事实或归纳出新的知识,这一过程通常称为推理。推理机:在人工智能系统中,推理通常是由一组程序来实现的,人们把这一组用来控制计算机实现推理过程的程序成为推理机。2.推理方法及分类推理方法主要解决前提和结论的逻辑关系以及在不确定推理中不确定的传递问题。推理有很多不同分类
2022-05-04 15:49:29
4671
原创 第三章——虚拟存储器
一、虚拟存储器的基本概念1、实地址与虚地址:用户编制程序时使用的地址称为虚地址或逻辑地址,其对应的存储空间称为虚存空间或逻辑地址空间;而计算机物理内存的访问地址则称为实地地或物理地址,其对应的存储空间称为物理存储空间或主存空间。程序进行虚地址到实地址转换的过程称为程序的再定位。2、虚存的访问过程:虚存空间的用户程序按照虛地址编程并存放在辅存中。程序运行时,由地址变换机构依据当时分配给该程序的实地址空间把程序的一部分调入实存。每次访存时,首先判断该虚地址所对应的部分是否在实存中: 如果是,则进行地址转
2022-05-04 15:49:21
3321
原创 python的第三方Pandas的简介(1)
PandasPandas 是基于Numpy开发的一个Python数据分析包,由AQR Capital Management于2008年4月开发,并于2009年底开源出来。 Pandas作为Python数据分析的核心包,提供了大量的数据分析函数,包括数据处理、数据抽取、数据集成、数据计算等基本的数据分析手段。Pandas核心数据结构包括序列和数据框,序列储存一维数据,而数据框则可以存储更复杂的多维数据。这里主要介绍二维数据(类似于数据表)及其相关操作。在Anaconda发行版中,Pandas包已...
2022-04-24 16:57:08
2900
原创 第三章———并行存储器与cache存储器
一、并行存储器由于CPU和主存储器之间在速度上是不匹配的,这种情况便成为限制高速计算机设计的主要问题。为了提高CPU和主存之间的数据传输率,除了主存采用更高速的技术来缩短读出时间外,还可以采用并行技术的存储器。1、双端口存储器①双端口存储器的逻辑结构双端口存储器由于同一个存储器具有两组相互独立的读写控制电路而得名。由于进行并行的独立操作,因而是一种高速工作的存储器,在科研和工程中非常有用。举例说明, 双端口存储器IDT7133的逻辑框图。如下图②无冲突读写控制:当两个端口的地址不相.
2022-04-23 23:15:05
2597
原创 存储器的概述——SDRAM及只读存储器ROM
一、SDRAM1.同步DRAM ( SDRAM )SDRAM称为同步型动态存储器。计算机系统中的CPU使用的是系统时钟,SDRAM的操作要求与系统时钟相同步,在系统时钟的控制下从CPU获得地址、数据和控制信息。换句话说,它与CPU的数据交换同步于外部的系统时钟信号,并且以CPU/存储器总线的最高速度运行,而不需要插入等待状态。2.双倍数据率SDRAM双倍数据率SDRAM即DDRSDRAM,在时钟.的上升沿和下降沿都能传输数据,能够提供更快的操作速度和更低的功率。DDR SDRAM之后,相
2022-04-17 16:47:26
2255
原创 dos基础命令的学习
打开dos方法:开始菜单---程序---附件---命令提示符2.开始菜单---运行---打命令CMD一、常用DOS命令(1)cd..cd..退到次一级目录cd\cd\退到根目录下的意思cd文件夹名字cdwindows进入该文件夹目录(2)md文件夹名字mdwin......
2022-04-17 16:23:22
117
原创 第三章 搜索策略——博弈树的启发式搜索
1.概述:博弈是一类具有智能行为的竞争活动,如下棋、打牌、战争等。博弈可分为双人完备信息博弈和机遇性博弈。所谓双人完备信息博弈,就是两位选手对垒,轮流走步,每一方不仅知道对方已经走过的棋步,而且还能估计出对方未来的走步。对弈的结果是一方赢,另一方输,或者是双方和局。这类博弈的实例有象棋、围棋等。所谓机遇性博弈是指存在不可预测性的博弈,如掷币等。2.特点:若把双人完备信息博弈过程用图表示出来,就得到一棵与/或树,这种与/或树被称为博弈树。在博弈树中,那些下一步该MAX走步的节点称为MAX节点,下一
2022-04-16 20:54:22
3553
3
原创 存储器的概述——DRAM动态存储器
DRAM存储器1.DRAM存储元的工作原理SRAM存储器的存储位元是一一个触发器,它具有两个稳定的状态。而DRAM存储器的存储位元是由一个MOS晶体管和电容器组成的记忆电路,如图所示。
2022-04-13 15:42:21
10624
原创 计算机概述
一、计算机的分类1.电子计算机从总体上来说分为两大类。电子模拟计算机。“模拟” 就是相似的意思。模拟计算机的特点是数值由连续量来表示,运算过程也是连续的。电子数字计算机,它是在算盘的基础上发展起来的,是用数目字来表示数量的大小。数字计算机的主要特点是按位运算,并且不连续地跳动计算。2.数字计算机分类数字计算机根据计算机的效率、速度、价格、运行的经济性和适应性来划分,可以划分为两类:专用计算机:专用机是最有效、最经济和最快速的计算机,但是它的适应性很差。通用计算机:通用计算机.
2022-04-12 21:02:08
1329
原创 python的第三方包Numpy简介(2)
9.数组的形态变换Numpy提供了reshape方法用于改变数组的形状,reshape方法仅改变原始数据的形状,不改变原始数据的值。示例代码如下:import numpy as nparr = np.arange(12) # 创建一维ndarrayarr1 = arr.reshape(3, 4) # 设置ndarray的维度,改变其形态以上示例代码是将一维数组形态变换为二维数组, 事实上也可以将二维数组形态展平变换为一维数组,通过ravel()函数即可实现。示例代码如下:
2022-04-10 16:38:34
889
原创 python的第三方包Numpy简介(1)
一、关于Numpy1.NumpyNumpy是Python用于科学计算的基础包,也是大量Python数学和科学计算包的基础,不少数据处理及分析包都是在Numpy基础上开发的,比如后面介绍的pandas包就是在其基础上开发的。Numpy的核心基础是ndarray(N-dimensional array,N维数组),即由数据类型相同的元素组成的N维数组。2.利用可利用Numpy包提供的数组定义函数array()将数据转化为数组的形式。3.Numpy包的导入在Anaconda发行版中,N
2022-04-10 16:16:16
3415
原创 第二章 知识及知识表示法(1)
一、概述1.知识及知识的分类知识是人们在改造客观世界的实践中积累起来的认识和经验。这些经验的描述又涉及数据和信息等概念。数据是记录信息的符号,是信息的载体和表示,信息是对数据的解释,是数据在特定场合下的具体含义。信息仅是对客观事物的一种简单描述,只有经过加工、整理和改造等工序,并形成对客观世界的规律性认识后才能形成知识。2.知识表示人工智能问题的求解是以知识表示为基础的,知识表示实际上就是对知识的描述,即用- -些约定的符号把知识编码成--组能被计算机接受并便于系统使用的数据结构。常用.
2022-04-09 21:42:05
2863
原创 人工智能(第一章 绪论)
人工智能的定义最早可以追溯到1956年夏天,由人工智能早期研究者John McCarthy等人提出的;人工智能就是让机器的行为看起来像是人所表现的智能行为一样,但迄今为止尚难给出人工智能的确切定义。...
2022-04-07 23:29:42
3737
原创 存储系统概述——SRAM静态随机存储器
存储系统的层次结构目前存储器的特点是:●速度快的存储器价格贵,容量小;●价格低的存储器速度慢,容量大。在计算机存储器体系结构设计时,我们希望存储器系统的性能高、价格低,那么在存储器系统设计时,应当在存储器容量,速度和价格方面的因素作折中考虑,建立了分层次的存储器体系结构如下图所示。存储器的分类●按存储介质分类:磁表面/半导体存储器●按存取方式分类:随机/顺序存取(磁带)●按读写功能分类:ROM,RAM ●RAM:双极型/MOS ...
2022-04-03 17:49:34
8255
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人