基于加权信息粒化的多标记数据特征选择算法

最新推荐文章于 2024-05-23 13:58:47 发布
最新推荐文章于 2024-05-23 13:58:47 发布
阅读量821 收藏 26
点赞数 19
分类专栏： 物联网及AI前沿技术专栏 文章标签： 算法 机器学习 支持向量机
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fzq0625/article/details/134757115
版权

摘要: 特征选择能去除不相关和冗余的特征，是解决多标记数据维度灾难的有效工具。现有的多标记特征选择算法没有考虑标记空间存在的相关性，认为每个样本的相关标记的重要性相同，并且忽略了特征空间可能是标记重要性差异形成的内在因素，使得选择的特征不能精确全面地刻画样本且计算过程复杂。为此，本文利用标记间的相关性对标记空间进行划分以简化计算，并定义标记重要性度量和特征权重，在此基础上提出了一种基于加权信息粒化的多标记特征选择算法。通过在真实多标记数据集上的实验对比分析，本文提出的算法在各项评价指标上均优于其他对比算法，验证了算法的有效性和可行性。

  • 关键词: 
  • 邻域粗糙集  /  
  • 信息粒化  /  
  • 多标记学习  /  
  • 标记重要性  /  
  • 标记关系  /  
  • 特征权重  /  
  • 特征选择  /  
  • 谱聚类  

在传统的分类学习中，每个实例只属于一个类别标记。但在现实世界中，一个样本可能涉及多个语义信息，这种情况符合多标记学习中单个样本多义性的特征。因此，多标记学习更贴近实际应用场景，可以更准确地描述和解决现实世界中的问题。例如，一幅图像往往同时包含“天空”“湖泊”“建筑”等多种重要的语义概念，一种蛋白质可能同时具有多个功能，一篇新闻报道可能同时与“体育”“社会”“娱乐”“财经”等多个话题相关。这类复杂数据很难用单一的语义标记进行描述，合理的处理方式是为每个样本赋予一个标记集合，进而建模和学习。在多标记学习框架下，样本由特征集和相关的标记集构成，学习的目标是将由特征集描述的样本映射到多个类别标记，现已被广泛应用在机器学习、

了解本专栏 订阅专栏 解锁全文 超级会员免费看
罗思付之技术屋
关注
  • 19
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
基于粒的标记增强标记分布学习
fzq0625的博客
12-02 403
标记分布学习能有效求解多标记学习任务，然而分类器构造以获得大规模具有更强监督信息的标注为前提，在许多应用中难以满足。一种替代的方案是以标记增强的方式从传统逻辑形式的标注中挖掘出隐含的数值型标记的重要程度。现有的标记增强方法大多假设增强后的标记需要在所有示例上保持原有逻辑标记的相关性，不能有效保持局部标记相关性。基于粒计算理论，提出了一种适用于标记分布学习的粒化标记增强学习方法。
基于内容的卫星云图处理与信息检索技术研究
08-03
近年来，随着信息时代特别是数字时代的来临，计算机信息处理已经成 为卫星云图处理最主要的手段。卫星云图是遥感成像数据中包含信息最多的 数据源之一，采用图像处理方法分析并提取有用图像特征和内容，进而判断 大气变化情况和天气形势，是当前天气预报界的主流工作模式。因此，合理 地处理、分析和应用卫星云图信息，已经成为卫星云图处理的主要研究方向。 本文在借鉴传统图像处理方式的前提下，提出了基于内容的卫星云图处 理和信息检索方法，提高了图像处理的目的性和使用效率，具有较高的创新 价值和实用价值。本文所提出的图像内容的含义包含两层意思:一是纹理、 颜色、形状、边缘等基本图像特征，它们组成了反映图像特点最基本的内容; 二是通过这些特征所反映出的信息，即该图像所描述的天气状况及发展趋势。 在本文中，针对这两层图像内容作了系统的分析，采用了多种图像处理算法 提取图像特征，并进一步分析这些特征所体现出的信息，达到实际应用的目 的。具体地，本文完成的工作和取得的研究成果主要包括以下几个方面: 1.将基于内容处理的思想引入卫星云图处理领域 本文将卫星云图的特征作为研究内容，从底层特征提取和高层图像检索 两个层次研究了卫星云图内容的处理和分析，并将图像理解的范畴引入卫星 云图处理领域，是具有前瞻性的研究课题。 2.针对卫星云图基本特征，提出了识别卫星云图的基本判据 在系统分析大量卫星云图的基础上，提出了卫星云图识别的一般判据， 并从这六大判据依次上升到图像的四项特征(颜色、纹理、边缘、形状)，为 准确地进行云图处理和识别奠定了基础。 3.在小波域内系统研究了基于组合滤波思想的卫星云图预处理算法 卫星云图由于其成像机制，遥感图像的分辨率和清晰度还有待提高，图 像“软”处理技术在当前硬件水平欠缺的情况下就显得尤为重要。基于小波 域的组合滤波方法将平滑滤波的思想应用于小波分解图像，在小波域内能够 充分滤除干扰，重构后的图像质量取得了明显改善。 4.系统分析了卫星云图的特征，提出了改进的边缘检测融合算法 哈尔滨工程大学博士学位论文 卫星云图的基本特征可以包括光谱特征、纹理特征和空间几何特征三类。 本文从颜色处理和灰度校正出发，研究了卫星云图的颜色特征，改善了图像 质量;系统分析了卫星云图的纹理特性，采用具有统计特性的共生矩阵法分 析图像纹理特征参数，实现了卫星云图的特征识别;特别是针对卫星云图的 边缘特征，提出了改进的边缘检测融合算法，该算法基于Sobel算子的强边 缘检测原则和canny算子的最优检测三大准则，取得了较好的改良效果。 5.提出了基于特征矢量空间和全局竞争生长准则的区域生长算法 卫星云图的区域特征提取一直是个难题，常面临“找不准”和“溢出” 等问题，本文改进了常规的区域生长算法，在特征矢量空间表征图像，基于 全局比较探测、面积测定及空间优先、竞争机会均等三个生长准则，采用贴 标签的方式决定特征向量的归属，能够准确的提取目标区域。 6.基于变分方法，提出了两种卫星云图轮廓提取算法 卫星云图的轮廓特征是最重要的一种视觉特征，本文采用变分方法提取 卫星云图轮廓，系统分析了变分理论的两大分支—参数活动轮廓模型和几 何活动轮廓模型的特点，提出了两种轮廓提取算法，能够有效实现卫星云图 真实轮廓的标记。 7.提出了一种适用于卫星云图检索的多特征加权反馈方法 研究了基于内容的卫星云图信息检索特征提取、特征索引、图像匹配、 特征反馈的全过程，从颜色、纹理、形状、轮廓等不同的图像特征内容出发， 研究了根据不同特征进行图像信息检索的方法，提出了一套有效的图像多特 征加权反馈检索方法，能够准确高效地检索相关的图像信息。 本文在分析了大量图像和借鉴传统方法的基础上，针对卫星云图的特征， 提出了几种适合于卫星云图的处理方法，取得了较好的实验效果。由于气象 图像数据量的庞大，为了便于查询分析结果，建立了便利的卫星云图数据库， 研究了基于图像内容的图像检索方法。本课题将卫星云图的处理、分析、入 库、检索、应用及预报的业务过程作为一个整体联系起来，提高了卫星云图 的应用效率，具有较高的理论价值和应用价值。
Cisco分组语音与数据集成技术
03-15
目 录 译者序 序 前言 第1章 分组语音概述 1 1.1 引言 1 1.2 企业推动力 1 1.3 语音在IP网络上的基本传输 2 1.3.1 语音-数据转换 2 1.3.2 原数据到IP的转换 2 1.3.3 传送 2 1.3.4 IP-数据的转换 3 1.3.5 从数据转换回到语音 3 1.4 VoIP基础 3 1.4.1 语音压缩 3 1.4.2 电话号码映射 4 1.4.3 呼叫分段鉴别 4 1.4.4 会话协议 4 1.5 推动VoIP的技术 4 1.5.1 硬件进展 4 1.5.2 软件 6 1.5.3 协议 8 1.6 管理问题 10 1.6.1 可用性和正常运行时间 11 1.6.2 配置 11 1.6.3 拨号计划 11 1.6.4 呼叫细节记录 11 1.6.5 监视和诊断 12 1.6.6 性能管理 12 1.7 Cisco带语音功能的路由器 12 1.7.1 Cisco 2600 12 1.7.2 Cisco 3600 13 1.7.3 Cisco AS5300 13 1.7.4 Cisco 2600/3600语音/传真网络 模块 13 1.7.5 Cisco AS5300语音/传真卡 13 1.8 小结 13 第2章 数据工程师的语音概念 14 2.1 引言 14 2.2 模拟电话技术 14 2.2.1 基本的电话技术 14 2.2.2 基本的电缆和接头 14 2.2.3 语音信号 15 2.2.4 信令 15 2.2.5 基本呼叫处理顺序 18 2.2.6 其他模拟设备 19 2.2.7 接口类型和信令方法 20 2.3 数字语音 22 2.3.1 语音的传送 22 2.3.2 数字语音信号 25 2.4 语音压缩 26 2.4.1 压缩算法 26 2.4.2 语音编码技术的比较 27 2.5 影响语音质量的因素 28 2.5.1 压缩 28 2.5.2 语音活动检测 28 2.5.3 回声 28 2.5.4 延时 30 2.5.5 抖动 31 2.5.6 丢失分组 31 2.5.7 汇接交换 31 第3章 IP数据流的服务质量 33 3.1 引言 33 3.2 （压缩的）实时传输协议 33 3.2.1 CRTP的配置 34 3.2.2 帧中继的考虑因素 35 3.3 排队法 37 3.3.1 FIFO排队法 37 3.3.2 优先级排队法 37 3.3.3 自定义排队法 38 3.3.4 加权公平排队法 39 3.4 PPP增强 41 3.5 数据流整形 43 3.6 资源保留协议 45 3.6.1 信令 46 3.6.2 QoS类型和排队法 46 3.6.3 实现指南 46 3.7 IP优先 51 3.8 基于策略的路由 51 3.8.1 基于策略的路由的配置 52 3.8.2 为什么设置IP优先级位 56 3.9 加权随机早期检测 56 3.9.1 TCP的操作 56 3.9.2 阻塞崩溃 57 3.9.3 同步 58 3.9.4 RED 58 3.9.5 WRED详细信息 59 3.9.6 WRED的配置 60 3.10 小结 62 第4章 帧中继的服务质量 63 4.1 引言 63 4.2 帧中继服务质量 63 4.2.1 服务类别 63 4.2.2 阻塞管理 64 4.3 基于路由器的帧中继QoS配置 65 4.3.1 可丢弃标记 66 4.3.2 一般数据流整形 67 4.3.3 帧中继数据流整形 71 4.3.4 一般数据流整形与帧中继数据 流整形 79 4.4 优先级排队法和自定义排队法 80 4.5 帧中继的挑战 81 4.6 将来的选择 83 4.7 小结 83 第5章 语音端口和拨号对等体 84 5.1 引言 84 5.1.1 语音端口 84 5.1.2 物理接口和信令 84 5.2 模拟语音端口 84 5.2.1 FXS 84 5.2.2 FXO 84 5.2.3 E&M 84 5.3 模拟语音端口的配置 85 5.3.1 FXS接口和FXO接口 86 5.3.2 E&M接口 89 5.3.3 其他语音端口参数 91 5.3.4 E&M特定的信令命令 92 5.4 数字接口 93 5.4.1 Cisco数字接口支持 93 5.4.2 PRI接口的配置 93 5.4.3 T1 CAS的配置 94 5.5 拨号对等体 95 5.5.1 呼叫段 96 5.5.2 拨号对等体 96 5.5.3 POTS拨号对等体 97 5.5.4 VoIP拨号对等体 98 5.5.5 完成拨号对等体语句 99 5.5.6 拨号对等体小结 100 5.6 拨号对等体详细信息 100 5.7 小结 106 第6章 开发拨号计划 107 6.1 引言 107 6.2 与编址有关的问题 107 6.2.1 拨号计划组织 107 6.2.2 扩展问题 108 6.2.3 内部路由/外部路由 111 6.3 拨号计划积木块 112 6.3.1 语音端口 112 6.3.2 拨号对等体 112 6.4 创建基本的计划 115 6.4.1 语音网络图 115 6.4.2 创建配置表 116 6.4.3 拨号计划图实例 116 6.5 与外部世界的结合 121 6.5.1 北美编号计划 121 6.5.2 保留的地址 121 6.5.3 接入 122 6.5.4 公司网络 125 6.6 编址工具 125 6.6.1 号码扩展 125 6.6.2 寻线组 127 6.6.3 通配符 129 6.7 小结 129 第7章 集成 130 7.1 引言 130 7.2 需求分析 130 7.2.1 信息收集 130 7.2.2 语音数据流分析 132 7.3 QoS确定 134 7.3.1 语音呼叫路径 135 7.3.2 语音编码算法 135 7.3.3 路由器型号 136 7.3.4 处理器利用率 138 7.3.5 分组交换模式 138 7.3.6 第2层WAN传送 139 7.3.7 其他协议 141 7.3.8 现有的QoS和排队模型 143 7.3.9 路由器软件版本 143 7.4 拨号计划创建 145 7.5 产生配置 145 7.5.1 基本配置 145 7.5.2 语音连接 151 7.6 网络集成 154 7.6.1 安全性过滤 154 7.6.2 重新路由 155 7.6.3 网络地址转换 155 7.7 小结 156 第8章 配置范例 157 8.1 引言 157 8.2 简单的VoIP网络 157 8.2.1 网络概述 157 8.2.2 基本配置 158 8.2.3 配置概述 160 8.3 增强的简单VoIp网络 162 8.3.1 设计变化 162 8.3.2 配置变化 163 8.3.3 完整的配置 166 8.4 PBX干线 170 8.4.1 设计变化 170 8.4.2 配置变化 170 8.5 多点帧中继配置 173 8.5.1 网络概述 173 8.5.2 路由器配置 175 8.5.3 关于多点帧中继配置的说明 184 8.6 其他电话支持和管理服务器 185 8.6.1 设计变化 186 8.6.2 配置变化 186 第9章 VoIP实例研究 190 9.1 引言 190 9.2 连接要求 190 9.3 网络设计 191 9.3.1 材料清单 191 9.3.2 网络配置/调整参数/性能 193 附录A 参考网站地址 200 A.1 服务质量 200 A.2 IP服务 202 A.3 帧中继 202 A.4 Cisco语音技术参考 203 A.5 语音压缩算法 203 A.6 VoIP 204 A.7 H.323 204 A.8 AS5300特定信息 204 A.9 Cisco 2600/3600系列 205 A.10 一般信息 205
论文研究-一种用于微博谣言检测的半监督学习算法.pdf
07-22
在微博谣言检测中，对微博谣言进行正确标注需要耗费大量的人力和时间，同时数据类别的不平衡也影响了微博谣言的正确识别。为了解决该问题，提出一种基于Co-Forest算法针对不平衡数据集的改进方法，利用SMOTE算法和分层抽样平衡数据分布，并通过代价敏感的加权投票法来提高对未标记样本预测的正确率。该方法只需要对少量训练数据实例进行谣言类别标注即可有效检测谣言。10组UCI测试数据和2组微博谣言的实证实验证明了算法有效性。
论文研究-基于矩阵分解的单类协同过滤推荐算法.pdf
07-22
新闻网页和书签的推荐被认为是单类协调过滤问题。通常这类数据是相当稀疏的, 仅仅一小部分数据是正例, 在非正例数据中负例和没有标记的正例是混合在一起的, 难以区分开来, 因此, 就如何解释非正例数据出现了歧义。为了解决该问题, 提出了一种加权的带正则化的基于迭代最小二乘法的单类协同过滤算法。即通过对正例赋予权值1, 负例赋予一个较小的正实数权值来反映数据的正负置信度。在两个真实的实验数据集上验证了该算法在性能上均优于几个经典的单类协同过滤推荐算法。
Linux高级路由和流量控制
08-04
目录 第1章 贡献 1 第2章 简介 2 2.1. 除外责任与许可 2 2.2. 预备知识 2 2.3. LINUX能为你做什么 3 2.4. 内务声明 3 2.5. 访问,CVS和提交更新 4 2.6. 邮件列表 4 2.7. 本文档的布局 4 第3章 介绍 IPROUTE2 6 3.1 为什么使用 IPROUTE2 6 3.2 IPROUTE2 概览 6 3.3 先决条件 6 3.4 浏览你的当前配置 7 3.4.1. 让ip显示我们的链路 7 3.4.2. 让ip显示我们的 IP 地址 7 3.4.3. 让ip显示路由 8 3.5. ARP 9 第4章 规则——路由策略数据库 11 4.1. 简单的源策略路由 11 4.2. 多重上连ISP的路由 12 4.2.1. 流量分割 13 4.2.2. 负载均衡 14 第5章 GRE 和其他隧道 15 5.1. 关于隧道的几点注释 15 5.2. IP-IN-IP 隧道 15 5.3. GRE 隧道 16 4 5.3.1. IPv4隧道 16 5.3.2. IPv6隧道 18 5.4. 用户级隧道 18 第6章 用CISCO和6BONE实现IPV6隧道 19 6.1. IPV6隧道 19 第7章 IPSEC:INTERNET上安全的IP 22 7.1. 从手动密钥管理开始 22 7.2. 自动密钥管理 25 7.2.1. 理论 26 7.2.2. 举例 26 7.2.3. 使用X.509证书进行自动密钥管理 29 7.3. IPSEC隧道 32 7.4. 其它IPSEC软件 33 7.5. IPSEC与其它系统的互操作 33 7.5.1. Windows 33 第8章 多播路由 34 第9章 带宽管理的队列规定 36 9.1. 解释队列和队列规定 36 9.2. 简单的无类队列规定 37 9.2.1. pfifo_fast 37 9.2.2. 令牌桶过滤器(TBF) 39 9.2.3. 随机公平队列(SFQ) 41 9.3. 关于什么时候用哪种队列的建议 42 9.4. 术语 43 9.5. 分类的队列规定 45 9.5.1. 分类的队列规定及其类中的数据流向 45 9.5.2. 队列规定家族:根,句柄,兄弟和父辈 45 9.5.3. PRIO队列规定 46 9.5.4. 著名的CBQ队列规定 48 9.5.5. HTB(Hierarchical Token Bucket, 分层的令牌桶) 54 5 9.6. 使用过滤器对数据包进行分类 55 9.6.1. 过滤器的一些简单范例 56 9.6.2. 常用到的过滤命令一览 57 9.7. IMQ(INTERMEDIATE QUEUEING DEVICE,中介队列设备) 58 9.7.1. 配置范例 58 第10章 多网卡的负载均衡 60 10.1. 告诫 61 10.2. 其它可能性 61 第11章 NETFILTER和IPROUTE——给数据包作标记 62 第12章 对包进行分类的高级过滤器 64 12.1. U32分类器 65 12.1.1. U32选择器 65 12.1.2. 普通选择器 66 12.1.3. 特殊选择器 67 12.2. 路由分类器 67 12.3. 管制分类器 68 12.3.1. 管制的方式 68 12.3.2. 越限动作 69 12.3.3. 范例 70 12.4. 当过滤器很多时如何使用散列表 70 第13章 内核网络参数 72 13.1. 反向路径过滤 72 13.2. 深层设置 73 13.2.1. ipv4一般设置 73 13.2.2. 网卡的分别设置 78 13.2.3. 邻居策略 79 13.2.4. 路由设置 80 第14章 不经常使用的高级队列规定 82 14.1. BFIFO/PFIFO 82 14.1.1. 参数与使用 82 6 14.2. CLARK-SHENKER-ZHANG算法 (CSZ) 82 14.3. DSMARK 83 14.3.1. 介绍 83 14.3.2. Dsmark与什么相关? 83 14.3.3. Differentiated Services指导 84 14.3.4. 使用Dsmark 84 14.3.5. SCH_DSMARK如何工作 84 14.3.6. TC_INDEX过滤器 85 14.4. 入口队列规定 87 14.4.1. 参数与使用 87 14.5. RED(RANDOM EARLY DETECTION,随机提前检测) 87 14.6. GRED(GENERIC RANDOM EARLY DETECTION,一般的随机提前检测) 88 14.7. VC/ATM模拟 89 14.8. WRR(WEIGHTED ROUND ROBIN,加权轮转) 89 第15章 方便菜谱 90 15.1. 用不同的SLA运行多个网站. 90 15.2. 防护SYN洪水攻击 90 15.3. 为防止DDOS而对ICMP限速 91 15.4. 为交互流量设置优先权 92 15.5. 使用NETFILTER,IPROUTE2和SQUID实现WEB透明代理 93 15.5.1. 实现之后的数据流图 96 15.6. 与PMTU发现有关的"基于路由的MTU设置" 96 15.6.1. 解决方案 97 15.7. 与PMTU发现有关的MSS箝位(给ADSL,CABLE,PPPOE和PPTP用户) 98 15.8. 终极的流量控制:低延迟,高速上/下载 98 15.8.1. 为什么缺省设置不让人满意 99 15.8.2. 实际的脚本(CBQ) 100 15.8.3. 实际的脚本(HTB) 102 15.9. 为单个主机或子网限速 103 15.10. 一个完全NAT和QOS的范例 104 7 15.10.1. 开始优化那不多的带宽 104 15.10.2. 对数据包分类 106 15.10.3. 改进设置 107 15.10.4. 让上面的设置开机时自动执行 108 第16章 构建网桥以及用ARP代理构建伪网桥 109 16.1. 桥接与IPTABLES的关系 109 16.2. 桥接与流量整形 109 16.3. 用ARP代理实现伪网桥 109 16.3.1. ARP和ARP代理 110 16.3.2. 实现 110 第17章 动态路由——OSPF和BGP 112 17.1. 用ZEBRA设置OSPF 112 17.1.1. 必要条件 113 17.1.2. 配置Zebra 113 17.1.3. 运行Zebra 115 第18章 其它可能性 117 第19章 进一步学习 119 第20章 鸣谢 120
【机器学习】模糊信息粒化（Fuzzy Information Granulation, FIG）
敲代码的quant的博客
02-25 6775
转自：https://www.ilovematlab.cn/thread-25659-1-1.html 20世纪60年代，L. A.Zadch教授首次提出了模糊集合论，并于1979年提出了信息粒的概念，将一组相似的研究对象，作为一个整体来研究或者将一个整体为部分来研究，放在一起的对象做成一个整体就叫做信息粒。 粒化计算是信息处理的一个新分支，隶属于软计算科学，它包括词计算理论、粗糙集理论、商空间理...
数据结构与算法学习笔记
热门推荐
ityqing的博客
09-25 33万+
本文是王争老师的《算法与数据结构之美》的学习笔记，详细内容请看王争的专栏。有不懂的地方指出来，我做修改。 数据结构与算法思维导图 数据结构指的是“一组数据的存储结构”，算法指的是“操作数据的一组方法”。 数据结构是为算法服务的，算法是要作用再特定的数据结构上的。 最常用的数据结构预算法: 数据结构：数组、链表、栈、队列、散列表、二叉树‘、堆、跳表、图、Tire树 算法： 递归...
基于加权最小二乘法的相位解包裹算法
简单光学
03-27 4369
基于加权最小二乘法的相位解包裹算法
【数据可视化-07】波士顿房价预测数据分析
最新发布
qq_38614074的博客
05-23 4339
通过本次波士顿房价预测项目，我们深入探索了数据可视化在房价预测中的应用。通过绘制散点图、相关性矩阵、箱线图、直方图和密度图等多种可视化图表，我们成功地揭示了房价与各特征之间的关系及趋势。同时，我们也发现了数据中存在的一些异常值和潜在问题，并提出了相应的处理建议。在模型训练方面，我们选择了合适的预测模型，并通过调整模型参数和优化算法来提高模型的预测性能。最终，我们得到了一个具有较高预测精度的房价预测模型，可以为房地产市场的投资者和决策者提供有价值的参考信息。
大数据下的智能数据分析技术研究.pdf
12-24
科技资讯 2013 NO.30 SCIENCE & TECHNOLOGY INFORMATION 信 息 技 术 11 科技资讯 SCIENCE & TECHNOLOGY INFORMATION 大数据时代业已到来, 当今世界正处 在一个数据爆炸的时代。 伴随着多媒体、 云 计算、 物联网、 社交网络等技术的发展,以 及天文观测、 空间地理、 金融分析等各领域 每天都在产生巨量的数据,这些数据如此 庞大,其规模、 其涌现速度和其处理难点超 出目前常规技术能管理、 处理和分析的能 力[1]。 一般来说,大数据具有量大(Volume)、 流动性大(Velocity),种类多(Variety),分布 式(distributed)、 非一致(nonuniformity)等特 性,这些特点决定了在大数据时代,我们传 统的数据处理技术必须有革命性的变化, 包括数据的存储与组织方式、 计算方法、 数 据分析,而对大数据的智能分析技术将尤 为重要。 1 几种传统智能数据分析方法的比较 大数据智能分析需要有新的理论和技 术的突破,但它与传统的智能数据分析方 法必定还有延续。 传统的数据分析领域,如 知识库系统、 数据仓库、 数据挖掘等已经积 累了很多优秀的理论和技术,下面对其中 的一些典型理论和技术的梳理。 1.1 决策树 决策树(Decision Tree)是在已知各种情 况发生概率的基础上,通过构成决策树来 求取净现值的期望值大于等于零的概率, 评价项目风险,判断其可行性的决策分析 方法,是直观运用概率分析的一种图解法, 它是建立在信息论基础之上对数据进行分 类的一种方法。 首先通过一批已知的训练 数据建立一棵决策树,然后采用建好的决 策树对数据进行预测。 决策树的建立过程 是数据规则的生成过程,因此,这种方法实 现了数据规则的可视化,其输出结果容易 理解,精确度较好,效率较高,缺点是难于 处理关系复杂的数据。 常用的方法有分类 及回归树法、 双方自动交互探测法等。 其中 分类树主要用于数据记录的标记和归类, 回归树主要用于估计目标变量的数值[2]。 1.2 关联规则 关联规则分析发现大量数据中项集之 间有价值的关联或相关联系,就是要建立 形 如 X Y 的 蕴 涵 式 , 其 中 X 和 Y 分 别 称 为 关 联 规 则 的 先 导 ( an te ce d en t) 和 后 继 (consequent)。 关联规则一般应用在事物数 据库中,其中每个事物都由一个记录集合 组成。 这种事物数据库通常都包括极为庞 大的数据,因此,当前的关联规则发现技巧 正努力根据基于一定考虑的记录支持度来 削 减 搜 索 空 间 。 关 联 规 则 的 常 见 算 法 有 Apriori算法、 基于划分的算法、 FP-树频集 算法等。 1.3 粗糙集(Rough Sets) 粗糙集智能数据分析是粗糙集理论中 的主要应用技术之一,是一种基于规则的 数据分析的方法。 其思想主要来自统计学 和机器学习,但并不是这两种工具随意的 应用,它以粗糙集理论为基础,以数据表所 表示的信息系统为载体,通过分析给定数 据集的性质、 粗糙分类、 决策规则的确定性 以及覆盖度因子等过程,从中获取隐含的、 潜在有用的知识。 用粗糙集理论进行数据分析主要有以 下优势:它无需提供对知识或数据的主观 评价,仅根据观测数据就能达到删除冗余 信息;非常适合并行计算、 提供结果的直接 解释。 1.4 模糊数学分析 用模糊(Fuzzy sets)数学理论来进行智 能数据分析。 现实世界中客观事物之间通 常具有某种不确定性。 越复杂的系统其精 确性越低,也就意味着模糊性越强。 在数据 分析过程中,利用模糊集方法对实际问题 进行模糊评判、 模糊决策、 模糊预测、 模糊 模式识别和模糊聚类分析,这样能够取得 更好更客观的效果。 模糊分析方法不足主要表现在: 用户 驱动,用户参与过多;处理变量单一,不能 处理定性变量和复杂数据,如非线性数据 和多媒体数据;发现的事实或规则是以查 询为主要目的,对预测和决策影响不大,而 且过分依赖主观的经验。 1.5 人工神经网络 人工神经网络是一种应用类似于大脑 神经突触联接的结构进行信息处理的数学 模型。 该模型由大量的节点(或称神经元)之 间相互联接构成。 每个节点代表一种特定 的输出函数,称为激励函数(activation function)。 每两个节点间的连接都代表一个 对于通过该连接信号的加权值,称之为权 重,这相当于人工神经网络的记忆。 网络的 输出则依网络的连接方式,权重值和激励 函数的不同而不同。 而网络自身通常都是 对自然界某种算法或者函数的逼近,也可 能是对一种逻辑策略的表达。 典型的神经网络模型主要分三大类, 即前馈式神经网络模型,反馈式神经网
基于PSO-NN、SVM、KNN、DT的多特征数据分类预测，二分类及多分类（Matlab完整程序和数据）
05-03
基于PSO-NN、SVM、KNN、DT的多特征数据分类预测，二分类及多分类（Matlab完整程序和数据） 基于PSO-NN、SVM、KNN、DT的多特征数据分类预测，二分类及多分类（Matlab完整程序和数据） 此代码获取用于分类的数据输入。 数据由 6 个 300 个样本组成，包含 40 个特征的类。 你可以提取你的特征和将其标记为监督模型。 现在，System 是 PSO 和典型的浅层神经网络的结合。 神经网络本身构成了系统的初始结构或主体，但 PSO 有责任在训练中对神经元进行加权，这就是进化算法的真正力量。 最后将结果与SVM、KNN、TREE分类算法作为混淆矩阵和最终识别准确率进行比较。 “NH”（隐藏数）、“SwarmSize”和“MaxIteration”这三个重要参数会显着影响系统的性能。 因此，为了获得理想的结果，您应该根据您的数据使用这些参数。 这里唯一的缺点是标签是手动完成的，你可以很容易地自己修复它，但这是在训练的主要阶段之后。
一种基于层选择的弥散张量优化算法 (2013年)
05-12
为了从带伪影的弥散加权数据中重建更准确的张量,提出了一种基于层选择的张量优化算法.首先对弥散加权图像中常见的3种伪影(波状、层间运动和对比度伪影)进行定性分析,分别提取3种对应的特征(小波标记、相似度和相关性)来识别这些伪影,从而区分出正常图层和伪影图层.然后,利用正常图层数据进行张量重建.模拟实验结果验证了这3种特征对弥散加权图像中相关伪影判断的有效性,且对波状伪影和层间运动伪影的判断率均大于90%.真实数据实验结果表明, 与类似算法相比,所提算法可以更好地改善部分各向异性伪彩图中的偏色现象,在白质结构
二维条码研究
09-15
目录 第一章绪论. 1. 1引言........................................................................................................................1 1. 2现有条码技术概述..........................................................................................……1 1. 2. 1一维条码..................................................................................................……1 1.2.2二维条码........................................................................................................2 1. 3 PDF417简介........................................................................................................... 5 1. 4 PDF417条码的应用及发展前景........................................................................... 6 1.4. 1二维条码PDF417在国际上的应用............................................................... 6 1.4.2二维条码PDF417在我国的应用................................................................... 6 1. 5课题来源和本文的主要工作................................................................................ 7 第二章PDF417条码的结构与编码原理 2. 1 PDF417条码的符号结构和特性........................................................................... 9 2. 2 PDF417条码的符号表示....................................................................................... 9 2. 2. 1符号字符的结构..........................................................................................10 2. 2. 2码字集....................................................................................................……10 2. 2. 3符号字符的簇..............................................................................................10 2. 2.4行指示符号字符....................................................................................……11 2. 3 PDF417条码的压缩模式结构............................................................................. 11 2. 3. 1模式锁定与模式转移码字....................................................................……12 2. 3. 2文本压缩模式........................................................................................……13 2. 3. 3字节压缩模式........................................................................................……14 2. 3.4数字压缩模式........................................................................................……14 2. 4 PDF417条码的数据编码.....................................................................................15 2. 5全球标记标识符............................................................................................……16 2.6错误检测与纠正..................................................................................................17 2.6. 1纠错等级......................................................................................................17 2.6. 2错误纠正容量..............................................................................................17 2.6. 3错误检测与错误纠正码字的计算..............................................................18 2.6.4错误纠正等级的选择..................................................................................19 第三章PDF417条码的分析软件实现 21 3. 1数据码字编码...................................................................................................... 21 3.1.1文本压缩模式子模式.................................................................................. 21 3. 1. 2子模式之间的切换...................................................................................... 21 3. 1. 3数据码字的计算.......................................................................................... 21 3. 1.4生成数据码字程序...................................................................................... 22 3. 2错误纠正码码字编码.......................................................................................... 22 3. 2. 1错误纠正码字的计算.................................................................................. 22 3. 2. 2生成纠错码字程序...................................................................................... 23 3. 3前后行指示符码字编码...................................................................................... 23 3. 3. 1前后行指示符码字的计算.......................................................................... 23 3. 3. 2生成前后行指示符码字程序...................................................................... 24 3.4在V工SUAL BAS工c下实现PDF417条码分析软件..................................................... 25 3.4.1 PDF417条码在文本模式下编码程序流程图............................................. 25 3.4.2 PDF417条码生成界面................................................................................. 26 3.4.3 PDF417条码生成程序................................................................................. 26 3.4.4生成的PDF417二维条码............................................................................. 27 第四章基于PDF417条码的信息隐藏. 29 4. 1信息隐藏技术...................................................................................................... 29 4.1.1信息隐藏技术概念....................................................................................... 29 4. 1.2信息隐藏技术的应用.................................................................................. 29 4. 2 PDF417条码技术要求......................................................................................... 30 4.3用结构微调法实现条码信息隐藏......................................................................31 4.3. 1信息的嵌入...................................................................................................31 4.3.2嵌入算法分析.............................................................................................. 32 4.3.3信息的检测和提取...................................................................................... 32 4.3.4打印扫描攻击.............................................................................................. 32 4.3.5隐藏信息的数量.......................................................................................... 33 4.4仿真实验.............................................................................................................. 33 4.4. 1仿真实验过程............................................................................................... 34 4.4.2对实验条码图像的定性分析...................................................................... 34 4.4.3对实验条码图像的定量分析......................................................................35 4.4.4计算鲁棒性指标..........................................................................................35 4.4.5计算最大隐藏信息量..................................................................................35 4.5条码中明、暗信息隐藏方法的比较.................................................................. 36 4.6本章小结.............................................................................................................. 36 第五章二维条码的检测.........................................……37 5. 1条码图像预处理..................................................................................................37 5. 2条码检测系统......................................................................................................39 5. 3传统的检测算法..................................................................................................40 5. 3. 1图像的边缘..................................................................................................40 5. 3. 2传统的边缘检测方法..................................................................................41 5. 4 PDF417条码的检测.............................................................................................42 5.4. 1条码波形的数学模型...................................................................................42 5.4. 2加权平均值检测法......................................................................................43 5. 5本章小结..............................................................................................................45 第六章工作总结和展望............................................... 47 6. 1论文的工作总结..................................................................................................47 6. 2展望......................................................................................................................47 致谢........................................................……49 附录.............................................................. 51 参考文献......................................................……53 作者在读期间研究成果................. .........................……57
新一代视频压缩编码标准H.264—很清晰的
10-30
前 言 2 第1章 绪 论 9 1.1信息化与视频通信 9 1.1.1什么是信息 9 1.1.2什么是信息化 9 1.1.3 我国的信息化和视频通信 9 1.2 视频信息和信号的特点 10 1.2.1 直观性 10 1.2.2 确切性 10 1.2.3 高效性 10 1.2.4 广泛性 10 1.2.5 视频信号的高带宽性 10 1.3 视频压缩编码要求和可能性 11 1.3.1 视频压缩编码目标 11 1.3.2 视频压缩的可能性 11 1.4 视频压缩编码技术综述 12 1.4.1 基本结构 12 1.4.2 基于波形的编码 12 1.4.3 基于内容的编码 13 1.4.4 三维（立体）视频编码 13 参考文献 14 第2章 数字视频 15 2.1 数字电视的基本概念 15 2.1.1 数字电视的优越性 15 2.1.2 数字电视的PCM原理 16 2.2 数字电视信号 18 2.2.1 电视信号的时间和空间取样 18 2.2.2 彩色空间 19 2.2.3 彩色电视取样格式 19 2.2.4 数字电视信号的编码参数 20 2.3 视频信号的预处理 21 2.3.1 色彩插值（Color Interpolation） 21 2.3.2 色彩校正（Color Correction） 22 2.3.3 伽马校正（Gamma Correction） 23 2.3.4 图像增强（Image Enhancement） 24 2.3.5 白平衡（White Balance） 27 2.4 视频质量 29 2.4.1 主观质量的评定 29 2.4.2 客观质量的测量 29 参考文献 31 第3章 视频压缩编码的基本原理 32 3.1 预测编码 32 3.1.1 预测编码的基本概念 32 3.1.2 帧内预测编码 33 3.1.3 帧间预测编码 37 3.1.4 运动估计 41 3.2 变换编码 54 3.2.1 变换编码的基本概念 54 3.2.2 K-L变换 54 3.2.3 离散余弦变换DCT 55 3.2.4 锯齿形扫描和游程编码 57 3.3 变换编码与预测编码的比较 58 3.4 熵编码 59 3.4.1 变长编码 59 3.4.2 算术编码 59 参考文献 62 第4章 视频编码标准简介 63 4.1视频编码发展简史 63 4.2 H.261标准 63 4.2.1 图像格式 63 4.2.2 H.261视频编解码器 64 4.3 H.263标准 68 4.3.1 H.263标准图像格式 68 4.3.2 H.263视频信源编码算法 69 4.4 MPEG-1标准 69 4.4.1 功能 69 4.4.2 图像类型和编码结构 69 4.5 MPEG-2 70 4.5.1 MPEG-2编码复用系统 70 4.5.2 档次和级别 71 4.5.3 MPEG-2视频编码器 72 4.6 JPEG标准 73 参考文献 76 第5章 MPEG-4压缩编码标准 77 5.1 MPEG4标准概述 77 5.1.1 MPEG-4标准特性 77 5.1.2 AVO及数据结构 77 5.2 MPEG-4标准构成 78 5.2.1 系统 78 5.2.2 音频 80 5.2.3 视频 80 5.2.4 网格动画 84 5.2.5 其余 85 5.3 MPEG-4编码技术 85 5.3.1 形状编码 85 5.3.2 可扩展性编码 87 5.3.3 sprite编码 90 5.3.4 视频系统合成 91 5.4 MPEG-4档次和级 93 参考文献 96 第6章H.264/AVC编码器原理 97 6.1 H.264/AVC的应用 97 6.2 H.264/AVC编解码器 98 6.2.1 H.264编解码器特点 98 6.2.2 H.264编码器 98 6.2.3 H.264解码器 99 6.3 H.264/AVC的结构 99 6.3.1 名词解释 99 6.3.2 档次和级 99 6.3.3 编码数据格式 100 6.3.4参数图像 102 6.3.5 片和片组 102 6.4 帧内预测 104 6.4.1 4×4亮度预测模式 105 6.4.2 16×16亮度预测模式 107 6.4.3 8×8色度块预测模式 109 6.4.4 信号化帧内预测模式 109 6.5 帧间预测 110 6.5.1 树状结构运动补偿 110 6.5.2 运动矢量 111 6.5.3 MV预测 113 6.5.4 B片预测 114 6.5.5加权预测 117 6.6 H.264的SP/SI帧技术（SP片或SI宏块的P宏块） 117 6.6.1 SP/SI帧的应用 118 6.6.2 SP/SI帧的基本原理 120 6.6.3 实验结果和性能分析 123 6.7 整数变换与量化 124 6.7.1 整数变换 125 6.7.2 量化 129 6.7.3 DCT直流系数的变换量化 131 6.8 CAVLC(基于上下文自适应的可变长编码) 132 6.8.1熵编码的基本原理 132 6.8.2 CAVLC的基本原理 133 6.8.3 CAVLC的上下文模型 133 6.8.4 CAVLC的编码过程 133 6.8.5 CAVLC解码过程 135 6.8.6 CAVLC编解码过程实例 138 6.8.7 CAVLC 与UVLC比较 139 6.9 CABAC(基于上下文的自适应二进制算术熵编码) 141 6.9.1 自适应算术编码 141 6.9.2 上下文模型 144 6.9.3 对输入流预编码 146 6.9.4 初始化 147 6.9.5 结论 147 6.10 码率控制 148 6.10.1基于Lagrangian优化算法的H.264编码控制模型 148 6.10.2 实验结果和性能分析 151 6.11 去方块滤波 153 6.11.1 去方块滤波基本概念 154 6.11.2 边界分析 155 6.11.3 滤波过程 157 6.12 其余特征 160 6.12.1 参考图像管理 160 6.12.2 重排序 160 6.12.3 隔行视频 161 6.12.4 数据分割片 162 6.12.5 H.264传输 162 参考文献 164 第7章 H.264的句法和语义 166 7.1 句法 166 7.1.1句法元素的分层结构 166 7.1.2句法的表示方法 169 7.2句法表 170 7.3 语义 189 7.3.1 NAL层语义 190 7.3.2 序列参数集语义 192 7.3.3 图像参数集语义 194 7.3.4片头语义 196 7.3.5参考图像序列重排序的语义 201 7.3.6加权预测的语义 202 7.3.7参考图像序列标记 (marking)操作的语义 203 7.3.8 片数据的语义 204 7.3.9 宏块层的语义 205 7.3.10 宏块预测的语义 210 7.3.11子宏块预测的语义 211 7.3.12 用CAVLC方式编码的残差数据的语义 213 7.3.13 用CABAC方式编码的残差数据的语义 213 7.4总结 213 参考文献 214 第8章 H.264/AVC解码器的原理和实现 215 8.1 解码器原理 215 8.2 NAL单元 216 8.2.1 NAL单元结构 216 8.2.2 NAL单元解码过程 216 8.3 图像序列号（PICTURE ORDER COUNT）的计算 217 8.3.1图像序列号（POC） 217 8.3.2 POC类型为0的POC计算 219 8.3.3 POC类型为1的POC计算 220 8.3.4 POC类型为2的POC计算 221 8.4 宏块片组映射图的产生 221 8.5 片数据分割的解码 223 8.6 参考图像列表的初始化 224 8.6.1 图像序号的计算 224 8.6.2 参考图像列表的初始化 225 8.6.3 参考帧列表的重排序 228 8.7 解码的参考图像的标记过程 230 8.7.1 frame_num不连续的解码过程 231 8.7.2 参考图像滑窗标记过程 231 8.7.3 参考图像的自适应内存控制标记过程 231 8.8 帧内预测 233 8.8.1 4x4亮度块预测方式的提取 234 8.8.2 4x4亮度块的帧内预测编码方式 235 8.8.3 16x16亮度块的帧内预测方式 240 8.8.4 8x8色度块的帧内预测方式 243 8.9 帧间预测解码处理 245 8.9.1 MV分量及参考索引获取 246 8.9.2 帧间预测像素解码处理 248 8.10 变换系数解码 254 8.10.1 变换系数逆扫描过程 255 8.10.2 DCT变换系数中直流系数的逆变换量化 256 8.10.3 残差变换系数的反量化 258 8.10.4 残差变换系数的逆DCT变换 258 8.10.5 去方块滤波前的图像恢复与重建 258 8.11 SP片中的P宏块和SI片中的SI宏块的解码过程 259 8.11.1 主SP片中P宏块的解码过程 259 8.11.2 辅SP/SI片的解码过程 261 参考文献 263 第9章 H.264视频编码传输的QOS 264 9.1 互联网视频传输QOS 264 9.1.1 错误恢复在视频通信中的重要性和实现途径 264 9.1.2 基于块的混合视频编码框架 265 9.1.3 视频通信中提高QoS的抗误码和错误恢复技术 266 9.2 无线网视频传输QOS 271 9.2.1 无线视频通信系统 271 9.2.2 无线信道编码和错误控制 272 9.2.3 无线视频通信的应用 276 9.2.4 H.264无线通信中传输结构 277 9.2.5无线视频传输的鲁帮性研究 278 9.3 H.264视频编解码标准的错误恢复 279 9.3.1 H.264的视频编码层的错误恢复 279 9.3.1 H.264的网络提取层的错误恢复 281 参考文献 284 术语及英文解释 286 附录一 CAVLC相关码表 297 附录二 CABAC相关码表 304 附录三 H.264档次和级 318
【算法与数据结构】—— 并查集
酱懵静的博客
03-26 13万+
并查集是一种树型的数据结构，用于处理一些不相交集合的合并及查询问题（即所谓的并、查）。比如说，我们可以用并查集来判断一个森林中有几棵树、某个节点是否属于某棵树等。并查集主要由一个整型数组pre[ ]和两个函数find( )、join( )构成。 数组 pre[ ] 记录了每个点的前驱节点是谁，函数 find(x) 用于查找指定节点 x 属于哪个集合，函数 join(x,y) 用于合并两个节点 x 和 y 。
数据分析之数据预处理、分析建模、可视化
若如初见
08-08 9万+
概述：简介、思路、发展历程、应用领域、开发流程； 数据类型：结构化与非结构化、定性与定量、截面数据与时间序列数据； 数据来源：外部来源、内部来源； 数据预处理：数据清洗、数据集成、数据规约、数据变换； 数据分析模型：对比分析、漏斗分析、留存分析、A/B测试、用户行为路径分析、用户分群、用户画像分析等； 数据分析方法：描述统计、假设检验、信度分析、相关分析、方差分析、回归分析、聚类分析、判别分析、主成分分析、因子分析、时间序列分析等； 数据可视化：Excel、PowerBI、Tableau、Python；
毕业设计-基于协同过滤算法的个性化推荐系统
Hai_Lang_IT的博客
03-13 3228
毕业设计-基于协同过滤算法的个性化推荐系统：大数据时代下互联网的应用使人们的生活更 加便捷与智能化。 但随之而来的“信息过载”问题 亟需解决，此时推荐系统应运而生。 协同过滤作为个性化推荐系统中应用较为广泛的一种算 法，因经常面临数据稀疏性和算法扩展性问题，近 年来备受关注。 因此，协同过滤算法的优化成为了 国内外学者的研究热点。 针对数据稀疏性问题，一些学者通过降维的方法来缓解稀疏性，提出了基于矩阵分解的迭代最小二乘加权正 则化协同过滤算法，对传统矩阵分解模型加入正则 化约束以防止过拟合； 还 有一些学者
fcbf特征选择步骤_一文读懂 聚类特征选择
weixin_31237295的博客
12-24 2294
《Feature Selection for Clustering:A Review》0.1 introduction介绍高通量技术导致数据维度以及样本数量呈指数增长，使得对数据集进行手动处理显得不太实际。但是由于收集数据的技术不完善或者数据本身来源的性质，导致数据噪声。因此如何从庞大而嘈杂的数据集中提取有用的知识是一项艰巨的任务。降维是一种可以消除噪声和冗余属性(特征)的技术。降维技术可以分为特...
基于EM算法的高斯混合模型
05-01
高斯混合模型（GMM）是一种常用的概率模型，可以用于聚类、异常检测、数据生成等任务。它是由多个高斯分布混合而成的模型，每个高斯分布对应一个聚类簇，而混合系数表示每个聚类簇在总体中所占的比例。 基于EM算法...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

罗思付之技术屋

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值