![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据挖掘
文章平均质量分 80
7TribeZ
我最缺的就是时间
展开
-
【笔记】数据仓库与数据挖掘(三)数据仓库与联机分析处理
3.1 为什么要进行数据预处理3.2 数据清理3.3 数据集成与数据变换3.4 数据归约3.5 数据压缩与数值归约3.6 数据离散化...原创 2021-06-12 19:33:11 · 169 阅读 · 0 评论 -
【笔记】数据仓库与数据挖掘(二)数据仓库与联机分析处理
2.1 数据仓库与数据库的区别2.2 什么是数据仓库...原创 2021-06-11 02:07:52 · 452 阅读 · 1 评论 -
【笔记】数据仓库与数据挖掘(一)数据挖掘导论
目录1.1 数据挖掘的社会需求1.2 数据挖掘的经典实际应用1.3 数据挖掘的定义1.4 数据挖掘的发展历程1.5 分类分析技术简介1.6 聚类关联孤立点分析1.7 数据挖掘的体系结构1.1 数据挖掘的社会需求1.2 数据挖掘的经典实际应用1.3 数据挖掘的定义1.4 数据挖掘的发展历程1.5 分类分析技术简介决策树1.6 聚类关联孤立点分析1.7 数据挖掘的体系.原创 2021-06-10 22:23:37 · 227 阅读 · 0 评论 -
数据挖掘:概念与技术笔记(一)引言
1.1 数据挖掘为什么重要?数据仓库(1.3.2 小 节):是一种数据库结构,是一种多个异种数据源在单个站点以统一的模式组织的存储,以支持管理决策。数据仓库 技术包括数据清理、数据集成和联机分析处理(OLAP)。联机分析处理(OLAP): 是一种分析技术,具有汇总、合并 和聚集功能,以及从不同的角度观察信息的能力。尽管 OLAP 工具支持多维分析和决策,对于深层 次的分析,如数据分类、聚类和数据随时间变化的特征,仍然需要其它分析工具。数据库技术的进化如下图:数据挖掘工具进行数据分析.原创 2021-06-08 16:36:56 · 1032 阅读 · 0 评论 -
【数据挖掘】二手车交易价格预测(六)模型融合
五、模型融合赛题:零基础入门数据挖掘 - 二手车交易价格预测地址:https://tianchi.aliyun.com/competition/entrance/231784/introduction?spm=5176.12281957.1004.1.38b02448ausjSX5.1 模型融合目标对于多种调参完成的模型进行模型融合。完成对于多种模型的融合,提交融合结果并打卡。5.2 内容介绍模型融合是比赛后期一个重要的环节,大体来说有如下的类型方式。简单加权融合:回归原创 2021-04-25 00:34:42 · 842 阅读 · 0 评论 -
【语音识别】食物声音识别(六)拓展阅读:语音识别基础知识介绍
Task6 拓展阅读:语音识别基础知识介绍01 语音识别基础与发展1.1 语音识别基础语音识别全称为“自动语音识别”,Automatic Speech Recognition (ASR), 一般是指将语音序列转换成文本序列。语音识别最终是统计优化问题,给定输入序列O={O1,…,On},寻找最可能的词序列W={W1,…,Wm},即寻找使得概率P(W|O)最大的词序列。用贝叶斯公式表示为:其中P(O|W) 叫做声学模型,描述的是给定词W时声学观察为O的概率;P(W)叫做语言模型,负责计算某个词序列的原创 2021-04-23 00:47:54 · 469 阅读 · 0 评论 -
【数据挖掘】二手车交易价格预测(五)建模调参
Datawhale 零基础入门数据挖掘-Task4 建模调参四、建模与调参赛题:零基础入门数据挖掘 - 二手车交易价格预测地址:https://tianchi.aliyun.com/competition/entrance/231784/introduction?spm=5176.12281957.1004.1.38b02448ausjSX4.1 学习目标了解常用的机器学习模型,并掌握机器学习模型的建模与调参流程完成相应学习打卡任务4.2 内容介绍线性回归模型:线性回归对于特征的要原创 2021-04-23 00:21:41 · 1128 阅读 · 0 评论 -
【语音识别】食物声音识别(五)模型改进与优化
目录Task5 食物声音识别之模型改进与优化01 过拟合和欠拟合1.1 过拟合和欠拟合1.2 降低过拟合风险的方法1.3 降低欠拟合风险的方法02 泛化误差、偏差和方差2.1 泛化误差2.2 偏差和方差03 模型评估3.1 Holdout检验3.2 交叉检验3.3 自助法04 集成学习4.1 Boosting4.2 Bagging4.3 集成学习的步骤4.4 从减小方差和偏差的角度解释Boosting和Bagging参考资料:.原创 2021-04-22 01:15:02 · 623 阅读 · 2 评论 -
【语音识别】食物声音识别(四)音频数据特征提取
01 前情摘要前面讲解了音频数据的分析以及特征提取等内容,本次任务主要是讲解CNN模型的搭建与训练,由于模型训练需要用到之前的特侦提取等得让,于是在此再贴一下相关代码。1.1 导包#基本库import pandas as pdimport numpy as nppd.plotting.register_matplotlib_converters()import matplotlib.pyplot as plt%matplotlib inlineimport seaborn a.原创 2021-04-19 23:37:51 · 1129 阅读 · 0 评论 -
【数据挖掘】二手车交易价格预测(四)特征工程
目录特征工程3.1 特征工程目标3.2 内容介绍3.3 代码示例3.3.0 导入数据3.3.1 删除异常值3.3.2 特征构造3.3.3 特征筛选1) 过滤式2) 包裹式3) 嵌入式3.4 经验总结特征工程赛题:零基础入门数据挖掘 - 二手车交易价格预测地址:https://tianchi.aliyun.com/competition/entrance/231784/introduction?spm=5176.12281957.10...原创 2021-04-19 22:39:40 · 382 阅读 · 0 评论 -
【语音识别】食物声音识别(三)音频数据特征提取
目录01 特征提取背景02 常见的音频特征提取2.1 过零率2.2 频谱质心2.3 声谱衰减2.4 色度频率03 MFCC特征提取3.1 短时傅里叶分析3.1.1 分帧3.1.2 对每帧信号进行DFT04 梅尔频谱和梅尔倒谱4.1 梅尔尺度4.2 梅尔滤波器4.3 梅尔倒谱05 本次任务中的特征提取参考资料01 特征提取背景在之前的Task2中,我们初步查看了数据集的信息,并通过音频的声波图和声谱图将声音可视化了。当我们拿到..原创 2021-04-18 01:36:56 · 3052 阅读 · 2 评论 -
【数据挖掘】二手车交易价格预测(三)数据分析
目录今日踩坑EDA(Exploratory Data Analysis)-数据探索性分析1.1 EDA目标1.2 内容介绍1.3 代码示例1.3.1 载入各种数据科学以及可视化库1.3.2 载入数据所有特征集均脱敏处理(方便大家观看)1.3.3 总览数据概况1.3.4 判断数据缺失和异常2) 查看异常值检测1.3.5 了解预测值的分布1.3.6 特征分为类别特征和数字特征,并对类别特征查看unique分布1.3.7 数字特征分析1.3...原创 2021-04-17 00:50:12 · 1501 阅读 · 0 评论 -
【数据挖掘】二手车交易价格预测(二)突破baseline三板斧
目录突破baseline三板斧1.数据清洗和特征工程数据清洗特征工程2.模型参数调节3.模型集成突破baseline三板斧1.数据清洗和特征工程数据清洗举例特征工程如 二手车数据集中有 年月日的时间特征维度,提取年份可以看到价格随着年份 递增而递增。举例2.模型参数调节...原创 2021-04-16 15:52:54 · 225 阅读 · 0 评论 -
【语音识别】食物声音识别(二)赛题数据介绍与分析
目录01 声音是如何产生的02 赛题数据集介绍03 数据探索3.1 加载库3.2 查看音频数据3.3 查看音频特征01 声音是如何产生的声音以波的形式传播,即声波(Sound Wave)。当我们以波的视角来理解声音时,却又大繁若简起来:仅凭频率(Frequency)、 幅度(Magnitude)、相位(Phase)便构成了波及其叠加的所有,声音的不同音高(Pitch)、音量(Loudness)、音色(Timbre) 也由这些基本“粒子”组合而来。世上形形色..原创 2021-04-16 01:13:33 · 883 阅读 · 0 评论 -
【语音识别】食物声音识别(一)Baseline
目录前情提要cnn介绍keras聊聊以后一.赛题描述及数据说明评估标准结果提交二. Baseline加载深度学习框架加载音频处理库¶特征提取以及数据集的建立搭建CNN网络预测测试集¶三. 提交结果前情提要cnn介绍将卷积池化后的二维数据(向量)经过 flatten 降维之后 作为 input 放入神经网络keras聊聊以后西瓜书...原创 2021-04-14 23:52:01 · 813 阅读 · 0 评论 -
【数据挖掘】二手车交易价格预测(一)赛题理解
目录前情提要:如何在天池学习、运行教程代码一. 赛题理解1.1 了解赛题1.1.1 赛题概况1.2.2 数据概况1.1.3 预测指标 (metrics)1.1.4 分析赛题1.2 代码示例1.2.1 数据读取pandas1.2.2 分类指标评价计算示例1.2.3 回归指标评价计算示例¶1.3经验总结¶前情提要:如何在天池学习、运行教程代码https://tianchi.aliyun.com/notebook-ai/hom...原创 2021-04-14 02:04:15 · 595 阅读 · 0 评论