数据挖掘和机器学习
夜黑风高独去留
这个作者很懒,什么都没留下…
展开
-
机器学习中的特征工程
特征工程“数据决定了机器学习效果的上限。” 为了使构建的模型尽可能逼近最优,需要在建模前对特征进行处理。特征工程包含特征变换和特征选择等步骤。特征变换标准化 - 离差标准化 - 标准差标准化 - 小数定标标准化 - 函数转换one-hot 编码离散化 - 等宽法 - 等频法 - 基于聚类分析的方法特征选择子集搜索与评价过滤式选择包裹式选择嵌入式选择与L1正则化稀疏表示与字典学习------------------------------------------未完待原创 2021-07-30 12:04:13 · 332 阅读 · 0 评论 -
机器学习中的数据准备
数据准备是机器学习流程中一个重要的前置步骤,分为:数据质量校验、数据分布与趋势探查、数据清洗和数据合并等数据质量校验数据质量校验的主要任务是检查原始数据中是否存在噪声数据,常见的噪声数据包括不一致的值、缺失值和异常值一致性校验时间校验时间范围不一致时间粒度不一致时间格式不一致时区不一致字段信息校验同名异义异名同义单位不一致缺失值校验异常值校验四分位距(IQR)准则3σ原则数据分布与趋势探查分布分析定量数据定性数据对比分析对比分析的原创 2021-07-26 18:43:09 · 671 阅读 · 0 评论