- 博客(4)
- 收藏
- 关注
RSS订阅原创 训练集/测试集同分布检验
在数据挖掘比赛中，很重要的一个技巧就是要确定训练集与测试集特征是否同分布，这也是机器学习的一个很重要的假设。但很多时候我们知道这个道理，却很难有方法来保证数据同分布。除了KS检验、overlap rate、KL散度、KDE核密度估计外，对抗验证Adversarial validation是利用机器学习模型去检测分布是否一致对抗验证是模型验证的一种，通常，我们在训练模型的时候，不会将所有的数据用于训练，而是留出部分数据（验证集）用于评估模型的效果，这样做可以一定程度减少过拟合，经常会使用的到的交叉验证有：留
2021-02-23 17:25:41
6509
1
原创 tensorflow2.0 keras 函数api 常用网络结构
1构建简单的网络1.1创建网络inputs = tf.keras.Input(shape=(784,), name='img')h1 = layers.Dense(32, activation='relu')(inputs)h2 = layers.Dense(32, activation='relu')(h1)outputs = layers.Dense(10, activation='softmax')(h2)model = tf.keras.Model(inputs=inputs, outp
2021-01-18 10:39:52
161
原创 决策树算法
决策树（decision tree）是一类常见的机器学习算法，它是基于树结构来进行决策的。1. 概要一般一棵决策树包含一个根结点、若干个内部结点和若干个叶结点；叶子结点就对应我们的决策结果，其它的根节点和内部节点就对应于一个属性测试。决策树学习的目的就是为了产生一棵泛化能力强，即处理未见事例能力强的决策树。决策树生成是一个递归过程，有三种情形会导致递归返回：(1)当前结点包含的样本全属于同一类别，无需划分；(2)当前属性集为空，或是所有样本在所有属性上取值相同，无法划分；(3)当前结点包含的样
2020-12-01 10:47:04
624
原创 python 连接Mysql和hive
python 连接Mysql和hive1、python 连接Mysqlimport pymysqlimport pandas as pd# 连接databaseconn = pymysql.connect( host=“你的数据库地址”, port=3306, user=“用户名”,password=“密码”, database=“数据库名”, charset=“utf8”)# 得到一个可以执行SQL语句的光标对象cursor = conn.cursor
2020-11-26 10:27:36
731
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人