象牙塔小明的博客

sklearn

匹配整数\d 是匹配一个数字(0到9)\d 前面多了第一个\ 是为了在程序中转义第二个\+表示 1个或多个组合起来\d+ 就表示多个数字，形如 12、44、6763……在hive中判断字符是不是数字，还需要增加首尾限制：^\d+$判断 id 字段是不是数组，则使用语句：id rlike ‘^\d+$’ 判断即可匹配小数\. 匹配一个小数点\d+\.\d+ 就表示小数，形如12.334、0.12、87.343……在hive中判断字符是不是小数，还需要增加首尾限制：^\d+\.\d+$

https://xueshu.baidu.com/usercenter/paper/show?paperid=1e410ed0pu3j0jn03t0n00c0fc738579

https://pypi.org/project/runipy/

标题 Xgboost做了什么优化，有什么优缺点？deep&wide，deep和wide部分分别适合什么类型的特征，底层原理？为什么简历里面deep&wide效果不如deep正则化L1和L2的区别正则化的作用是针对过拟合提出，主要是限制模型权重，其中L1正则化会让更多的权重为0，即产生稀疏模型，L2正则化会权重接近0。L1正则先验服从拉普拉斯分布，L2服从高斯分布。...

窗口函数经常和下面的用法配合使用：range between 3 preceding and -1 following7 preceding表示按照排序后到当前位置前7个-1 following表示按照排序后到当前位置后面-1个举例说明：indexvalue120221322423524使用语句order by index range between 2 preceding and -1 following用来计算value均值时，该语

优质博客：https://www.cnblogs.com/kyoner/p/11080078.html看完了没有搞不定的二分查找

一、先直接上代码key是要翻译的词，输出是翻译结果：# -*- coding:utf-8 -*-# @FileName :1.4有道翻译_post请求.py# @Time :2021/8/15 19:39# @Author :象牙塔小明import requestsimport reurl = "https://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule"key = "学习"for

评估模型的重点是将数据划分为三个集合：训练集、验证集和测试集。在训练数据上训练 模型，在验证数据上评估模型。一旦找到了最佳参数，就在测试数据上最后测试一次。你可能会问，为什么不是两个集合：一个训练集和一个测试集？在训练集上训练模型，然后在测试集上评估模型。这样简单得多！原因在于开发模型时总是需要调节模型配置，比如选择层数或每层大小［这叫作模型的超 参数（hyperparameter），以便与模型参数（即权重）区分开］。这个调节过程需要使用模型在验 证数据上的性能作为反馈信号。这个调节过程本质上就是一种学

目录1.PCA算法优缺点2.LDA算法简介3.枯燥又简洁的理论推导4.python实战LDA5.下篇预告1.PCA算法优缺点在上一篇推文中，我们详解了PCA算法。这是机器学习中最为常用的降维方法，能降低算法的计算开销，使得数据集更容易处理，且完全无参数的限制。但是，如果用户对观测对象有一定的先验知识，掌握了数据的一些特征，却很难按照预想的方法对处理过程进行干预，可能达不到预期的效果，在非高斯分布的情况下，PCA方法得出的主元可能也并不是最优的。2.LDA算法简介这时候，就要线性判别分析降维（Line

伴随着通信与互联网技术的不断发展，人们收集和获取数据的能力越来越强，而这些数据已呈现出维数高、规模大和结构复杂等特点，当数据量非常大时，会面临维度灾难，即:1.在高维情况下，数据样本稀疏；2.涉及距离、内积的计算变得困难。缓解灾难的一个重要途径就是降维。本篇博客主要以PCA为例，讲解sklearn实现降维。1.标准PCA如下图所示，我们用两个特征——一个是attack、一个是defense来描述样本。作两条垂直的参考线，方差相差很大。在方差较大的方向上，所包含的信息就较多。降维要尽可能保持原始数据的

train_test_split的用法注意：旧版本的导入该模块是：from sklearn.cross_validation import train_test_split新版本改成了：from sklearn.model_selection import train_test_split作用：train_test_split函数用于将矩阵随机划分为训练子集和测试子集，并返回划分好的训练集测试集样本和训练集测试集标签。格式：X_train, X_test, y_train, y_test =cr

画ROC曲线封装函数# 画ROC曲线函数def plot_roc_curve(y_true, y_score): """ y_true:真实值 y_score：预测概率。注意：不要传入预测label！！！ """ from sklearn.metrics import roc_curve import matplotlib.pyplot as plt fpr,tpr,threshold = roc_curve(y_true, y_score, po

https://zhuanlan.zhihu.com/p/68194655

方法一：def to_one_hot(label, dimension=46):results = np.zeros((len(label), dimension))for i, label in enumerate(label):results[i, label] = 1.return resultsone_hot_train_label = to_one_hot(train_labels)one_hot_test_label = to_one_hot(test_labels)print(

方法描述count计算分组中非NA值的数量sum计算非NA值的和mean计算非NA值的平均值median计算非NA值的算术中位数std、var计算非NA值标准差和方差min、max获得非NA值的最小和最大值prod计算非NA值的积first、last获得第一个和最后一个非NA值例如：...

numpy中的ndarray与pandas的Series和DataFrame之间的相互转换Series转换为ndarray是一个一维数组DataFrame转换为ndarray是一个多维数组

pandas读取excel设置第一列为序号设置参数index_col=0可以设置读取excel时第一列为序号，否则会自动添加一列序号从0开始：data = pd.read_excel(file_path, index_col=0)pandas读取excel设置第一行为列名默认参数 header=0 会设置读取的excel第一行为列名， header=None会新建一行从0开始的序号列名：...

例如：如下案例有两个错误from sklearn.datasets import load_bostonfrom sklearn.feature_selection import SelectKBestfrom sklearn.feature_selection import chi2X_boston, y_boston = load_boston(return_X_y=True)K_...

在sklean的预处理方法中主要有三种,每一种都有函数方法和类方法两种使用方法：归一化-标准化：normalize()函数/Normalizer()类区间缩放-调整尺度: minmax_scale函数/MinMaxScaler()类正态化：scale()函数/StandardScaler()类归一化/标准化处理将每一行数据的向量模长（欧氏距离）处理成1.方法一：normalize()...