EndlessLearn-CSDN博客

原创【pandas】ser.apply() & df.apply()

df.apply()s

2021-06-09 18:12:36 250

原创【机器学习】PLA (感知机算法 Perceptron Learning Algorithm)

1. PLA 基础理论PLA是一个线性二分类算法。1.1 Perceptron Hypothesis我们也可以把偏置项作为一个恒为1的维度并入x向量，于是得到：h(x)=sign(wTx)h(x) = sign(w^Tx)h(x)=sign(wTx)注意：这里的负样本是-1而不是0 2. PLA的算法实现过程算法步骤：选择w0=0w_0 = 0w0=0 (选择初始值，一般选0)选择一个分类错误的样本n，更新w， w1=w0+ynxnw_1 = w_0

2021-06-09 10:46:54 2035

原创【numpy】np.ones_like & np.zeros_like

numpy.ones_like(a, dtype=None, order='K', subok=True)返回与给定数组shape相同，且值均为1的数组。如果设置dtype的话，返回数据类型为dtype，否则为a的类型另外两个参数可忽略（不懂）np.zeros_like 返回与给定数组shape相同，且值均为0的数组。>>>arr = np.arange(9).reshape(3,3)>>>arrarray([[0, 1, 2], [3,

2021-06-08 18:42:13 383

原创【SQL】redshift的 array （基础）

1. 将多列合并为一个数组-- array里的值可以类型相同，也可以类型不同select ARRAY(col1,col2,col3) as new_arrayfrom my_schema.my_table2. 拼接数组SELECT ARRAY_CONCAT(ARRAY(10001,10002),ARRAY(10003,10004))--结果为[10001,10002,10003,10004]3. 展开数组SELECT ARRAY_FLATTEN(ARRAY(ARRAY(1,2,3,4

2021-06-08 17:47:55 641

原创【numpy】np.where()

where

2021-04-21 16:22:26 161 1

原创【机器学习】lightGBM

1. LightGBM 基础理论1.2 LightGBM优缺点优点：简单易用。高效可扩展。LightGBM直接支持缺失值与类别特征，无需对数据额外进行特殊处理.缺点：相对于深度学习模型无法对时空位置建模，不能很好地捕获图像、语音、文本等高维数据。在拥有海量训练数据，并能找到合适的深度学习模型时，深度学习的精度可以遥遥领先LightGBM。...

2021-04-08 18:16:17 641

转载【机器学习】模型保存 pickle，joblib

训练好的模型可以使用pickle或者joblib进行保存。先建立一个模型from sklearn import svmfrom sklearn import datasetsclf = svm.SVC()X,y = datasets.load_iris()clf.fit(X,y)pickleimport pickle# 需要预先建立文件夹D:\study\001with open(r'D:\study\001\clf.pickle','wb') as f: pickle.dump

2021-03-17 15:51:21 247

原创【机器学习】XGBoost

1. XGBoost 基础理论XGBoost (eXtreme Gradient Boosting) 本质是GBDT，但进行了算法和工程上的许多改进。XGB可做分类，亦可做回归。XGB的弱评估器是CART tree1.1 建模方法建立第一棵树。建立第二棵树，学习一个新的函数，拟合第一棵树预测的残差。… 以此类推，不断建树，不断迭代。最终预测结果为所有树对应分数的加和。1.2 XGB 与 GBDT的不同1）目标函数不同。1.3 XGBoost 优缺点优点：简单易用。相对其

2021-02-19 17:01:14 343

原创【机器学习】逻辑回归

1 逻辑回归基础理论逻辑回归（Logistic regression）又叫对数几率回归，是一个分类模型。主要进行二分类。在线性回归的基础上进行一个sigmoid变换，于是得到逻辑回归模型。逻辑回归输出值在(0,1) 之间，直观含义是y=1的概率。1.1 公式y=11+e−(θTX+b)y = \frac{1}{1+e^{-(\theta^TX+b)}} y=1+e−(θTX+b)1也可以写成：lny1−y=θTX+b ln\frac{y}{1-y} = \theta^TX +bln1−yy=θ

2021-02-12 16:19:27 1489

原创【SQL】Hive中的时间日期函数

1. 日期与时间戳的转换时间戳转为日期from_unixtime(bigint unixtime[, stringformat])日期转为时间戳unix_timestamp(string date[, stringformat])to_unix_timestamp(string date[, stringformat])to_unix_timestamp 和unix_timestamp 都可以转化日期为时间戳，但据说前者效率更高。--时间戳转日期select from_unixtime(

2021-02-09 16:23:40 2330

MagicMystery的博客