- 博客(26)
- 收藏
- 关注
RSS订阅
5原创 em算法的Q函数的理解
这个是概率密度。p(xi∣zi,Θ)p\left(x_{i} \mid z_{i}, \Theta\right)p(xi∣zi,Θ)是来自第ZiZ_{i}Zi个模型下，xix_{i}xi的分布。所以第ZiZ_{i}Zi个模型的参数是：N(μzi,Σzi)\mathcal{N}\left(\mu_{z_{i}}, \Sigma_{z_{i}}\right)N(μzi,Σzi)p(zi∣Θ)p\left(z_{i} \mid \Theta\right)p(zi∣Θ)是给定参数下选第Z.
2021-06-20 22:33:28
1405
原创 word2vec的含义及更新
word2vec的含义word2vec是用把词变成向量的。一个词的意思是由他的context决定的。所以相似的词有相似的向量。词向量的生成就是输入侧的权重矩阵，一行矩阵代表一个词。每个词所得到的词向量所得到的长度就是固定的。...
2021-06-15 18:53:18
259
原创 linux系统
linux系统linux系统免费，安全。一般初学者用CentOS 6，用VMware 安装。Nvidia是Linux的一生之敌。期待AMD的崛起。Nvidia F**K YOU。一般Linux系统的虚拟机可以在模拟互联网，创建hadoop集群。Linux以前是用命令行执行的。现在可以用桌面图像界面操作。但是商业服务器一般不带图像操作界面。...
2021-06-14 22:22:53
94
原创 2021-06-02
#检查是否有缺失值train_data.isnull().any()当有一列有缺失值会变成Ture。data_train.isnull().any().sum()查看缺失值有多少列。missing = train_data.isnull().sum()/len(train_data)missing = missing[missing > 0]missing.sort_values(inplace=True)missing.plot.bar()可以看缺失值在每列的比例。one
2021-06-03 22:37:42
92
原创 2021-05-21
lgb的使用##### lgb_263 ##lightGBM决策树lgb_263_param = {'num_leaves': 7, 'min_data_in_leaf': 20, #叶子可能具有的最小记录数'objective':'regression','max_depth': -1,'learning_rate': 0.003,"boosting": "gbdt", #用gbdt算法"feature_fraction": 0.18, #例如 0.18时，意味着在每次迭代中随机选择1
2021-05-21 18:56:50
54
原创 2021-05-18
机器学习首先分析离散数据for cat_fea in categorical_features: print(cat_fea + "的特征分布如下：") sns.distplot(train[cat_fea]) print("{}特征有个{}不同的值".format(cat_fea, train[cat_fea].nunique())) print(train[cat_fea].value_counts())发现有-8没有在说没中出现，故删除-8所在行.#make
2021-05-18 23:31:00
70
原创 2021-05-14
数据增广针对文本数据的数据增广可以看成书特征工程的一部分#第一次结婚年龄 data['marital_1stbir'] = data['marital_1st'] - data['birth'] #最近结婚年龄 data['marital_nowtbir'] = data['marital_now'] - data['birth']这种事数字特征的增广。把男女用数字0，1也可以是数字增广。对于图片信息的增广，可以是旋转，对称，拉伸，平移等。...
2021-05-14 00:10:30
31
原创 2021-05-11
stacking的代码一些介绍# 1. 简单堆叠3折CV分类from sklearn import datasetsiris = datasets.load_iris()X, y = iris.data[:, 1:3], iris.targetfrom sklearn.model_selection import cross_val_scorefrom sklearn.linear_model import LogisticRegressionfrom sklearn.neighbors i
2021-05-11 23:04:25
141
原创 建立bert文本分类的流程
建立bert文本分类的流程首先对数据用sample(frac = 1.0)随机打乱from sklearn.preprocessing import LabelEncodertrain_data = train_data.sample(frac = 1.0)lbl = LabelEncoder().fit(train_data['LABEL'])train_data['LABEL'] = lbl.transform(train_data['LABEL'])...
2021-05-10 21:40:07
495
原创 Transformer中decoder的一些理解
Transformer中decoder的一些理解encoder段这个是atuoregressive。就是上一个输出是下一个输入。另外有nat的，这里不讲。这里的第一步和seq2seq一样，输入一个begin，这个向量是人为初始化的。这里用英译中举例，这里的输出向量是中文的字向量。这里有一个包含所有中文文字库，每个字代表一个向量，每个向量不重复。这个向量的长度是=len（文字库所有字），然后把向量中的概率对应到每个字，如：学：0.0，机：0.8。最后输出概率最大的字。decoder有个maske
2021-05-07 23:02:37
275
原创 2021-05-07
self-attenation蓝色区域是self-attention输出。每个aaa是一个向量，ai(i=1,....,n)a^{i}(i=1,....,n)ai(i=1,....,n) 是一串向量。aia^{i}ai可能是一个系统输入，也可能是上一个self-attention层的输出。下面写出b1b^{1}b1的计算方式：先计算出a1a^{1}a1和其他ai(i=1,....,n)a^{i}(i =1,....,n)ai(i=1,....,n) 的关联性，用α\alphaα 来表示两个向量之间
2021-05-07 14:05:51
68
转载 attention理解
attention理解这是attention的基本框架这是Seq2Seq的模型，Encoder-Decoder是个非常通用的计算框架，至于Encoder和Decoder使用的常见模型有 CNN / RNN / BiRNN / GRU / LSTM / Deep LSTM 等。X=(x1,x2,...,xm)X=(x_{1},x_{2},...,x_{m})X=(x1,x2,...,xm)Y=(y1,y2,...,yn)Y=(y_{1},y_{2},...,y_{n})Y=(y1,y2,.
2021-05-05 23:26:55
82
原创 2021-04-22
隐马尔可夫模型隐马尔可夫模型是马尔可夫链的一种，它的状态不能直接观察到，但能通过观测向量序列观察到，每个观测向量都是通过某些概率密度分布表现为各种状态，每一个观测向量是由一个具有相应概率密度分布的状态序列产生。存在一类重要的随机过程：如果一个系统有 N\mathrm{N}N 个状态 S1,S2,S3..SNS_{1}, S_{2}, S_{3} . . S_{N} \quadS1,S2,S3..SN 随着时间的推移，该系统 从某一状态转移到另一状态。如果用 qtq_{t}qt 表示系统在时间
2021-04-22 23:17:28
45
原创 2021-04-21
VotingClassifiervoting_clf = VotingClassifier(estimators=[ ('log_clf', LogisticRegression()), ('svm_clf', SVC()), ('dt_clf', DecisionTreeClassifier())], voting='hard')estimators是你要用的分类器。hard是少数服从多数。sort是计算某类样本的那个平均值大小。...
2021-04-21 23:05:44
41
原创 2021-04-19
预加重预加重 (Pre-emphasis)：预加重是用来补偿高频信号的。因为高频信号在传输中损失较大。快速傅里叶变化：]快速傅里叶变换 (fast Fourier transform), 即利用计算机计算离散傅里叶变换（DFT)的高效、快速计算方法的统称，简称FFT....
2021-04-19 23:37:25
34
原创 2021-04-19
SecondHandCarPriceForecast的整理baseline部分在这里插入代码片task1task22.1 EDA (Exploratory Data Analysis)目标EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可
2021-04-19 19:13:44
319
原创 2021-04-16
数据分析的一些常用处理Test_data.isnull().sum()可以查看pandas的数据缺失值SaleID 0name 0regDate 0model 0brand 0bodyType 1413fuelType 2893gearbox
2021-04-16 23:49:02
63
原创 2021-04-13
xgb的使用xgb分成两项，分别是正则项和损失函数，分别将他们泰勒展开，去除常数项和优化后合并在一起。xgb就是gbdt的优化版。把多颗树融合在一起
2021-04-13 23:18:15
38
原创 2021-04-13
librosa库的几个用法Parameters：path要输入文件的路径sr设置采样率mono布尔型，把信号转换成monooffset 浮点型，从这个时间开始读取音频duration 浮点型 音频的持续时间res_type 字符型用途似乎是关于采样质量的...
2021-04-13 22:58:53
33
原创 stacking讲解
stacking讲解stacking是用来模型融合的，可以把svm，lr等算法进行融合。以下是可能用到的包import numpy as npimport lightgbm as lgbfrom sklearn.datasets import make_blobsfrom sklearn import datasetsfrom sklearn.tree import DecisionTreeClassifierfrom sklearn.ensemble import RandomForestC
2021-03-29 00:49:02
386
原创 2021-03-26
贝叶斯优化python中有可调用库bayesian-optimization。贝叶斯调参是源自贝叶斯学派的后验分布，原理是把要优化的函数看作是一个黑箱，通过输入新的样本点来更新目标函数的后验分布。贝叶斯优化包含未知函数fff,数据集DDD，超参数搜索空间XXX，模型DDD，和搜索函数 Acquisition Function, SSS，超参数xxx。每次调节超参数都会生产一个输出。一般会定义循环次数。 Acquisition Function是用来寻找下一个超参数xxx的函数。先定义要优化的函数：
2021-03-26 02:52:25
52
原创 2021-03-20
lgb格式params = {‘boosting_type’: ‘gbdt’,‘objective’: ‘multiclass’,‘num_class’: 4,‘num_leaves’: 2 ** 5,‘feature_fraction’: 0.8,‘bagging_fraction’: 0.8,‘bagging_freq’: 4,‘learning_rate’: 0.1,‘seed’: seed,‘nthread’: 28,‘n_jobs’:24,‘verbose’: -1,}
2021-03-20 01:19:21
77
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人