- 博客(30)
- 收藏
- 关注
RSS订阅原创 Linux基础3
目录压缩与解压Tasks文件压缩使用grep和awk从文件中筛选字符串使用find和locate定位文件参考压缩与解压格式压缩命令解压命令tartar czvf filename.tar dirnametar zxvf filename.tarzipzip filename.zip dirnameunzip filename.zipgztar zcvf filename.tar.gz dirnamegzip filename.tar.gz gzip filen
2021-12-27 14:46:45
362
原创 Linux基础2
目录窗口与会话管理nohup后台运行TmuxTasks在目录下创建py文件，并进行运行在目录下创建py目录，并进行import导入在Linux系统中后台运行应用程序，并打印日志参考窗口与会话管理nohup后台运行采用nohup可以将进程在后台运行# 执行sleep.py$ nohup python3 sleep.py# 挂起至后台ctrl+z[1]+ 已停止 nohup python3 sleep.py# 后台继续运行$ bg[1]+ nohup py
2021-12-21 10:02:26
192
原创 Linux基础1
目录远程登录文件与目录管理目录结构常用命令Tasks创建文件夹、删除文件夹下载文件、阅读文件在目录下使用vi或vim编辑文件参考系统环境：mac登陆远程虚拟linux环境远程登录终端输入地址、密码ssh datawhale@139.198.15.157文件与目录管理目录结构命令ls /结果说明文件夹存储内容bin最常使用命令boot核心文件（链接文件+镜像）dev外部设备etc系统管理所需配置文件和子目录home用户主
2021-12-13 23:04:50
771
原创 卷积神经网络
目录卷积定义意义分类上采样和下采样卷积神经网络结构卷积层激活函数池化层全连接层输出层训练步骤误差反向传播经典CNN参考卷积定义f(x),g(x)f(x),g(x)f(x),g(x)在实数域上可积，记(f∗g)(n)(f*g)(n)(f∗g)(n)为f(x),g(x)f(x),g(x)f(x),g(x)的卷积，则连续卷积：(f∗g)(n)=∫−∞+∞f(τ)g(n−τ)dτ(f*g)(n)=\int_{-\infty}^{+\infty}f(\tau)g(n-\tau)d\tau(f∗g)(n)=∫
2021-11-28 02:46:44
226
原创 前馈神经网络
目录神经元基础结构网络结构感知器单层感知器多层感知器优化神经元1943年，美国神经生理学家沃伦·麦卡洛克（Warren McCulloch）和数学家沃尔特 ·皮茨（Walter Pitts）首次提出了一种形式神经元模型，并命名为McCulloch-Pitts模型（M-P模型）。基础结构神经元接受其他n个神经元的输入信号(0或1)，这些输入信号经过加权求和，将求和结果与阈值θ比较，然后经过激活函数处理，得到神经元的输出，即如公式所示：yj=f(∑i=1nwijxi−θ)y_j=f(\sum _{i=1
2021-11-23 21:30:47
734
原创 深度学习数学基础
目录深度学习基本概念定义分类数学基础矩阵基本概念矩阵的分解深度学习基本概念定义深度学习一般指通过训练多层网络结构对未知数据进行分类或回归分类#mermaid-svg-tIVcZ3bsg5BMkVrd .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-tIVcZ3bsg5BMkVrd .label text
2021-11-18 00:43:47
773
原创 GBDT梯度提升树
目录前向分步算法框架梯度提升树回归问题分类问题前向分步算法框架前向分步算法是在Adaboost基础上提出的算法框架。研究对象：加法集成模型：f(x)=∑m=1Mβmb(x;γm)f(x)=\sum_{m=1}^{M} \beta_{m} b\left(x ; \gamma_{m}\right)f(x)=m=1∑Mβmb(x;γm)其中，b(x;γm)b\left(x ; \gamma_{m}\right)b(x;γm)为即基本分类器，γm\gamma_{m}γm为基本分类器的参
2021-11-04 00:26:57
258
原创 Adaboost自适应提升算法
目录基本概念分类任务损失函数基本概念Adaboost（Adaptive Boosting）为自适应提升算法。基本思路为1. 提高那些被前一轮分类器错误分类的样本的权重，而降低那些被正确分类的样本的权重。2. 加大分类错误率低的弱分类器的权重分类任务损失函数对于 KKK分类问题而言，当样本标签 y=[y1,...,yK]T\mathbf{y}=[y_1,...,y_K]^Ty=[y1,...,yK]T的类别 c(y)c(\mathbf{y})c(y) 为第kkk类(k=1,...,K)(k=1,.
2021-10-30 21:47:13
573
原创 随机森林与孤立森林
目录随机森林随机性特征重要性out-of-bag(oob) score孤立森林随机森林随机森林是一种以决策树（常用CART树）为基学习器的bagging算法。回归问题结果：各学习器的均值分类问题结果：硬投票：基学习器预测频率最高的类别为最终结果（原论文采用方法）软投票：通过各基学习器的结果概率分布计算样本属于某个类别的平均概率，然后选择概率分布最高的类别结果（sklearn.ensemble .RandomForestClassifier采用方法）随机性样本随机：bootstra
2021-10-25 00:04:26
3620
原创 决策树学习
目录信息量公理三个必要条件充要函数信息熵决策树节点分裂生长模式剪枝预剪枝后剪枝（MCCP）信息量公理三个必要条件I(1)=0I(1) = 0I(1)=0必然事件不确定性为0I(p)I(p)I(p)关于ppp单调递减高概率事件的不确定性更低I(∏i=1np(Ai))=∑i=1nI(p(Ai))I(\prod \limits_{i=1}^np(A_i))=\sum \limits_{i=1}^nI(p(A_i))I(i=1∏np(Ai))=i=1∑nI(p(Ai))独立事件同
2021-10-12 23:23:39
194
原创 文本生成任务
这里写目录标题因果语言模型数据加载数据预处理微调预训练模型掩蔽语言模型数据加载数据预处理微调预训练模型机器翻译安装库数据加载数据预处理微调预训练模型生成摘要安装库数据加载数据预处理微调预训练模型因果语言模型因果语言模型（Causal language modeling，CLM） 是用来预测句子中的下一位置处的字符。数据加载数据集：维基百科from datasets import load_datasetdatasets = load_dataset('wikitext', 'wikitext
2021-09-01 12:54:42
1321
原创 文本问答任务
目录抽取式问答需要安装的库数据加载数据预处理微调预训练模型模型评价流程图验证集预处理模型后处理评价指标计算多选任务需要安装的库数据加载数据预处理微调预训练模型抽取式问答抽取式问答任务指给定一个问题和一段文本，从这段文本中找出能回答该问题的文本片段。需要安装的库pytorchtransformerstransformers datasets数据加载from datasets import load_dataset, load_metricsquad_v2 = Falsemodel_ch
2021-08-30 21:47:03
983
1
原创 序列标注任务
目录基本概念序列标注常见序列标注任务NERPOSChunk一个NER任务需要安装的库数据加载数据预处理微调预训练模型基本概念序列标注序列标注可以认为是token级别的文本分类。常见序列标注任务NERNER(Named-entity recognition) ：分辨出文本中的名词和实体是 person人名, organization组织机构名, location地点名还是其他。POSPOS (Part-of-speech tagging)： 对token进行词性标注Chunk将同一个短语的
2021-08-29 00:21:13
2039
原创 文本分类任务
目录句子分类任务一个MNLI任务需要安装的库数据加载数据预处理微调预训练模型超参数搜索句子分类任务GLUE（General Language Understanding Evaluation）排行榜包含9个句子级别的分类任务，任务信息见下表序号名称全称内容评价指标1CoLACorpus of Linguistic Acceptability鉴别一个句子是否语法正确Matthews Correlation Coefficient2MNLIMulti-Genr
2021-08-26 23:18:30
515
原创 BERT使用
目录BERT-based ModelsBertForPreTrainingFine-tune模型BertForSequenceClassificationBertForMultipleChoiceBertForTokenClassificationBertForQuestionAnsweringBERT训练与优化AdamWWarmupBERT-based ModelsBertForPreTraining预训练包括以下两个任务：Masked Language Model（MLM）：训练模型根据上下文
2021-08-23 23:41:45
1063
原创 BERT代码结构
目录BertTokenizerBasicTokenizerWordPieceTokenizerBertModelBertEmbeddings类BertEncoder类BertLayerBertAttentionBertSelfAttentionBertSelfOutputBertIntermediateBertOutputBertPooler类基于 Transformers 版本 4.4.2（2021年3月19日发布）项目中pytorch版的BERT相关代码进行分析。BertTokenizerBert
2021-08-22 21:23:25
1413
原创 BERT、GPT
目录词嵌入的发展Word2Vec和GloVeELMoULM-FiTOpenAI TransformerBERTPre-trainingFine-Turning使用GPT和BERT的差别Masked self-attention layers全连接神经网络应用总结词嵌入的发展NLP模型训练时需要对文本文件进行编码，转化为数值的形式。Word2Vec和GloVe对词还有词与词之间的关系（例如近义、反义、从属、时态等关系）进行编码，但不考虑语境。ELMo本质：双向LSTM流程图ULM-FiT
2021-08-20 23:27:29
1136
原创 Transformers
目录Attentionseq2seq模型AttentionTransformersAttentionseq2seq模型模型组成：编码器+解码器模型输入：文本embedding向量、初始化的隐藏层状态模型本质：RNN或者TransformerRNN处理方式：根据当前时间步的输入，和前一个时间步的hidden state（隐藏层状态），更新当前时间步的隐藏层状态。关健：如何处理上下文向量（尤其是长文本中）解决：attention机制（ Bahdanau等（2014）、 Luong等（2015）
2021-08-18 05:03:10
879
原创 mac安装fbprophet
安装pystanconda install pystan可能报错：xcrun: error: invalid active developer path (/Library/Developer/CommandLineTools)解决：安装xcodexcode-select --install安装fbprophetsudo pip install fbprophet注意：要加sudo，不然会报错。...
2021-08-04 16:58:19
716
原创 集成学习总结
目录基础模型回归分类时序空间无监督模型非结构化数据处理图片文本特征工程时间自然人为案例案例一：社会幸福感（离散变量）思路案例二：蒸汽量预测（连续变量）基础模型回归线性回归、决策树、支持向量回归分类逻辑回归、判别分析、决策树、支持向量机时序平滑、季节分解、指数预测、ARIMA空间元胞自动机、元胞自动机+马尔可夫链无监督模型聚类、PCA、高斯混合、LDA非结构化数据处理图片灰度图（0-255）彩色图（RGB：0-255）操作卷积：提取图像特征频域变换去躁增强生成
2021-07-31 00:32:30
151
原创 集成学习——Bagging、Boosting、Stacking
目录投票法集成学习BaggingBootstraps（题5.1）Bagging（题5.2-题5.6）BoostingStacking投票法投票法即通过对多个模型结果进行少数服从多数的融合。有助于提高模型的泛化能力，减少模型的错误率。回归模型投票法最终的预测结果是多个其他回归模型预测结果的平均值。分类模型硬投票：预测结果是多个模型预测结果中出现次数最多的类别软投票：对各类预测结果的概率进行求和，最终选取概率之和最大的类标签。投票法结果好需要满足的两个条件：基模型之间的效果不能差别
2021-07-23 02:03:51
829
原创 4 分类问题
目录基本概念评价指标分类和回归的区别（题1）常用模型逻辑回归线性判别分析（LDA）朴素贝叶斯决策树基本概念评价指标混淆矩阵：真阳性TP：预测值和真实值都为正例；真阴性TN：预测值与真实值都为正例；假阳性FP：预测值为正，实际值为负；假阴性FN：预测值为负，实际值为正；准确率：分类正确的样本数占总样本的比例，即：ACC=TP+TNFP+FN+TP+TNACC = \frac{TP+TN}{FP+FN+TP+TN}ACC=FP+FN+TP+TNTP+TN.精度：预测为正且分类正确的样
2021-07-20 21:57:18
760
原创 模型基础知识
目录偏差和方差偏差与方差之间的关系（题2）训练误差与测试误差（题3）特征选择最优子集选择向前逐步选择压缩估计（正则化）（题4）岭回归——l2正则化Lasso回归——l1正则化降维目的PCA（题5）调参基本概念参数与超参数方法案例（题8）偏差和方差偏差与方差之间的关系（题2）测试均方误差的期望值可以分解为f^(x0)\hat{f}(x_0)f^(x0)的方差 、f^(x0)\hat{f}(x_0)f^(x0)的偏差平方 和误差项ϵ\epsilonϵ的方差 。E(y0−f^(x0))2=Var
2021-07-19 02:51:57
490
原创 机器学习基础
文章目录基本概念回归线性回归最小二乘估计（题1、2）多项式回归（题3）广义回归模型（GAM）Case Study（题7）回归树支持向量回归优化基础知识（题5、6）SVR基本概念评价模型性能的指标均方差平均绝对误差决定系数解释方差得分： explained_variance(y,y^)=1−Var(y−y^)Var(y)explained\_variance(y,\hat{y})=1-\frac{Var(y-\hat{y})}{Var(y)}explained_variance(y,y^)=
2021-07-16 02:18:17
145
原创 1 基础知识
目录最优化&线代梯度最优化方法线代概率论与数理统计估计作业Rosenbrockh函数最优化&线代梯度Jacobian矩阵简单理解为多个实函数偏导组成的矩阵。梯度向量是特殊的Jacobian矩阵。Hessian矩阵多个实函数的二阶偏导数矩阵。Jacobian矩阵的导数是Hessian矩阵。多元函数极值判断Hessian矩阵负定：极大值；Hessian矩阵正定：极小值；Hessian矩阵不定：非极值；Hessian矩阵半正定或者半负定：需进一步判断；
2021-07-13 21:43:13
148
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人