- 博客(83)
- 收藏
- 关注
RSS订阅原创 mac m1 安装postgresql
1: 安装postgresql: brew install postgresql2: 初始化数据库: initdb --locale=C -E UTF-8 /opt/homebrew/var/postgres3:如果有报错信息: initdb: error: directory "/opt/homebrew/var/postgres" exists but is not empty， 删除文件 rm -rf /opt/homebrew/var/postgres4: 启动服务: pg_ctl -D /o
2021-12-26 23:16:17
2439
原创 cnnection to faild ‘IP地址‘ EOF while reading packet
报错点：pycharm远程调试的解释器连接错误错误来源：修改了ssh密码解决方法1: tools -> Deployment -> configuration -> ssh configuration -> 密码修改2：preferenes -> python interperter -> 编辑远程解释器 -> 重新选择解释器路径(bin/python 文件的路径) ， 保存即可...
2021-06-18 10:28:23
1881
原创 文献记录 - ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS
文献地址：PDF链接主要内容：electra模型的构思动机，预训练效率，微调效果。摘要bert预训练过程中使用的mlm学习词语表示，效果还是不错的，但是不仅需要的大量的数据，并且需要大量的算力。本文提出新的预训练方法叫做《replaced token detection》，可以更高效的利用数据。在mlm任务中的两个步骤：1 >> 随 机mask 15%的token，2 >> 预测这些token 。。。在本文中改为：1 >> 生成toekn替换原token，
2021-06-08 20:44:03
292
原创 文献记录 - AliMe Chat: A Sequence to Sequence and Rerank based Chatbot Engine
文献地址：https://www.aclweb.org/anthology/P17-2079.pdf主要内容：阿里小蜜对话机器人的介绍，开放域生成式的模型。基于IR和Seq2Seq的综合结果对给出问题的回答。摘要基于IR技术和Seq2Seq的综合结果对接近对话问题，并且已经在投入真实使用。介绍本论文的对话机器人服务大量的电子商务顾客，为了更好的体验，提供了开放域的对话系统。常见的QA技术有基于IR和基于生成模型的，其中IR匹配在处理长句上效果不佳，生成模型可能会生成无意义的答案。所以本论
2020-09-16 19:00:58
257
原创 文献记录 - Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
文献地址：https://arxiv.org/pdf/1908.10084.pdf摘要bert 或robert已经有了句子对匹配任务的实现方法，具体的是通过将两个句子拼接在一起，中间用token“【SEP】”隔开，bert输出层中的【CLS】token可以直接表示两个句子对之间的相对信息（可以是相似度，也可以是问答，或者是否是下一句话）。但是拼接起来的序列通常长度较长，这就导致了需要的参数非常多，运算速度很慢。所以本文会使用一种“孪生网络 + bert + 余弦相似度” 的方式加快改善相似
2020-09-13 18:21:11
548
原创 读书笔记-统计学习方法（李航） 第八章
第八章 提升方法两种模式：(1)序列方法(2)并行方法8.1 Adaboost 算法8.2 Adaboost算法的训练误差8.3 Adaboost 算法的解释8.4 提升树实例：提升方法是通过对多个模型进行融合从而提升模型效果的方法。两种模式：(1)序列方法弱分类器是一个接一个的，后面的需要前面的结果，比如Adaboost，GBDT(2)并行方法弱分类器是并行训练的，每个弱分类器之间无关，如随机森林8.1 Adaboost 算法Adaboost会提高前一轮弱分类器分类错误的样本的权重，降
2020-07-06 23:17:50
659
原创 文献记录－ADVERSARIAL TRAINING METHODS FOR SEMI-SUPERVISED TEXT CLASSIFICATION
文献地址：https://arxiv.org/pdf/1605.07725.pdf摘要：＂对抗训练＂提供了一种正则化的监督学习算法．＂虚拟对抗训练＂能够将监督学习算法拓展到半监督学习的环境中．两者都是对输入向量进行较小的扰动，不适用于稀疏高维的输入向量．从而提升泛化能力．简介：先前的对抗训练主要应用与图像分类，本文中要拓展到文本分类任务和序列模型．本文的对抗训练就是对输入相连进行小的修改．模型：如上图左边是一个常规的双向LSTM,输入的稀疏向量w 被转化为连续向量v时候，输入到ＬＳ
2020-06-24 22:01:57
1049
原创 文献记录－RoBERTa: A Robustly Optimized BERT Pretraining Approach
摘要：本文对BERT模型中的超参数进行研究，对超参数和预训练的数据量上进行了优化．简介：研究内容：（１）更大的模型，更多的训练批次，更多的训练数据（２）删除了预训练过程中＂下一句预测＂的任务（３）训练更长的序列（data）（４）改变掩码模型背景：实验：分析：...
2020-06-22 21:50:53
785
原创 文献记录－BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
摘要：bert 是用transformer的encoder 来构建的双向预训练模型，训练过程是无监督的，并且可以通过fine-tune的方式去获得较好的多个下游任务的效果．简介：预训练模型对于NLP的数据特征的提取有着很大作用，为了找到，句子和句子，词语和词语之间的联系．现有的预训练模型有两种：基于特征的(elmo)；微调(GPT)特点：１：Bert使用了掩语预测的模型．２：双向３：预训练模型：bert 包括两个步骤，预训练和微调在预训练阶段，通过不同的任务对未标记的模型进行训练微
2020-06-11 22:45:18
233
原创 文献记录－Attention Is All You Need
Attention Is All You Need摘要：不同与传统的机器翻译模型使用复杂的循环神经网络和卷积神经网络去构成翻译器的encoder 和decoder，attention机制大大提升了模型训练时的并行化程度，并减少了训练和预测的时间．简介：存在的问题：传统的序列模型RNN,GRU,LSTM都需要等待得到上一个时间的ht-1计算结果才能计算当前的ht，这大大缩小了计算过程并行化处理的可能性．解决方案：transformers . 完全靠注意力机制去从全局上表现输入和输出之间的联系．
2020-06-11 17:52:20
264
原创 排序
排序算法时间复制度冒泡排序O(n2)选择排序O(n2)插入排序O(n2)希尔排序O(n1.5)快速排序O(N*logN)归并排序O(N*logN)堆排序O(N*logN)基数排序O(N*logN)冒泡排序：public class Main { public static void main(String[] args) { int arr[] = new int[]{9,1,5,3,4,8,6,...
2020-06-08 16:48:17
129
原创 Kaggle_tweet_emotion_bert_transformers
import pandas as pdimport numpy as npimport matplotlibimport matplotlib.pyplot as pltimport seaborn as snsimport osfrom tqdm import tqdmimport reimport inspectimport tensorflow as tffrom tensorflow import keras# import tensorflow.keras.backend
2020-05-25 22:04:45
1008
原创 读书笔记-统计学习方法（李航） 第七章
第七章 支持向量机7.1 线性可分支持向量机与硬间隔最大化7.2 线性支持向量机与软间隔最大化7.3 非线性支持向量机与和函数7.4 序列最小最优化算法实战：7.1 线性可分支持向量机与硬间隔最大化支持向量机是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的，间隔最大使它区别于感知机。支持向量机还包括核技巧，这使它成为实质上的非线性分类器。学习策略可以形式化为求解凸二次规划问题，或者等价于 最小化合页损失分离超平面：决策函数：函数间隔：几何间隔：原始目标函数：上式中的
2020-05-17 16:30:55
1404
原创 读书笔记-统计学习方法（李航） 第六章
第六章 逻辑回归和最大熵模型6.1 逻辑斯蒂回归模型6.2 最大熵模型6.3 模型学习的最优化算法实战：6.1 逻辑斯蒂回归模型二项逻辑斯蒂回归模型:极大似然估计：多分类：6.2 最大熵模型最大熵原理是在满足约束条件的集合中选择熵最大的模型。最大熵模型：求解最大熵模型的过程就是求一个有约束的最优化问题。可以通过引进拉格朗日乘子构建拉格朗日函数，再通过求对偶问题的方式得到原...
2020-05-07 14:46:06
1037
原创 读书笔记-统计学习方法（李航）第五章
第五章 决策树5.1 决策树模型的学习5.2 特征选择5.3 决策树的生成5.4 决策树的剪枝5.5 CART5.1 决策树模型的学习决策树是一种基本的分类和回归的方法，在分类问题中，可以认为是if-then规则的集合。也可以认为是定义在特征空间和类空间上的条件概率分布。分类决策树由节点和有向边组成，其中，节点分为内部节点和叶节点。决策树学习本质上是从训练数据集中归纳出一组分类规则。能对...
2020-05-03 22:12:16
408
原创 Kaggle_tweet_emotion_bert
import pandas as pdimport numpy as npimport matplotlibimport matplotlib.pyplot as pltimport seaborn as snsimport osimport tqdmimport tensorflow as tfprint(tf.__version__)import refrom tensor...
2020-04-27 21:34:31
345
原创 Kaggle_tweet_emotion_w2v_rnn
import pandas as pdimport numpy as npimport matplotlibimport matplotlib.pyplot as pltimport seaborn as snsimport osfrom gensim.models.word2vec import Word2Vecimport tqdmimport tensorflow as tf...
2020-04-23 22:53:00
211
原创 读书笔记-统计学习方法（李航）第四章
第四章 朴素贝叶斯法4.1 朴素贝叶斯法的学习和分类4.2 朴素贝叶斯法的参数估计实践：4.1 朴素贝叶斯法的学习和分类朴素贝叶斯法是基于贝叶斯定理 和条件独立假设的分类方法。先验分布：条件概率分布：如果对条件概率分布做条件独立性假设的话，条件概率分布的式子就会变成：当x的条件下y是分类k的概率为（结果是通过贝叶斯转化的结果，其中分母是相当于P（X=x）的边际概率，与y无关，是...
2020-04-19 21:33:14
187
原创 读书笔记-统计学习方法（李航）第二章
第二章感知机2.1 感知机模型感知机是二分类的线性分类模型，其输入为实例的特征向量，输出为类别。2.1 感知机模型
2020-04-19 18:18:50
859
原创 读书笔记-统计学习方法（李航）第三章
读书笔记-统计学习方法（小蓝）第三章第三章 k近邻法3.1 k近邻算法3.2 k近邻模型距离度量k值的选择决策规则实践：手动实现sklearn 实现3.1 k近邻算法k近邻是一种基本的分类 和 回归 方法k近邻法的三个基本要素为：1：k值的选择2：距离度量1：分类决策规则3.2 k近邻模型距离度量k值的选择1：k值太小：模型过于复杂（只考虑最近的一个点），过拟合2：k值...
2020-04-19 18:17:24
244
原创 Kaggle_tweent_tfidf
import pandas as pdimport numpy as npimport matplotlibimport matplotlib.pyplot as pltimport seaborn as snsimport osfrom sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer,Tf...
2020-04-16 20:41:56
47394
原创 numpy 实现word2vec
参考网址：https://nathanrooy.github.io/posts/2018-03-22/word2vec-from-scratch-with-python-and-numpy/为了实现Word2Vec，有两种风格可以选择，Continuous Bag-of-Words(CBOW)或Skip-gram(SG)。简单来说，CBOW尝试从相邻单词（上下文单词）猜测输出（目标单词），而S...
2020-04-13 13:27:16
430
原创 读书笔记-统计学习方法（李航）第一章
第一章统计学习方法概论1.1 统计学习统计学习的主要特点是：统计学习的对象：统计学习的目的：统计学习的方法：实现一个统计学习方法的步骤如下：1.2 监督学习联合概率分布：假设空间：1.3 统计学习三要素统计学习常用的损失函数期望风险和经验风险经验风险最小化和结构风险最小化1.4 模型的评估和选择1.5 正则化和交叉验证1.6 泛化能力1.7 生成模型和判别模型1.1 统计学习统计学习是关于计算...
2020-03-28 22:01:56
545
原创 TF2-HyperparameterSearch-3
import tensorflow as tfimport matplotlib as mlpimport matplotlib.pyplot as plt%matplotlib inlineimport numpy as npimport pandas as pdimport sklearnimport osimport sysfrom tensorflow import ke...
2020-02-11 21:00:44
238
原创 TF2-HyperparameterSearch-2
import tensorflow as tfimport matplotlib as mlpimport matplotlib.pyplot as plt%matplotlib inlineimport numpy as npimport pandas as pdimport sklearnimport osimport sysfrom tensorflow import ke...
2020-02-08 15:47:05
140
原创 TF2-HyperparameterSearch-1
超参数搜索为什么要超参数搜索*神经网络有很多训练过程中不变的参数*网络结构参数:几层, 每层宽度(神经元个数), 每层的激活函数*训练参数: batch_size , 学习率 , 学习率衰减算法等手工去试耗费人力网格搜索遗传算法*对自然界的模拟*A:初始化候选参数结合 -> 训练 -> 得到的模型指标作为生存概率*B:选择 -> 交叉 -> 变异 -&g...
2020-02-06 17:24:49
363
原创 TF2-Wide&Deep-multi-input
import matplotlib as mplimport matplotlib.pyplot as plt%matplotlib inlineimport numpy as npimport sklearnimport pandas as pdimport osimport sysimport tensorflow as tffrom tensorflow import ke...
2020-02-03 21:59:26
259
原创 TF2-Wide&Deep-API
稀疏特征和密集特征:稀疏特征:* 离散值特征* One-hot* 叉乘~ 稀疏特征做叉乘获取共现信息~ 实现记忆效果稀疏特征的优缺点:* 优点~ 对重复样板高校,广泛应用与工业界* 缺点~ 需要人工设计~ 可能会过拟合密集特征:* 向量表达~ 如 [0.1,0.2,0.6]*word2vec密集特征的优缺点* 优点~ 带有语义信息,不同向量之间有相关性~ 兼...
2020-02-03 21:56:31
306
原创 TF2-Wide&Deep-subclass
import matplotlib as mplimport matplotlib.pyplot as plt%matplotlib inlineimport numpy as npimport sklearnimport pandas as pdimport osimport sysimport tensorflow as tffrom tensorflow import ke...
2020-02-03 21:53:43
291
1
原创 tf2_classfiction_deeplearning
import tensorflow as tffrom tensorflow import kerasimport matplotlib as mplfrom matplotlib import pyplot as plt%matplotlib inlineimport sklearnimport numpy as npimport pandas as pdimport osim...
2020-02-03 21:49:45
231
原创 TF2_classfiction_batchnormalization
import tensorflow as tffrom tensorflow import kerasimport matplotlib as mplfrom matplotlib import pyplot as plt%matplotlib inlineimport sklearnimport numpy as npimport pandas as pdimport osim...
2020-01-15 20:13:43
323
原创 TF2-callbacks
#CALLBACK(回调函数)import tensorflow as tffrom tensorflow import kerasimport matplotlib as mplfrom matplotlib import pyplot as plt%matplotlib inlineimport sklearnimport numpy as npimport pandas as...
2020-01-11 14:34:59
328
原创 TF2-归一化
# 归一化：# １:把数据变成(０，１)或者（1,1）之间的小数。主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速。# ２:把有量纲表达式变成无量纲表达式，便于不同单位或量级的指标能够进行比较和加权。# 归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。归一化算法有：1、线性变换y=(x-MinValue)/(M...
2020-01-11 13:39:39
660
原创 TensorFlow2-LearningNote-Classfiction
import tensorflow as tffrom tensorflow import kerasimport matplotlib as mplfrom matplotlib import pyplot as plt%matplotlib inlineimport sklearnimport numpy as npimport pandas as pdimport osim...
2020-01-09 23:11:46
2117
原创 Spark-键值对
Spark-键值对操作动机Spark为包含键值对类型的RDD提供了一些专有操作,这些RDD被称为 Pair RDD .其提供了并行操作各个键或跨节点重新进行数据分组的操作借口.创建Pair RDD# 在python中分割出句子中的第一个单词为键,原句子为值的键值对:pairs = lines.map(lambda x: (x.split(" ")[0) , x))Pair R...
2019-11-10 23:36:51
269
原创 JavaScript基础
JavaScriptjavascript是一门脚本语言，由浏览器解释执行。JS的组成：ECMAScript：核心部分，定义JS的语法规范DOM：（document object Model）文档对象模型，主要用来管理页面BOM：（Browser Object Model） 浏览器对象模型，前进、后退、刷新，地址栏，历史记录屏幕宽高等JS的语法：变量弱类型（不需要事先声明变...
2019-11-08 23:37:34
180
原创 Spark-RDD
弹性分布式数据集（Resilient Distribute Dataset）RDD其实就是分布式元素的集合。在Spark中，对数据的所有操作不外乎创建RDD，转化已有的RDD以及调用RDD操作进行求值。Spark会自动讲RDD中的数据分发到集群上，并讲操作并行化执行。RDD基础：Spark中RDD就是一个不可变的分布式对象集合。每个RDD都被分为多个分区，这些分区被运行在集群中的不...
2019-11-05 23:11:37
135
原创 基础前端
前端基础学习HTML:HTML:Hyper Text Markup Language (超文本标记语言-即不是纯文本，而是带格式的文本)超文本：比普通文本功能更强大，可以添加各种格式标记语言：通过一组标签来对一组内容进行描述<关键字>标签功能<html>根标签<head>头部分，主要描述页面信息<body&g...
2019-10-30 22:31:30
117
原创 pytorch-transformers （BERT）微调
pytorch-transformers （BERT）微调import torch# from pytorch_transformers import *from pytorch_transformers import BertModel,BertTokenizer,AdamW,BertForTokenClassificationimport torch.nn as nnimport p...
2019-10-13 22:11:35
5819
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人