2020年12月_samoyan

12月 11月 10月 09月 08月 07月 06月 05月 04月

原创 pytorch 使用bert的中间某几层隐藏层的结果以及使用pytorch_pretrained_bert 的问题以及解决方法

首先使用from pytorch_pretrained_bert import BertTokenizer, BertModelmodel = BertModel.from_pretrained(--bert_model)的时候1、在一个程序中，多次进行all_hidden_states,encoded_main=model(input_ids=main_x,attention_mask=main_mask)，多次加载GPU，原来的也不释放。2.后改用fromtran...

2020-12-25 17:40:51 5390 1

原创 tokenization 的两种方式 BEP 和wordPiece 的区别

1、BEP:BPE 不断的迭代将出现频率最高的字符或字符序列进行合并2、wordPiece根据语言模型进行合并，它是从所有可能的subword单元中，选择一个subword单元加入语言模型后，如果该单元能最大程度地增加训练数据LM概率，则将该单元作为新的单元...

2020-12-17 10:07:30 1228

原创机器学习需要和不需要做特征归一化的情况总结

需要做特征归一化的情况总结1、有关距离计算时，比如K-means、KNN、PCA、SVM等，归一化可以让样本间cos disitace 或者inner dot 结果的差异增大2、当损失函数有正则项时，当某些特征比较大的时候，权重会比较小。正则化对权重的限制就不明显了。3、使用梯度下降算法时，如LR，神经网络。加快收敛，缓解过拟合等4、针对一些神经网络，防止特定的激活函数进入饱和区。不需要做特征归一化的情况总结1、与距离计算无关的概率模型，eg,Naive Bayes；2、与.

2020-12-14 16:38:51 1300

原创 Tensorflow 实现Bert 做文本分类时loss加上L2 loss

方法一：tvars=tf.trainable_variables()regularizer=tf.contrib.layers.l2_regularizer(1e-4)l2_loss=0.0forvarintvars:l2_loss=l2_loss+regularizer(var)loss=loss+l2_loss方法二： tvars...

2020-12-14 15:00:30 406

原创 focal loss 的二分类以及多分类实现

1、tf 版本# 二分类def binary_focal_loss(gamma=2, alpha=0.25): alpha = tf.constant(alpha, dtype=tf.float32) gamma = tf.constant(gamma, dtype=tf.float32) def focal_loss_sigmoid(y_true, y_pred): labels = tf.cast(y_true, tf.float32) L

2020-12-07 11:53:10 3908 6

原创 python ImportError: cannot import name ‘joblib‘ 以及AttributeError: ‘DataFrame‘ object has no attribut

1、通过pip list 查看 sklearn 以及 joblib的版本sklearn.externals.joblib在0.21版本中就已经不提倡使用了，在0.23版本中被删除，所以先卸载，再安装个低版本就好了后来又遇到AttributeError: 'DataFrame' object has no attribute 'as_matrix'pip uninstall pandasUninstalling pandas-1.1.4: Would remove:...

2020-12-03 17:25:33 2117

原创 python 处理数据保留精度使用 Decimal

from decimal import Decimala = Decimal(3)*Decimal("0.00100")print(a)0.00300

2020-12-02 14:13:41 578

原创新来个GPU服务器，环境中啥也没有，自己动手，丰衣足食

1、安装docker菜鸟教程就okCentoshttps://www.runoob.com/docker/centos-docker-install.htmlUbutuhttps://www.runoob.com/docker/ubuntu-docker-install.html2、安装nvidia-dockerhttps://www.cnblogs.com/wuchangsoft/p/9767074.html3、更改docker的安装目录使用docke...

2020-12-01 17:36:48 156

原创 c++ 堆排序以及堆排序比快排慢的原因

void heap_build(vector<int>& nums, int root,int length)// 某个节点为k,那么他的父节点下标为（k-1）/2,左右子节点下标为2k+1,2k+2{ int l_child = root * 2 + 1; if (l_child < length) { int flag = l_child; int r_child = l_child + 1; if (r_child < length and n.

2020-12-01 17:14:37 300

原创 Python 正则问题 typeError:‘_src.SRE_Match‘ object is not subscrpitable

在程序中使用了正则匹配，res = re.search(pattern1,query)，然后程序挂在了a = res[2]上面，低版本的python3.6以下会出现 typeError:'_src.SRE_Match' object is not subscrpitable 问题，改用res.group(2)即可。在3.7使用命令没有此问题。...

2020-12-01 11:07:30 397