weixin_48185819的博客

原创 技术博客的初发心

都说慢工出细活，希望能在繁重和焦躁的工作当中放慢速度，给大家准确和详细的参考。这导致在搜索的过程中，可以找到大量相关文章，但是能真实解决问题的文章却不多。这导致了很多文章的代码不全、文章结构和图片在转载或复制的过程中出现错乱。由于行业的特点，在工作和实践的过程中，需要查阅大量的文献和技术专栏。技术博客在完善的过程中，都是一边解决项目问题，一边做记录。使得查阅了很多文章，问题没有解决，而且花费了大量的时间。但在查阅资料的过程中，发现大量的文章是二次编辑或转载。有些文章结构导致理解错误，有些代码无法复现。

原创 Specialty Coffee Evaluation 精品手冲咖啡评测

业余时间是咖啡师 主攻精品手冲记录咖啡评测ROSECAFE蓝鸟酸度明显 很酸 温度低时 哈密瓜味明显 尾韵有些红富士 不明显虽然是充了氮气保存 但是感觉豆子时间长 没有很新鲜豆叔 (豆叔是烘焙师，散装英语去过很多国家，还自己给咖啡写故事，人实在，干货多)age曼特宁复刻大航海时代的咖啡 适合冰滴 冷萃入口香辛料刺激味道 回甘明显 高甜度花月夜特点 高香 干豆 磨粉 都很香热 发酵感明显 酸感 比较柔和 任何温度 明显的 菠萝 芒果...

原创 ChatGPT  一本正经的胡说八道 那也看看原理吧

chatgpt原理

原创 极简说明 RNN LSTM GRU 结构和公式

RNN LSTM GRU

原创 word2vec 和 doc2vec 相似和区别

词向量

原创 一些 python 数据结构 基础概念

数据结构基础

原创 paddlespeech 安装和测试教程

paddlespeech部署教程

转载 paddlepaddle cpu安装问题总结

paddle安装问题总结

原创 TensorFlow BERT fine-tune 训练中断解决办法 或 使用开源模型继续fine-tune 参数配置

TensorFlow bert模型中断后如何继续训练

原创 pip安装遇到 command ‘gcc‘ failed with exit status 1 问题解决

pip安装遇到gcc问题

原创 linux pip 原始默认源地址

https://pypi.org/simple可以这样用pip install six -i https://pypi.org/simple

原创 Dice Loss for Data-imbalanced NLP Tasks (Dice Loss，替代cross entropy(CE)处理数据不平衡问题)

https://github.com/ShannonAI/dice_loss_for_NLP通过定义Dice Loss，替代cross entropy(CE)处理数据不平衡问题。问题在样本不平衡的情况中，主要有以下两种难以克服的难点 the training-test discrepancy: 如果不能很好的平衡样本标签，那么模型学习过程通常会朝着有更多标签的类别收敛。 the overwhelming effect of easy-negative examples: 如果容易判...

原创 Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning

问题研究对预训练的语言模型进行微调后就可以在众多下游任务中获取 SOTA 的结果，但这个过程的机制并没有得到很好的理解。尤其是在低数据情况下，为什么可以使用 vanilla gradient descent 方法在只有数百或数千个标记样本的数据集上调整具有数亿个参数的模型概念本征维度 (intrinsic dimension)对一个高维优化问题，获取对应目标的满意解所需的最小参数维度具体公式请参加论文实验根据 GLUE 指标在 MRPC 和 QQP 两个微调数据.

原创 Python 中 Mysql 外部参数传递

问题在mysql语句中涉及到变量，将参数传递到mysql语句中方法total_num=100sql_sent="SELECT * FROM data_test WHERE num>'%s'" % (total_num)cur.execute(sql_sent)conn.commit()data_all=cur.fetchall()使用%这种方法进行select、update没有问题，但是如果是insert就会有问题，目前也不知道是什么原因cur.execute(

转载 轻量化微调 Parameter-Efficient Fine-Tuning

导读近年来，大规模预训练模型在自然语言处理任务上取得了巨大的成功。对预先训练好的语言模型进行微调是目前自然语言处理任务中的普遍范式，在许多下游任务上表现出了极好的性能。全参数微调，即对模型的所有参数进行训练，是目前将预训练模型应用到下游任务的最通用方法。然而，全微调的一大弊病是对于每一个任务，模型均需要保留一份大规模的参数备份，在下游任务量很大时这种做法会相当昂贵。在预训练模型越来越大，不断逼近到千亿甚至万亿参数规模时，这种问题会被无限放大。轻量化微调(Parameter-Efficient F

原创 conda虚拟环境 pip安装相关包后无法使用 解决

conda create -n test python=3.9问题使用conda创建虚拟环境test后，虚拟环境中python为3.9，使用pip安装numpy等，在使用时找不到[root@z /]# pythonPython 3.9.12 | packaged by conda-forge | (main, Mar 24 2022, 23:22:55) [GCC 10.3.0] on linuxType "help", "copyright", "credits" or "licen.

原创 Python 创建词云 注意事项

1. python创建词云 只能显示英文 需要下载中文字体simhei.ttf是中文字体 有公开资源可以下载加载字体所在目录 font_path2. 出现了重复词其中参数collocations是默认值，会统计搭配词，改为False默认collocations=True，会统计搭配词，改为Falsedef gen_WordCloud(word_num_dic): # 4.生成词云 wc = WordCloud( font_path='./simhei.ttf'

原创 MySql 跳板机 python连接方法及配置

#跳板机host_jump=跳板机ipport_jump=跳板机portuser_name_jump=跳板机用户名ssh_password=跳板机密码#数据库host_mysql=数据库ipport_mysql=数据库portuser_name_mysql=数据库用户名password_mysql=数据库密码database=数据库名称local_bind_port=22 #本地端口自行定义server = SSHTunnelForwarder( (host_jump,.

原创 SSL问题 ssl certificate: [SSL: CERTIFICATE_VERIFY_FAILED]

pip install --upgrade pip或 使用pip安装一些包时，出现SSL证书相关问题Cache entry deserialization failed, entry ignoredCould not fetch URL https://pypi.tuna.tsinghua.edu.cn/simple/tensorflow/: There was a problem confirming the ssl certificate: [SSL: CERTIFICATE_VERIFY_FA

原创 linux 安装 TensorFlow-GPU(1.X.X) CUDA CUDNN各种坑指南

安装环境 centos7 虚拟机 (Ubuntu安装原理相同，命令不同)TensorFlowGPU版本 1.14.0、1.15.0 测试了两个版本显卡 Tesla T4上来就入坑装了好几次TensorFlow，在 import tensorflow as tf ，一直出现‘非法指令’，最终发现是CPU内核指令级的问题，花费了很多时间排查这个问题...第一坑cat /proc/cpuinfo先查看一下CPU的flagsprocessor : 0vendo

转载 centos7安装python3保姆教程

centos7自带版本是python2.7如果要用的3.0以上的版本需要手动安装，下载地址：https://www.python.org/ftp/python/1、先查看系统python的位置在哪儿whereis pythonpython2.7默认安装是在 /usr/bin目录中，切换到/usr/bin/cd /usr/bin/ll python*从下面的图中我们可以看到，python指向的是python2，python2指向的是python2.7，因此我们可以装个..

原创 python 计算两个地址之间的距离方法(经纬度)

首先需要获取经纬度，可以使用各种api获取，例如百度地图或高德地图输入两个地址上海市徐汇区桂箐路靠近华鑫天地上海市浦东新区张江高科技园 通过api获取的经纬度上海市徐汇区桂箐路靠近华鑫天地 经纬度： 121.407124,31.169677上海市浦东新区张江高科技园 经纬度： 121.593357,31.214343lon1 = 121.407124lat1 = 31.169677lon2 = 121.593357lat2 =31.214343注意返回数值单位的处理

原创 python 短文本相似 内置库 fuzzywuzzy 速度快

首先安装pip install python-Levenshteinpip install fuzzywuzzy示例from fuzzywuzzy import fuzzfrom difflib import SequenceMatchers1 = "你公司在哪"s2 = "你公司地址在哪里"s3 = "我不知道"# difflibsequenceMatcher = SequenceMatcher()sequenceMatcher.set_seqs(s1, s1)pri

原创 python mysql like写法

在python写mysql会遇到问题，like写法，会显示错误sql_sentence="SELECT * FROM test_sql WHERE title like '%测试%'"这种写法在SQL数据库中没有问题，但是在python中需要换一种写法，多加两个%sql_sentence="SELECT * FROM test_sql WHERE title like '%%测试%%'"...

原创 urllib.error.URLError: ＜urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed

SSL出现问题urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed解决办法方法1 全局取消证书验证import sslssl._create_default_https_context = ssl._create_unverified_context方法2 升级pythonPython 3.7.4以上的版本不会遇到这个问题ref

原创 SBERT-WK: A Sentence Embedding Method byDissecting BERT-based Word Models

https://arxiv.org/pdf/2002.06652.pdfI. INTRODUCTIONOne limitation of BERT is that due to the large model size, it is time consuming to perform sentence pair regression such as clustering and semantic search.One effective way to solve this problem i

原创 A Survey of Transformers(整理总结)

https://arxiv.org/abs/2106.04554引言Transformer 最初是作为机器翻译的 Seq2Seq 模型提出的。后来的工作表明，基于 Transformer 的预训练模型 (PTM) 可以在各种任务上实现 SOTA。因此，Transformer，特别是 PTM，已成为 NLP 中的首选架构。除了语言相关的应用，Transformer 还被 CV，音频处理甚至其他学科采用。在过去几年中提出了各种 Transformer 变体（又名 X-former），这些 X-fo.

原创 BERT的三个Embedding详解

BERT将输入文本中的每一个词（token)送入token embedding层从而将每一个词转换成向量形式两个嵌入层，segment embeddings和 position embeddingstoken embeddingtoken embedding 层是要将各个词转换成固定维度的向量。在BERT中，每个词会被转换成768维的向量表示假设输入文本是 “I like strawberries”。下面这个图展示了 Token Embeddings 层的实现过程:输入文本在送入

原创 Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context

Transformers have a potential of learning longer-term dependency, but are limited by a fixed-length context in the setting of language modeling. We propose a novel neural architecture Transformer-XL that enables learning dependency beyond a fixed length wi

原创 XLNet: Generalized Autoregressive Pretraining for Language Understanding

XLNet is a generalized AR pretraining method that uses a permutation language modeling objective to combine the advantages of AR and AE methods. The neural architecture of XLNet is developed to work seamlessly with the AR objective, including integrating T

原创 AR (Autoregressive) and AE (Autoencoder)

AR语言模型(AutoRegressive LM)：只能获取单向信息，即只能前向读取信息并预测t位置的单词或者从后向读取信息并预测t位置的单词，却不能同时获取双向信息，代表例子是GPT，GPT2，XLNet，ELMOAR LM的优点：比较擅长生成类任务缺点：只能获取单向信息，不能获取双向信息。在ELMO／BERT出来之前，大家通常讲的语言模型其实是根据上文内容预测下一个可能跟随的单词，就是常说的自左向右的语言模型任务，或者反过来也行，就是根据下文预测前面的单词，这种类型的LM被称为自回归.

原创 How to Fine-Tune BERT for Text Classification?

investigate different fine-tuning methods of BERT on text classification task and provide a general solution for BERT fine-tuning.investigate the different approaches to fine-tuning BERT for the text classification task. There are some experimental fin

原创 Taming Pretrained Transformers for Extreme Multi-label Text Classification

In this paper, we propose X-Transformer, the first scalable approach to fine-tuning deep transformer models for the XMC problem. The proposed method achieves new state-of-the-art results on four XMC benchmark datasets. In particular, on a Wiki dataset with

原创 conda SSLError

conda clone 或 conda create会出现ssl error问题问题如下Fetching package metadata ...CondaHTTPError: HTTP None None for url <None>Elapsed: NoneAn HTTP error occurred when trying to retrieve this URL.SSLError(SSLError(SSLError("bad handshake: Error([('

原创 推荐系统Embedding 导图

原创 美团NLP以及知识图谱文章提炼

1.基本定位作为人工智能时代最重要的知识表示方式之一，知识图谱能够打破不同场景下的数据隔离，为搜索、推荐、问答、解释与决策等应用提供基础支撑。美团大脑围绕吃喝玩乐等多种场景，构建了生活娱乐领域超大规模的知识图谱，为用户和商家建立起全方位的链接。希望对应用场景下的用户偏好和商家定位进行更为深度的理解，进而为大众提供更好的智能化服务2.场景当用户发表一条评价的时候，能够让机器阅读这条评价，充分理解用户的喜怒哀乐。当用户进入大众点评的一个商家页面时，面对成千上万条用户评论，我们希望机器

原创 用docker建立server自启动服务的几种方法(包含Dockerfile和requirements.txt制作方法)

本是NLP相关研究，docker是半路出家，请多指正需要基础知识了解基本docker原理了解基本Dockerfile和requirements.txt方法有两种方法，一种简单但不规范，一种规范但是比较复杂1.复杂方法需要制作Dockerfile和requirements.txt首先要制作镜像，找到需要的基础镜像，比如需要制作TensorFlow相关container，就先去找TensorFlow docker的image，在网站上都有教程docker pull

转载 Docker build image的基本使用

一、准备项目我写的是一个爬取某ppt网站的代码，就一个ppt1.py是爬虫，然后，ppts是存放下载的ppt的二、准备requirement.txt文件这个是需要哪些python库支持，写好三、准备Dockerfile文件需要一个名为Dockerfile的文件，没有后缀，这个创建docker镜像的配置文件FROM python:3.6ENV PATH /usr/local/bin:$PATHADD . /codeWORKDIR /codeRUN pip.

转载 Dockerfile文件详解

什么是dockerfile?Dockerfile是一个包含用于组合映像的命令的文本文档。可以使用在命令行中调用任何命令。 Docker通过读取Dockerfile中的指令自动生成映像。docker build命令用于从Dockerfile构建映像。可以在docker build命令中使用-f标志指向文件系统中任何位置的Dockerfile。例：docker build -f /path/to/a/DockerfileDockerfile的基本结构Dockerfile 一般分为四部分

原创 Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

原文 https://arxiv.org/abs/1908.10084AbstractSTS semantic textual similarityBERT结构不适合语义相似搜索，非监督的任务聚类等SBERT Sentence-BERTfinding the most similar pair from 65 hours with BERT / RoBERTa to about 5 seconds with SBERT, while maintaining the accuracy.