nlp学习领悟

最新推荐文章于 2024-08-02 17:12:55 发布
最新推荐文章于 2024-08-02 17:12:55 发布
阅读量183 收藏
点赞数
分类专栏： 自然语言处理 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LFGxiaogang/article/details/103819421
版权

数据理解：长句子相对于短句子，存在一个特性，长句子比短句子有更多的单词，因此长句子在保持原有的类别标签的情况，能吸收更多的噪声。

自然语言处理NLP星空智能对话机器人系列：NLP on Transformers 101第二章
段智华的博客
11-09 390
自然语言处理NLP星空智能对话机器人系列：NLP on Transformers 101 第二章 NLP on Transformers 101 (基于Transformer的NLP智能对话机器人实战课程) One Architecture， One Course，One Universe 本课程以Transformer架构为基石、萃取NLP中最具有使用价值的内容、围绕手动实现工业级智能业务对话机器人所需要的全生命周期知识点展开，学习完成后不仅能够从算法、源码、实战等方面融汇贯通NLP领域NLU、NLI、N
自然语言处理NLP星空智能对话机器人系列：NLP on Transformers 101第三章
段智华的博客
11-09 408
自然语言处理NLP星空智能对话机器人系列：NLP on Transformers 101 第三章 NLP on Transformers 101 (基于Transformer的NLP智能对话机器人实战课程) One Architecture， One Course，One Universe 本课程以Transformer架构为基石、萃取NLP中最具有使用价值的内容、围绕手动实现工业级智能业务对话机器人所需要的全生命周期知识点展开，学习完成后不仅能够从算法、源码、实战等方面融汇贯通NLP领域NLU、NLI、N
NLP自然语言处理——关键词提取之 TextRank 算法（五分钟带你深刻领悟TextRank算法的精髓）保姆级教程
荆鹏的博客
09-13 9584
自然语言文本预处理，TextRank算法是一种有效的自动化关键词提取方法，它不需要依赖领域知识或语法规则，只需要基于文本本身的统计信息就能得到关键词，因此在各种自然语言处理任务中都具有广泛的应用前景。# 获取停用词# 加载文档集，对文档集过滤词性和停用词"""生成词云图并显示参数:keywords (list): 包含关键词的列表。#pagerank #textrank算法讲解 #解决中文词云生成过程中乱码的问题。
课程总结 -- 自然语言处理
毛可的专栏
12-21 2945
这学期修了 Prof. Daniel Gildea 的 Statistical Speech and Language Processing 课程。作为 machine learning 的进阶课程，这门课的确难度不小。本文记录了这两天复习期末考所作的笔记，里面涵盖了本次课程涉及的主要内容（忽略了一些复杂、较为不重要的部分）。另外，列出了课上和复习期间领悟的一些心得，个人以为是上这门课最大的收获。
NLP自然语言处理——关键词提取之 TF-IDF 算法（五分钟带你深刻领悟TF-IDF算法的精髓）
热门推荐
荆鹏的博客
09-13 1万+
新手入门保姆级教程!!!自然语言文本预处理、TF-IDF算法详解（三个维度：原理、流程图、代码）、好玩的中文关键词“词云生成”（解决乱码问题）# 获取停用词# 加载文档集，对文档集过滤词性和停用词# 使用TF-IDF提取关键词# 将过滤后的文档集转化为文本列表# 创建TF-IDF向量化器# 计算TF-IDF权重# 获取特征词列表。
深度学习各子领域略览及术语列表
诸神缄默不语的博客
01-05 2345
深度学习各子领域略览及术语列表
关于机器学习的领悟与反思
CSDN 人工智能
01-16 1170
近年来，人工智能的强势崛起，特别是去年AlphaGo和韩国九段棋手李世石的人机大战，让我们深刻地领略到了人工智能技术的巨大潜力。数据是载体，智能是目标，而机器学习是从数据通往智能的技术、方法途径。因此，机器学习是数据科学的核心，是现代人工智能的本质。通俗地说，机器学习就是从数据中挖掘出有价值的信息。数据本身是无意识的，它不能自动呈现出有用的信息。怎样才能找出有价值的东西呢？第一步要给数据一个抽象的...
自然语言处理NLP星空智能对话机器人系列： Gavin Transformer TRM101问
段智华的博客
11-10 368
Gavin-TRM-101 内幕 在Gavin看来，正常的AI技术人员很难破解Transformer的的玄妙主要是因为其无法体悟贝叶斯公式中P(B)的内涵，从而失去了领悟获得Transfomer真正力量的机会。 在Gavin看来，Transformer的Multi-Head Self Attention机制是目前人工智能领域最佳的Bayesian理论的架构实现，这也促使Transformer成为了人工智能近几年和接下来可能数十年进步的核心推动力及底层通用引擎。 星空智能对话机器人系列博客 NLP星空
传统自然语言处理(NLP)与大规模语言模型(LLM)详解
最新发布
zhugedali_的博客
08-02 919
Transformer 架构具备高效处理长序列数据的卓越能力，其通过精妙的自注意力机制，能够同时将目光聚焦于输入序列中的不同位置，从而更为出色地捕捉长距离的依赖关系和深层次的语义信息。数据的收集与标注往往需要耗费大量的人力、物力和时间资源，而且由于数据量的稀缺，模型极易陷入过拟合的困境，对崭新的、未曾谋面的数据表现出孱弱的泛化能力。在经历了大规模数据的预先训练之后，只需在特定任务的少量有标注数据上进行有的放矢的微调，就能够在诸如文本分类、情感分析、机器翻译等众多纷繁复杂的任务中斩获令人赞叹的优异表现。
用python进行自然语言处理【Natural Language Processing with Python】（带书签）
11-22
自然语言处理（Natural Language Processing, NLP）是指计算机与人类语言之间的交互技术。Python作为一种编程语言，在自然语言处理领域因其简洁的语法和强大的库支持而备受欢迎。《用python进行自然语言处理》这本书...
哈工大ltp，分词，词性标注，命名实体识别技术的特征提取
LFGxiaogang的博客
08-11 6189
1、分词的特征提取 给定一个字符判断：        1、标点符号        2、数字        3、中文数字        4、字母      等等 2、词性标注的特征提取：          1、后缀          2、部首特征          3、词重叠特征 3、命名实体识别特征提取：       1、词的位置       2、词性
斯坦福分词训练步骤
LFGxiaogang的博客
04-26 1546
首先浏览官网的FAQ:https://nlp.stanford.edu/software/segmenter-faq.html   D:\eclipse-workspace\Stanford_segmenter\导入的包>java-cp stanford-segmenter-3.7.0.jar -mx15g edu.stanford.nlp.ie.crf.CRFClassifier-pro
CRF++
LFGxiaogang的博客
07-12 1429
https://blog.csdn.net/lilong117194/article/details/83106711 ----命名实体识别—CRF++地名识别（这篇文章很详细） http://www.hankcs.com/nlp/the-crf-model-format-description.html -----CRF++模型格式说明 https://taku910.github.i...
JAVA.LANG.OUTOFMEMORYERROR: JAVA HEAP SPACE错误及处理办法
LFGxiaogang的博客
04-24 563
在跑斯坦福corenlp的demo时出现的JAVA.LANG.OUTOFMEMORYERROR: JAVA HEAP SPACE错误，在run configurations—Arguments-VM arguments添加下面的参数，虚拟机的内存使用情况： -XX:-UseGCOverheadLimit -Xmx3000m
TensorFlow神经网络中遇到的一些问题
LFGxiaogang的博客
08-05 388
1、如何在TensorFlow中处理大型(>2GB)嵌入查找表 import tensorflow as tf embedding_weights = tf.Variable(tf.constant(0.0, shape=[embedding_vocab_size, EMBEDDING_DIM]), trainable=False, name='embedding_weights') sess = tf.Session(config=tf.ConfigProto(log_divice_p.
文本分类 tricks
LFGxiaogang的博客
04-15 385
tricks 模型训练好后，分类训练集和验证集中以很高的置信度做出错误决策的样本，然后去做这些bad cases的分析，如果发现错误标注有很强的规律性，则直接写一个脚本纠正（只要确保纠正后的标注正确率比纠正前明显高就行），如果没有什么规律，但是发现模型高置信度做错这些样本大部门都是标注错误的话，就直接删除这些样本， ...
深度语义匹配模型
LFGxiaogang的博客
09-02 306
1、https://blog.csdn.net/coraline_m/article/details/78796786 论文题目： Text Matching as Image Recognition 2、https://www.cnblogs.com/guoyaohua/p/9229190.html DSSM：深度语义匹配模型（及其变体CLSM、LSTM-DSSM） 3、https://blog.csdn.net/Ding_xiaofei/article/details/81067275?utm_
NLP学习参考
LFGxiaogang的博客
03-20 190
Python自然语言处理实践教程：NLTK中文版解析
本文档是关于《Python自然语言处理》一书的中文翻译，主要介绍了如何使用Python进行自然语言处理（NLP）的相关实践。该书由Steven Bird、Ewan Klein和Edward Loper合著，英文版由O'REILLY出版社出版，中文版由陈涛...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值