计算机相关工程师有什么捷径快速成为NLP工程师吗？有。

最新推荐文章于 2024-03-19 09:31:44 发布

wawa_nudt

最新推荐文章于 2024-03-19 09:31:44 发布

阅读量1.2k

点赞数

文章标签：语言模型 nlp 深度学习大数据 python

本文链接：https://blog.csdn.net/wawa_nudt/article/details/124299619

版权

2022年，搜索一下NLP职位，你会发现有大量的相关搜索。实际上，世界各地各大企业都在如火如荼地开展自然语言处理（NLP）相关的业务，尤其是自2018年大模型被提出以来。工业界对NLP工程师的招聘需求从未如此之高——预计在未来几年中，这种需求还会呈指数增长。NLP工程师却供应不足，合格的人才少之又少。但是另一方面，希望从事NLP的应届生甚至是经验丰富的计算机相关工程师都在努力地想转入这个行业。

那么计算机相关工程师有什么捷径快速成为NLP工程师吗？

答案是：有。

怎么才能找到这个捷径呢？

答案是：站在巨人的肩膀上。

目前开源出来的NLP算法工具不计其数，初级的NLP工程师只需要学会调用成熟的算法，完成目前手头的项目任务；中级的NLP工程师只需要学会调试参数，与普通程序调试参数区别不大，完成目前手头的项目任务；只有高级的NLP工程师才会创造新的“有用”的模型结构和算法，此处特意指明是“有用”，因为每天微创新造算法的非常多，但大多数除了发篇论文，根本离工业行业十万八千里，很难真正应用落地。

怎么走这个捷径呢？

答案是：用好Github，唯手熟也。

1. funNLP

地址: https://github.com/fighting41love/funNLP

涉及内容包括：

中英文敏感词、语言检测、中外手机/电话归属地/运营商查询、手机号抽取、

名字推断性别、身份证抽取、邮箱抽取、中日文人名库、中文缩写库、拆字词典、

词汇情感值、停用词、反动词表、暴恐词表、繁简体转换、英文模拟中文发音、

汪峰歌词生成器、

职业名称词库、同义词库、反义词库、否定词库、公司名字大全、古诗词库、IT词库、财经词库、成语词库、地名词库、历史名人词库、诗词词库、医学词库、饮食词库、法律词库、汽车词库、动物词库、

汽车品牌词库、汽车零件词库、连续英文切割、

各种中文词向量、

中文聊天语料、中文谣言数据

2. Yuan1.0

地址：https://github.com/Shawn-Inspur/Yuan-1.0

介绍：源1.0浪潮人工智能研究院发布的通用NLP预训练模型，单体模型参数量达到2457亿，超越美国OpenAI组织研发的GPT-3模型，成为全球最大规模的中文语料AI巨量模型。源1.0能够适应多种类的AI任务需求，降低针对不同应用场景的语言模型适配难度，并提升小样本学习与零样本学习场景的模型泛化应用能力。目前开源了源代码、数据集以及百亿基础模型的API服务，可以在官网https://air.inspur.com/home进行申请使用。