- 博客(5)
- 收藏
- 关注
原创 从头开始训练一个依存分析器
文章目录从头开始训练一个依存分析器重要概念关系标签标注关系应用场景2、导入训练样本从头开始训练一个依存分析器依存句法通过分析语言单位内成分之前的依存关系解释其句法结构,主张句子中核心动词是支配其他成分的中心成分。而它本身却不受其他任何成分的支配,所有受支配成分都以某种关系从属于支配者。重要概念依存句法认为“谓语”中的动词是一个句子的中心,其他成分与动词直接或间接地产生联系。依存句法理论中,“依存”指词与词之间支配与被支配的关系,这种关系不是对等的,这种关系具有方向。确切的说,处于支配地位的成分
2021-07-29 17:11:43 843
原创 从头开始训练一个 NER 标注器
文章目录从头开始训练一个 NER 标注器一、自定义模型1、导入所需要的包与模块2、导入了用到的基础库和训练样本二、训练模型1、对现有的模型进行优化2、创建内置管道组件3、添加train data的标签4、构建模型5、模型保存三、模型测试参考从头开始训练一个 NER 标注器NER 标注的中文名为命名实体识别,与词性标注一样是自然语言处理的技术基础之一。NER 标注是指对现实世界中某个对象的名称的识别,例如法国、Donald Trump 或者微信。在这些词汇中法国是一个国家,标识为 GPE(地缘整治实体),
2021-07-27 15:25:55 1506 1
原创 从头开始训练一个词性标注模型
文章目录从头开始训练一个词性标注模型从头开始训练一个词性标注模型spaCy词性标注模型是一种统计模型,它不同于检查一个词是否属于停用词这种基于规则的检查流程。统计加预测的特性,意味着我们可以自己训练一个模型,以便获得更优的预测结果,新的预测过程与使用的数据集更加相关。所谓更优并不一定是数字层面的优化,因为目前的spaCy模型的通用词性标注准确率已经达到97%。...
2021-05-02 14:02:58 1895 2
原创 Eclipse 保存电影推荐模型时,发生异常 Exception in thread “dag-scheduler-event-loop“ java.lang.StackOverflowError
发现问题在 Eclipse 运行 ALS 算法进行电影推荐模型时,保存模型 model.save(sc,Path+"ALSmodel")时,发生报错 Exception in thread "dag-scheduler-event-loop" java.lang.StackOverflowError,经在网上搜索,找到如下解决方法。解决方法一、环境配置(1)Linux 系统:VirtualBox 6.1.14, Ubuntu 16.04(2)hadoop 2.7.1(3)pyspark 2.
2021-04-14 17:10:33 916
原创 Anaconda安装(Windows 系统)
文章目录一、Anaconda 的介绍1.什么是 Anaconda2.为什么要用 Anaconda二、Anaconda 的安装步骤1.安装环境2.下载 Anaconda3.安装 Anaconda4.配置环境变量5.验证安装结果6.更新所有包参考一、Anaconda 的介绍1.什么是 AnacondaAnaconda指的是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。Anaconda也是Python的包管理器和环境管理器。2.为什么要用 Anaconda
2021-04-05 14:57:21 1372 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人