Tony-tg-CSDN博客

原创文本数据分析

目录文本数据分析获得训练集和验证集的标签数量分布获取训练集和验证集的句子长度分布获取训练集和验证集的正负样本长度散点分布获得训练集与验证集不同词汇总数统计获得训练集上正负的样本的高频形容词词云获得验证集上正负的样本的形容词词云文本数据分析文本数据分析的作用: 文本数据分析能够有效帮助我们理解数据语料, 快速检查出语料可能存在的问题, 并指导之后模型训练过程中一些超参数的选择. 常用的几种文本数据分析方法: 标签数量分布句子长度分布词频统计与关键.

2022-01-15 19:13:54 2510 1

原创文本张量表示：one-hot / Word2vec / Word Embedding

目录什么是文本张量表示文本张量表示的作用:文本张量表示的方法:什么是one-hot词向量表示什么是word2vec什么是word embedding(词嵌入)以一个案例演示狭义的word_embedding的生成过程整个案例的实现可分为以下五个步骤什么是文本张量表示将一段文本使用张量进行表示，其中一般将词汇为表示成向量，称作词向量，再由各个词向量按顺序组成矩阵形成文本表示.["人生", "该", "如何", "起头"]==># 每个词对应矩阵中的一个

2022-01-09 21:05:24 757

原创 hanlp分词学习笔记

流行中英文分词工具hanlp: 中英文NLP处理工具包, 基于tensorflow2.0, 使用在学术界和行业中推广最先进的深度学习技术. 使用hanlp进行中文分词：>>> import hanlp# 加载CTB_CONVSEG预训练模型进行分词任务>>> tokenizer = hanlp.load('CTB6_CONVSEG')>>> tokenizer("工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工

2022-01-02 22:39:34 2203 2

原创 jieba分词笔记

jieba的特性: 支持多种分词模式精确模式全模式搜索引擎模式支持中文繁体分词支持用户自定义词典精确模式分词: 试图将句子最精确地切开，适合文本分析. >>> import jieba>>> content = "工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作">>> jieba.cut(content, cut_all=False) # c.

2022-01-02 22:26:10 485

原创 pip install hanlp[full]无法安装

如果最近不能使用hanlp或是版本问题解决方案:1. pip install hanlp[full]2. 如果出现权限问题: sudo pip install hanlp[full]如果在安装过程中出现zsh不兼容:no matches found的问题解决方案:~/.zprofile 文件加入，mac在终端输入：setopt no_nomatch之后，更新配置source ~/.zprofile再终端输入： pip install hanlp[full

2021-12-28 21:40:01 1775 1

原创如何解决苹果电脑（Macbook Pro）没有声音？

有时候 Mac 从睡眠状态恢复之后没有声音，这是 Mac OS X 系统的一个 Bug。这是因为 Mac OS X 的核心音频守护进程「coreaudiod」出了问题，虽然简单的重启电脑就能解决，但是如果此时开启了很多程序后者有其他情况不想重启电脑的话，可以按照下面的方法解决此问题。　　操作步骤：　　1、在 Mac 中打开活动监视器（在 Finder 的「应用程序」中搜索「活动监视器」可以找到...

2019-12-21 14:43:19 3889 1

原创 MacBook 触摸板手势突然失效的解决方案

原因不好说，但有妙招解决，无需重启系统：方法一：打开【活动监视器(Activity Monitor)】，找到【Dock / 程序坞】将其强制退出。该方法可使【Dock / 程序坞】进程重启，触摸板手势异常亦随之消失。下面是给小白的流程：点击【Control键+空格键】，打开【Spotlight】在Spotlight中输入【activity monitor】直到定位到【活动监...

2019-12-21 14:31:15 9542 5

原创解决 MacBook Touch Bar esc 图标消失不见的问题

package com.superflash.rectangle;import java.util.Scanner;public class test { public static void main(String[] args) { Scanner sc= new Scanner(System.in); System.out.print("请输入年"); ...

2018-02-19 14:17:28 2046

superflash_的博客