- 博客(8)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 NLP:Scikit-learn的Feature extraction文本特征提取的两种方式
本文参考来源：https://blog.csdn.net/pipisorry/article/details/419577631.文本特征提取的原理 （1）词袋（Bag of Words）表征 文本分析是机器学习算法的主要应用领域。但是，文本分析的原始数据无法直接丢给算法，这些原始数据是一组符号，因为大多数算法期望的输入是固定长度的数值特征向量而不是不同长度的文本文件。为了解决这个问题，sciki...
2019-12-19 14:15:37
833
原创 NLP:用word2vec分析文本相似度
一.中文语料库 中文语料库主要有以下几种： 1. 腾讯AI Lab2018年分享的开源800万中文词的NLP数据集文章https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247506252&idx=4&sn=1f883532975737c9df02212fc2ae1ca5&chksm=e8d06e3edf...
2019-12-18 15:25:03
5355
7
转载 python模块之codecs: 自然语言编码转换
python对多国语言的处理是支持的很好的，它可以处理现在任意编码的字符，这里深入的研究一下python对多种不同语言的处理。 有一点需要清楚的是，当python要做编码转换的时候，会借助于内部的编码，转换过程是这样的： 原有编码 -> 内部编码 -> 目的编码 python的内部是使用unicode来处理的，但是unicode的使用需要考虑的是它的编码...
2019-12-18 12:44:10
221
原创 NLP关键词提取:TF/IDF、TextRank、LSI和LDA分析
一.原理部分 1.TF/IDF原理 https://blog.csdn.net/asialee_bird/article/details/81486700 2.TextRank原理 https://blog.csdn.net/qq_41664845/article/details/82869596 3.LSI原理 https://blog.csdn.net/qq_16633405/ar...
2019-12-15 15:45:58
1558
1
原创 NLP：高频词提取
import glob import jieba def get_content(path): with open(path,'r',encoding='gbk',errors='ignore') as f: content='' for l in f: l=l.strip() content+=l ...
2019-12-13 14:22:19
1352
原创 用tensorflow的mnist做图像分类
1.mnist.py import math import tensorflow as tf # MNIST 有10个类 NUM_CLASSES = 10 # MNIST 图像都是 28x28 展开成784维的特征向量 IMAGE_SIZE = 28 IMAGE_PIXELS = IMAGE_SIZE * IMAGE_SIZE batch_size = 50 # hidden1_unit...
2019-12-09 19:00:59
333
转载 用tensorflow做一元线性回归
import numpy as np import matplotlib.pyplot as plt import os import tensorflow as tf os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' # 产生训练数据集 train_X = np.asarray([3.3,4.4,5.5,6.71,6.93,4.168,9.779,6.182,...
2019-12-06 15:48:07
230
原创 用tensorflow测试最近邻分类算法
import numpy as np import os import tensorflow as tf os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' # 导入MNIST数据集 from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_set...
2019-12-06 14:45:50
180
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人