数据科学18：文本挖掘1

最新推荐文章于 2024-08-12 19:10:16 发布
最新推荐文章于 2024-08-12 19:10:16 发布
阅读量1k 收藏
点赞数
分类专栏： 数据科学 文章标签： 机器学习 数据 大数据 文本

数据科学18：文本挖掘1

Jun 18th, 2014

article 40

图片由本文中数据生产~

“文章原创，转载请注明出处”

文本挖掘，也称为文本数据挖掘，意思就如字面，对文本数据进行挖掘分析。文本挖掘一般包含：文本分类、文本聚类、概念实体挖掘、自然语言处理等等。接下来，我打算用一个简单的例子，介绍一下R语言文本挖掘的一般过程，顺便介绍一些文本挖掘中的概念。

这边主要使用R中的tm包进行文本挖掘，首先加载Package：

1
2

require(tm)  ## R中处理文本挖掘的框架包
require(ggplot2)

1. 载入Corpus

Corpus（语料库），指一系列文档的集合，是tm包管理文件的数据结构。通常，我们需要将一批文档导入成Corpus结构的数据，然后才能进行进一步的处理分析。

文档的格式有非常多的格式，tm包支持的格式其实只占很少的一部分，大致有：text, PDF, Mircosoft Word和XML。所以，如果需要处理的文档，其格式不在这里面的话，就需要对格式进行一些转换。个人建议，将文档格式转换成text或者XML会比较容易处理。我们可以查看一下，tm包支持的文档格式：

1

getReaders()

1
2
3
4
5

## [1] "readDOC"                 "readPDF"
## [3] "readReut21578XML"        "readReut21578XMLasPlain"
## [5] "readPlain"               "readRCV1"
## [7] "readRCV1asPlain"         "readTabular"
## [9] "readXML"

在tm包中，Corpus可以分为两种。一种是Volatile Corpus，这种数据结构是作为R对象保存在内存中,使用VCorpus()或者Corpus()函数；另一种就是Permanent Corpus，作为R的外部保存，使用PCorpus()函数。显然，如何选择取决于内存大小以及运算速率的要求了。

我们这里使用tm包自带的XML文档数据进行演示：

1
2

xml <- system.file("texts", "crude", package = "tm")  ## 数据所在的目录
docs <- Corpus(DirSource(xml), readerControl = list(reader = readReut21578XML))

这里使用的数据源是DirSource，当然也可以从其他的数据源导入，可以使用getSources()查看：

1

getSources()

1
2

## [1] "DataframeSource" "DirSource"       "ReutersSource"   "URISource"
## [5] "VectorSource"

如果读取的是其他格式的，就需要指定一些其他的参数，用path表示数据所在的目录：

1
2
3
4
5

## txt
docs <- Corpus(DirSource(<path>))
## PDF
docs <- Corpus(DirSource(<path>), readerControl = list(reader = readPDF))
## 其它的类似

2. 查看Corpus

将数据导入成Corpus之后，我们就需要查看Corpus。

1

docs  ## 只显示了Corpus中含有的文档数据数量

1

## A corpus with 20 text documents

1

names(docs)[1:3]  ## 显示前3个文档的名称

1

## [1] "reut-00001.xml" "reut-00002.xml" "reut-00004.xml"

1

summary(docs)  ## 显示更多的meta data，但不显示源信息

1
2
3
4
5
6
7

## A corpus with 20 text documents
##
## The metadata consists of 2 tag-value pairs and a data frame
## Available tags are:
##   create_date creator
## Available variables in the data frame are:
##   MetaID

1

inspect(docs[1])  ## 提取第一篇文档的完整信息、

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110

## A corpus with 1 text document
##
## The metadata consists of 2 tag-value pairs and a data frame
## Available tags are:
##   create_date creator
## Available variables in the data frame are:
##   MetaID
##
## $`reut-00001.xml`
## $doc
## $file
## [1] "<buffer>"
##
## $version
## [1] "1.0"
##
## $children
## $children$REUTERS
## <REUTERS TOPICS="YES" LEWISSPLIT="TRAIN" CGISPLIT="TRAINING-SET" OLDID="5670" NEWID="127">
##  <DATE>26-FEB-1987 17:00:56.04</DATE>
##  <TOPICS>
##   <D>crude</D>
##  </TOPICS>
##  <PLACES>
##   <D>usa</D>
##  </PLACES>
##  <PEOPLE/>
##  <ORGS/>
##  <EXCHANGES/>
##  <COMPANIES/>
##  <UNKNOWN>Y
##    f0119 reute
## u f BC-DIAMOND-SHAMROCK-(DIA   02-26 0097</UNKNOWN>
##  <TEXT>
##   <TITLE>DIAMOND SHAMROCK (DIA) CUTS CRUDE PRICES</TITLE>
##   <DATELINE>NEW YORK, FEB 26 -</DATELINE>
##   <BODY>Diamond Shamrock Corp said that
## effective today it had cut its contract prices for crude oil by
## 1.50 dlrs a barrel.
##     The reduction brings its posted price for West Texas
## Intermediate to 16.00 dlrs a barrel, the copany said.
##     &quot;The price reduction today was made in the light of falling
## oil product prices and a weak crude oil market,&quot; a company
## spokeswoman said.
##     Diamond is the latest in a line of U.S. oil companies that
## have cut its contract, or posted, prices over the last two days
## citing weak oil markets.
##  Reuter</BODY>
##  </TEXT>
## </REUTERS>
##
##
## attr(,"class")
## [1] "XMLDocumentContent"
##
## $dtd
## $external
## NULL
##
## $internal
## NULL
##
## attr(,"class")
## [1] "DTDList"
##
## attr(,"Author")
## character(0)
## attr(,"DateTimeStamp")
## [1] "1987-02-26 17:00:56 GMT"
## attr(,"Description")
## [1] ""
## attr(,"Heading")
## [1] "DIAMOND SHAMROCK (DIA) CUTS CRUDE PRICES"
## attr(,"ID")
## [1] "127"
## attr(,"Language")
## [1] "en"
## attr(,"LocalMetaData")
## attr(,"LocalMetaData")$TOPICS
## [1] "YES"
##
## attr(,"LocalMetaData")$LEWISSPLIT
## [1] "TRAIN"
##
## attr(,"LocalMetaData")$CGISPLIT
## [1] "TRAINING-SET"
##
## attr(,"LocalMetaData")$OLDID
## [1] "5670"
##
## attr(,"LocalMetaData")$Topics
## [1] "crude"
##
## attr(,"LocalMetaData")$Places
## [1] "usa"
##
## attr(,"LocalMetaData")$People
## character(0)
##
## attr(,"LocalMetaData")$Orgs
## character(0)
##
## attr(,"LocalMetaData")$Exchanges
## character(0)
##
## attr(,"Origin")
## [1] "Reuters-21578 XML"
## attr(,"class")
## [1] "Reuters21578Document" "TextDocument"         "XMLDocument"
## [4] "XMLAbstractDocument"  "oldClass"

1
2

## inspect(docs) 可以提取所有文档的完整信息，不过数据量会很大
docs[[1]]  ## 提取第一个文档

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101

## $doc
## $file
## [1] "<buffer>"
##
## $version
## [1] "1.0"
##
## $children
## $children$REUTERS
## <REUTERS TOPICS="YES" LEWISSPLIT="TRAIN" CGISPLIT="TRAINING-SET" OLDID="5670" NEWID="127">
##  <DATE>26-FEB-1987 17:00:56.04</DATE>
##  <TOPICS>
##   <D>crude</D>
##  </TOPICS>
##  <PLACES>
##   <D>usa</D>
##  </PLACES>
##  <PEOPLE/>
##  <ORGS/>
##  <EXCHANGES/>
##  <COMPANIES/>
##  <UNKNOWN>Y
##    f0119 reute
## u f BC-DIAMOND-SHAMROCK-(DIA   02-26 0097</UNKNOWN>
##  <TEXT>
##   <TITLE>DIAMOND SHAMROCK (DIA) CUTS CRUDE PRICES</TITLE>
##   <DATELINE>NEW YORK, FEB 26 -</DATELINE>
##   <BODY>Diamond Shamrock Corp said that
## effective today it had cut its contract prices for crude oil by
## 1.50 dlrs a barrel.
##     The reduction brings its posted price for West Texas
## Intermediate to 16.00 dlrs a barrel, the copany said.
##     &quot;The price reduction today was made in the light of falling
## oil product prices and a weak crude oil market,&quot; a company
## spokeswoman said.
##     Diamond is the latest in a line of U.S. oil companies that
## have cut its contract, or posted, prices over the last two days
## citing weak oil markets.
##  Reuter</BODY>
##  </TEXT>
## </REUTERS>
##
##
## attr(,"class")
## [1] "XMLDocumentContent"
##
## $dtd
## $external
## NULL
##
## $internal
## NULL
##
## attr(,"class")
## [1] "DTDList"
##
## attr(,"Author")
## character(0)
## attr(,"DateTimeStamp")
## [1] "1987-02-26 17:00:56 GMT"
## attr(,"Description")
## [1] ""
## attr(,"Heading")
## [1] "DIAMOND SHAMROCK (DIA) CUTS CRUDE PRICES"
## attr(,"ID")
## [1] "127"
## attr(,"Language")
## [1] "en"
## attr(,"LocalMetaData")
## attr(,"LocalMetaData")$TOPICS
## [1] "YES"
##
## attr(,"LocalMetaData")$LEWISSPLIT
## [1] "TRAIN"
##
## attr(,"LocalMetaData")$CGISPLIT
## [1] "TRAINING-SET"
##
## attr(,"LocalMetaData")$OLDID
## [1] "5670"
##
## attr(,"LocalMetaData")$Topics
## [1] "crude"
##
## attr(,"LocalMetaData")$Places
## [1] "usa"
##
## attr(,"LocalMetaData")$People
## character(0)
##
## attr(,"LocalMetaData")$Orgs
## character(0)
##
## attr(,"LocalMetaData")$Exchanges
## character(0)
##
## attr(,"Origin")
## [1] "Reuters-21578 XML"
## attr(,"class")
## [1] "Reuters21578Document" "TextDocument"         "XMLDocument"
## [4] "XMLAbstractDocument"  "oldClass"

1

## docs[['reut-00001.xml']] 同样可以提取第一个文档

3. 信息转化

创建好Corpus后，就需要对其进行一些修改，比如去除标点、停止词等等。这里就需要使用到一个函数tm_map()，其可以将转化函数作用到每一个文档数据上。

1. 转化为纯文本

如果Corpus中存储的是非纯文本的数据，比如XML格式的数据，那么就需要先将这些数据转换成纯文本格式:

1
2

docs <- tm_map(docs, as.PlainTextDocument)
docs[[1]]

1
2
3
4
5
6
7
8
9
10
11
12
13
14

## DIAMOND SHAMROCK (DIA) CUTS CRUDE PRICES
## NEW YORK, FEB 26 -
## Diamond Shamrock Corp said that
## effective today it had cut its contract prices for crude oil by
## 1.50 dlrs a barrel.
##     The reduction brings its posted price for West Texas
## Intermediate to 16.00 dlrs a barrel, the copany said.
##     "The price reduction today was made in the light of falling
## oil product prices and a weak crude oil market," a company
## spokeswoman said.
##     Diamond is the latest in a line of U.S. oil companies that
## have cut its contract, or posted, prices over the last two days
## citing weak oil markets.
##  Reuter
2. 去除特殊字符

在文档数据中，可能会存在这样的字符：”/”、”@”、”-“等等。大部分时候，我们需要将其去除掉：

1
2
3
4
5

for (i in seq(docs)) {
    docs[[i]] <- gsub("/", " ", docs[[i]])
    docs[[i]] <- gsub("@", " ", docs[[i]])
    docs[[i]] <- gsub("-", " ", docs[[i]])
}

如果存在更复杂的替换，可以使用正则表达式去解决，这里不做介绍。

3. 转换成小写

顾名思义，就是将所有的数据转换成小写字母，这样以便更加容易分析。

1
2

docs <- tm_map(docs, tolower)
docs[[1]]  ## 查看效果

1
2
3
4
5
6
7
8
9
10
11
12
13
14

## diamond shamrock (dia) cuts crude prices
## new york, feb 26
## diamond shamrock corp said that
## effective today it had cut its contract prices for crude oil by
## 1.50 dlrs a barrel.
##     the reduction brings its posted price for west texas
## intermediate to 16.00 dlrs a barrel, the copany said.
##     "the price reduction today was made in the light of falling
## oil product prices and a weak crude oil market," a company
## spokeswoman said.
##     diamond is the latest in a line of u.s. oil companies that
## have cut its contract, or posted, prices over the last two days
## citing weak oil markets.
##  reuter
4. 去除数字

有些时候，我们需要将文档中的数字去除掉：

1
2

docs <- tm_map(docs, removeNumbers)
docs[[1]]

1
2
3
4
5
6
7
8
9
10
11
12
13
14

## diamond shamrock (dia) cuts crude prices
## new york, feb
## diamond shamrock corp said that
## effective today it had cut its contract prices for crude oil by
## . dlrs a barrel.
##     the reduction brings its posted price for west texas
## intermediate to . dlrs a barrel, the copany said.
##     "the price reduction today was made in the light of falling
## oil product prices and a weak crude oil market," a company
## spokeswoman said.
##     diamond is the latest in a line of u.s. oil companies that
## have cut its contract, or posted, prices over the last two days
## citing weak oil markets.
##  reuter
5. 去除停止词
1
2

docs <- tm_map(docs, removeWords, stopwords("english"))
docs[[1]]

1
2
3
4
5
6
7
8
9
10
11
12
13
14

## diamond shamrock (dia) cuts crude prices
## new york, feb
## diamond shamrock corp said
## effective today   cut  contract prices  crude oil
## . dlrs  barrel.
##      reduction brings  posted price  west texas
## intermediate  . dlrs  barrel,  copany said.
##     " price reduction today  made   light  falling
## oil product prices   weak crude oil market,"  company
## spokeswoman said.
##     diamond   latest   line  u.s. oil companies
##  cut  contract,  posted, prices   last two days
## citing weak oil markets.
##  reuter
6. 去除标点
1
2

docs <- tm_map(docs, removePunctuation)
docs[[1]]

1
2
3
4
5
6
7
8
9
10
11
12
13
14

## diamond shamrock dia cuts crude prices
## new york feb
## diamond shamrock corp said
## effective today   cut  contract prices  crude oil
##  dlrs  barrel
##      reduction brings  posted price  west texas
## intermediate   dlrs  barrel  copany said
##      price reduction today  made   light  falling
## oil product prices   weak crude oil market  company
## spokeswoman said
##     diamond   latest   line  us oil companies
##  cut  contract  posted prices   last two days
## citing weak oil markets
##  reuter
7. 去除多余的空格
1
2

docs <- tm_map(docs, stripWhitespace)
docs[[1]]

1
2
3

## diamond shamrock dia cuts crude prices
## new york feb
## diamond shamrock corp said effective today cut contract prices crude oil dlrs barrel reduction brings posted price west texas intermediate dlrs barrel copany said price reduction today made light falling oil product prices weak crude oil market company spokeswoman said diamond latest line us oil companies cut contract posted prices last two days citing weak oil markets reuter
8. Stemming(词干化)

首先介绍一下什么是Stemming，我们知道在英文中一个单词会存在很多形式，比如说复数形式、过去分词等等。但其实它们外表看起来虽不一样，但实际上是一样的。所以在处理分析的时候，就需要将这些单词都转换成其本身。在R中可以使用SnowballC这个包来处理Stemming，举个例子：

1

require(SnowballC)

1

## Loading required package: SnowballC

1
2

exam <- c("prices, price, doing")
stemDocument(exam)

1

## [1] "prices, price, do"

对于我们的例子：

1
2
3

require(SnowballC)
docs <- tm_map(docs, stemDocument)
docs[[1]]

1
2
3

## diamond shamrock dia cut crude price
## new york feb
## diamond shamrock corp said effect today cut contract price crude oil dlrs barrel reduct bring post price west texa intermedi dlrs barrel copani said price reduct today made light fall oil product price weak crude oil market compani spokeswoman said diamond latest line us oil compani cut contract post price last two day cite weak oil market reuter

4. 创建词条-文档关系矩阵

文本挖掘中，词条-文档关系矩阵是构建模型的基础，后续分析建模都是建立在这个矩阵之上的。首先来了解一下这个矩阵，举个例子：

我们有两篇文档，内容分别为：text mining 和 data mining and text mining。 那么对应的矩阵为：

1
2
3
4

d.Exam <- c("text mining", "data mining and text mining")
doc.Exam <- Corpus(VectorSource(d.Exam))
dtm.Exam <- DocumentTermMatrix(doc.Exam)
inspect(dtm.Exam)

1
2
3
4
5
6
7
8
9
10
11

## A document-term matrix (2 documents, 4 terms)
##
## Non-/sparse entries: 6/2
## Sparsity           : 25%
## Maximal term length: 6
## Weighting          : term frequency (tf)
##
##     Terms
## Docs and data mining text
##    1   0    0      1    1
##    2   1    1      2    1

可以看到，词条-文档关系矩阵其实就是将文档作为列，词条作为行，矩阵的每个位置就是对应的词条在对应的文档中出现的次数。

对于我们的例子，可以这样来生产词条-文档矩阵：

1
2

dtm <- DocumentTermMatrix(docs)
inspect(dtm[1:5, 1:10])

1
2
3
4
5
6
7
8
9
10
11
12
13
14

## A document-term matrix (5 documents, 10 terms)
##
## Non-/sparse entries: 1/49
## Sparsity           : 98%
## Maximal term length: 6
## Weighting          : term frequency (tf)
##
##      Terms
## Docs  abdul abil abl abroad abu accept accord across activ add
##   127     0    0   0      0   0      0      0      0     0   0
##   144     0    2   0      0   0      0      0      0     0   0
##   191     0    0   0      0   0      0      0      0     0   0
##   194     0    0   0      0   0      0      0      0     0   0
##   211     0    0   0      0   0      0      0      0     0   0

到这里，我们就已经生成了词条-文档矩阵。下一次，就来看看如何对这个矩阵进行一些操作，以及如何利用这个矩阵进行后续的建模分析。

Posted by Jacky Code Jun 18th, 2014 DataScience, TextMining


转自：http://jackycode.github.io/blog/2014/06/18/text-mining1/

昵称我不需要
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
文本数据挖掘综述
12-26
主流的工具和方法，最后阐述了文本挖掘技术在自然科学和社会科学两大领域的应用现状以及在学习分析的6大应用， 即课程评价支持、学习者知识与能力测评、学习共同体分组、学习行为危机预警、学习效果预测和学习状态...
R语言文本挖掘tm包详解（附代码实现）
热门推荐
数据分析与数据挖掘
05-06 2万+
文本挖掘相关介绍 1什么是文本挖掘 2NLP 3 分词 4 OCR 5 常用算法 6 文本挖掘处理流程 7 相应R包简介 8 文本处理 词干化stemming snowball包 记号化Tokenization RWeka包 中文分词 Rwordseg包 9 tm包常用操作介绍 tm包具体操作 建立语料库 导出语料库 语料库检索和查看 元数据
R语言tm包学习记录
weixin_30904593的博客
05-13 362
#加载tm包library(XML)library(SnowballC)library(tm.plugin.webmining)library(tm) reut21578<-system.file("texts","crude",package = "tm") #设置默认文件路径#Corpus函数生成语料库文件，DirSource参数指定文件路径，readerControl指定读取文件re...
数据科学20：文本挖掘2
QQ415171148的专栏
01-26 859
数据科学20：文本挖掘2 Jun 26th, 2014 图片由本文中数据生产~ “文章原创，转载请注明出处” 一、对词条-文档矩阵的操作 在’tm’包中，提供了一些常用的函数，可以对得到的Document Term Matrix进行一些操作。当然，我们也可以使用自己的方式，对该矩阵进行一些探索，比如，我们先来看看词条的频数： 1.1 词条频数
文本分析--潜在语义分析 之 建立词项-文档矩阵
【人工智能】王小草的博客
06-17 6570
文本分析–潜在语义分析 之 建立词项-文档矩阵标签（空格分隔）： SPARK机器学习欢迎关注本小草的微信号：大数据机器学习。日后不定期分享机器学习，大数据的学习资料与博文1. 潜在语义分析Latent Semantic Analysis，简称LSA，中文叫潜在语义分析，是一种自然语言处理，与信息检索技术。LSA将语料库提炼成一组一组相关概念，每个概念捕捉了数据中的一个主题，通常也与语料库讨论的主题
构建并存储词项-文档矩阵 Python
shandler的博客
09-25 937
# de-tokenization detokenized_cn_doc = [] ### ***** ### for i in range(len(news_df)): t = ' '.join(tokenized_cn_doc[i]) detokenized_cn_doc.append(t) news_cn_df['token_cn_doc'] = detokenized_cn_doc detokenized_cn_doc格式是 [‘崔宥莉 成为 了 中国女足
数据挖掘2：数据挖掘报告
02-17
对于数据科学家来说，Jupyter Notebook是一个强大的工具，因为它提供了实时编辑和运行代码的能力，同时能够生成专业级别的报告。 在"Data-Mining-2-master"这个压缩包中，我们可以期待找到一系列与数据挖掘相关的...
文本数据挖掘与Python应用.pptx
10-04
"文本数据挖掘与Python应用" 文本数据挖掘是一种从大量文本数据中提取有价值信息的过程，如关键词、主题、情感...它适用于自然语言处理、文本挖掘等领域的研究者和技术人员，还适用于从事数据处理和分析的广大工作者。
PD_01:数据挖掘＃1
03-29
在数据挖掘项目中，我们通常会使用Python编程语言，因为它拥有丰富的数据科学库，如Pandas用于数据处理，NumPy用于数值计算，Matplotlib和Seaborn用于数据可视化，而Scikit-learn则提供了大量的机器学习算法。...
数据挖掘中的文本挖掘(共21张PPT)精选.pptx
11-30
"数据挖掘中的文本挖掘" 以下是从给定的文件中提取的相关知识点： 数据挖掘是指从大量的数据中自动搜索隐藏于其中的有着特殊关系性的信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报...
伯努利贝叶斯分类器的应用
MrChen26795的博客
12-15 1160
伯努利贝叶斯分类器的应用   用户对其购买的蚊帐进行评论，该数据集是通过爬虫的方式获得，一共包含10644条评论，数据集中的Type变量为评论者所对应的情绪。首先将爬虫获得的数据集读入Python中，并预览前几行数据，代码如下： # 读入评论数据 evaluation = pd.read_excel('datasource/Contents.xlsx') # 查看数据的前10行,见表1 evaluation.head(10) 如表1所示，数据集包含4个字段，分别为用户昵称、评价时间、评价内容和对应的评
文本挖掘（三）
weixin_46637266的博客
05-08 570
文档信息向量化 思考：什么是文档信息向量化呢？ ~就是将文本的信息数值化，便于建模分析 一、词袋模型（One-hot表示方式） 思考：什么是词袋？装词的袋子？怎么装词？ 文本相当于一个袋子，词装在文本这个袋子里 将文本分为一系列的词，文本相当于一个集合，其中每个词都是独立的。 有几种方式： 对每个词进行编号，形成字典（1，2，3····）； 用0/1代表该词是否在文本中出现，将文本记录为一个特征向量（出现1次记为1，出现两次记为2，没有出现记为0）； 不考虑词频，减少模型复杂度（词集模型：常见于
数据科学19：文本挖掘1-更新
QQ415171148的专栏
01-26 676
数据科学19：文本挖掘1-更新 Jun 25th, 2014 图片由本文中数据生产~ “文章原创，转载请注明出处” 前几天，R中的’tm’包从0.5-10更新到了0.6版本。其中更新了不少的东西，对于上一篇中的代码，已经是不能够正确运行了。所以这里需要先更新一下上一篇中的一些代码，正好可以回顾一些之前的流程。 1 2 3 4 5 6 7 8 9 10
R语言下的自然语言处理学习笔记一
caicai1617的专栏
03-16 1万+
使用R语言进行自然语言处理学习笔记一 第一章 基础 1 安装 R 是一个有着统计分析功能及强大作图功能的软件系统， 是由奥克兰大学统计学系的Ross Ihaka 和Robert Gentleman 共同创立（两个名字都是R打头，所以叫R语言）。据说R语言很像S语言，但是我也不知道S语言是什么样的。 安装R的工具可以去官网http://mirror.bjtu.edu.cn/cran/我的安装
零基础学会机器学习，到底要多久？
2301_79335566的博客
08-07 1057
这两天啊，有不少朋友和我说，想学机器学习，但是之前基础，不知道能不能学得会。首先说结论，，但是一定不能三天打鱼两天晒网，要持之以恒，至少每隔两天，必须得看一点。所以呀，我整理了关于机器学习各种内容的资料，跟大家一起看一看，从零基础入门，想要学会深度学习，到底需要多长时间呢？首先声明，没有广告！没有广告！没有广告！接下来呢，咱们就进入正题，要多久能学会，也就是基本掌握机器学习。这里，我们依次来看。
Sigmoid函数：机器学习中的关键激活函数
最新发布
在路上的专栏
08-12 404
Sigmoid函数，也称为逻辑函数，其数学表达式为：其中，( e ) 是自然对数的底数，约等于2.71828。Sigmoid函数的特点是将任意实数映射到(0, 1)区间内，这使得它在处理二分类问题时特别有用。
机器学习笔记：编码器与解码器
2301_79335566的博客
08-09 702
在机器翻译中，输入的序列与输出的序列经常是长度不相等的序列，此时，像自然语言处理这种直接使用循环神经网络或是门控循环单元的方法就行不通了。因此，我们引入一个新的结构，称之为“编码器-解码器”（Encoder-Decoder），通过这种结构，来实现输入输出长度不均等的问题。
信息论在机器学习中的实际应用
gongdiwudu的专栏
08-09 1024
如作为一名数据科学家，你可能经常听到“信息论”这个词在机器学习的背景下出现。但究竟什么是信息论，为什么它对机器学习如此重要？在本文中，我们将探讨信息论的基础知识、其关键概念，以及它如何以简单而翔实的方式应用于机器学习。
机器学习——聚类算法K-Means
CXDNW的博客
08-09 818
轮廓系数越接近于 1 越好，负数 则表示聚类 效果非常差。如果一个簇中的大多数样本 具有比较高的轮廓系数，则 簇会有较高的 总轮廓系数，则整个数据集的 平均轮廓系数越高，则 聚类是合适的。如果 许多样本点具有低轮廓系数 甚至负值，则 聚类 是不合适的，聚类的超参数 K 可能设定得 太大或者太小。
R语言实战：文本挖掘探索数据科学
"Hands-On Data Science with R: Text Mining指南" 是一本深入实践的数据科学教材，专注于使用R语言进行文本挖掘（Text Mining）技术。该书由Graham Williams编写，旨在帮助读者在海量文本数据中发掘有价值的信息，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值