AI 领域与概述

最新推荐文章于 2024-09-14 10:18:45 发布

weixin_30606461

最新推荐文章于 2024-09-14 10:18:45 发布

阅读量168

点赞数

文章标签：人工智能数据结构与算法数据库

原文链接：http://www.cnblogs.com/heenhui2016/p/11046232.html

版权

概述

数据分析行业主要的职业发展。

业务：业务分析师、数据产品经理、产品总监
技术：算法师、架构师、研发经理、研发总监
美工：BI工程师

人工智能，是数据分析的子集。人工智能主要包括

语音识别
自然语言处理
图像处理
专家系统

语音识别

语音转化为文字。技术已经相对成熟。

自然语言处理

对文本进行分析。主要有：

基于词
- 中文分词
- 关键词提取
- 命名实体识别
- 词性标注
句子
- 指代消解
- 依存句法
段落。意图识别
篇章。文本分类、聚类

词-中文分词

分词用的库：Jieba, SnowNLP, PKUseg, THULAC, HanLP, FoolNLTK, LTP, CoreNLP

如，jieba:

import jieba
text='小明硕士毕业于中国科学院计算所，后在日本京都大学深造'
seg_list=jieba.cut(text,cut_all=False)
print("Precise Mode:"+"/".join(seg_list))

seg_list=jieba.cut(text,cut_all=True)
print("cut all Mode:"+"/".join(seg_list))

seg_list=jieba.cut_for_search(text) #搜索引擎模式
print("Search Mode:"+"/".join(seg_list))

输出:

Precise Mode:小明/硕士/毕业/于/中国科学院/计算所/，/后/在/日本京都大学/深造
cut all Mode:小/明/硕士/毕业/于/中国/中国科学院/科学/科学院/学院/计算/计算所///后/在/日本/日本京都大学/京都/京都大学/大学/深造
Search Mode:小明/硕士/毕业/于/中国/科学/学院/科学院/中国科学院/计算/计算所/，/后/在/日本/京都/大学/日本京都大学/深造

词-关键词提取

TOPN, TF-IDF

TF-IDF是TF（词频）和IDF（Inverse document frequency）逆向文件频率。

TF是一个词出现次数，除以总词数。如 英国在一文中出现3词，总次数是100，那么起TF就是0.03.

IDF是总文件数，除以包含这词的文件数，取log10。如英国在1000篇文章中出现，总文章数是10 000 000，其IDF就是4。

两者相乘，就是TF-IDF

# from sklearn import feature_extraction
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.feature_extraction.text import CountVectorizer
txt1='水仙花 多少钱'
txt2='白玫瑰 多少钱'
txt3='向日葵 多少钱'
corpus = [txt1,txt2,txt3]
vectorizer=CountVectorizer()
transformer=TfidfTransformer()
tfidf=transformer.fit_transform(vectorizer.fit_transform(corpus))
word=vectorizer.get_feature_names()
weight=tfidf.toarray()
for i in range(len(weight)):
    print('——————这里输出第',i,u"类文本的词语tf-idf权重——————")
    for j in range(len(word)):
        print(word[j],weight[i][j])

结果是：

——————这里输出第 0 类文本的词语tf-idf权重——————
向日葵 0.0
多少钱 0.5085423203783267
水仙花 0.8610369959439764
白玫瑰 0.0
——————这里输出第 1 类文本的词语tf-idf权重——————
向日葵 0.0
多少钱 0.5085423203783267
水仙花 0.0
白玫瑰 0.8610369959439764
——————这里输出第 2 类文本的词语tf-idf权重——————
向日葵 0.8610369959439764
多少钱 0.5085423203783267
水仙花 0.0
白玫瑰 0.0

其中vectorizer的作用是把句子向量化。

	向日葵	多少钱	水仙花	白玫瑰
句子1	0	1	1	0
句子2	0	1	0	1
句子3	1	1	0	0

这样可供TfidfTransformer 计算。

词-命名实体识别

粘合：人名吗、地名、机构名、品牌名等

例如：我今年在三里屯买了个苹果。

三里屯、苹果

使用隐马尔科夫模型。

HMM隐马尔科夫模型

HMM的论文：http://www.cs.ubc.ca/~murphyk/Bayes/rabiner.pdf

包括：

OBS 显现层
STATES 隐含层
Start_p 初始概率
Trans_p 转移概率
Emit_p 发射概率

目前该模型在scikit已经停用。http://scikit-learn.sourceforge.net/stable/modules/hmm.html

例子：一个北京的朋友，每天根据天气（下雨、晴天），决定当天的活动（散步、购物、清理房间），他在朋友圈里发了一条信息：我前天在公园散步，昨天购物，今天清理房间了！根据他的消息推断北京三天的天气。

这个例子中,

OBS：散步、购物、清理
STATES：下雨、晴天
startp：P（下雨），P（晴天）
transp：之前下雨，下次下雨、晴天。之前晴天，下次下雨、晴天的概率。
emitp：下雨、晴天情况下，OBS的三个概率。

HMM:

维比特算法

句-指代消解

例子：我今天在三里屯买了一个苹果，那个苹果很好吃。

那个指代。

句-依存句法

我买了苹果

今天在三里屯很好吃

段、文-意图识别

垃圾邮件。文本分类、聚类。

图像处理

待填坑

专家系统

底层知识图谱。

Natrural Langugage processing with python

哪个领域->目录形式->目录下机器能计算的规则。

知识图谱包括：

实体：具有可区别、独立存在的事物。动物、数据库、程序中的对象
属性：实体的特征：姓名、身高、体重
属性值：描述特征的数值：张三、180, Key-value
关系：连接两个实体

如何用知识图谱，解决无监督分类。

从文本中提取哪些信息
提取的信息该如何排列

每个行业、公司的图谱不同。

数据预处理（文本）

repalce
正则
批量字符串替换
批量正则字符串替换

replace

infile = open(r'./data/a1.txt','r',encoding='utf-8').read()
new_infile = infile.replace("坐席","AAA")
outfile=open(r'./data/a1.txt','w+',encoding='utf-8')
outfile.write(str(new_infile))
outfile.close