
Python人工智能
本专栏主要采用Python语言结合可视化技术实现人工智能、知识图谱等相关研究及实验,包括神经网络入门、theano实现回归神经网络、深度学习基础、特征选择、算法评价、加速神经网络、知识图谱等。系列文章涉及基础知识、代码实现,既是作者学习的见证,也是分享与读者的感悟,加油。
Eastmount
自幼受贵州大山的熏陶,养成了诚实质朴的性格。经过寒窗苦读,考入BIT,为完成自己的教师梦,放弃IT、航天等工作,成为贵财一名大学教师,并想把自己所学所感真心传授给自己的学生,帮助更多陌生人。现于武汉大学攻读博士学位。
贵州纵美路迢迢,为负劳心此一遭。收得破书三四本,也堪将去教尔曹。娜美人生,醉美生活。他和她经历风雨,慢慢变老。
-
原创 [python] 使用scikit-learn工具计算文本TF-IDF值
在文本聚类、文本分类或者比较两个文档相似程度过程中,可能会涉及到TF-IDF值的计算。这里主要讲述基于Python的机器学习模块和开源工具:scikit-learn。文章包括:一.Scikit-learn概念 1.概念知识 2.安装软件; 二.TF-IDF基础知识 1.TF-IDF 2.举例介绍; 三.TF-IDF调用两个方法 1.CountVectorizer 2.TfidfTransformer 3.示例希望文章对你有所帮助~2016-08-08 16:46:0871164
32
-
原创 word2vec中文相似词计算和聚类的使用说明及c语言源码
word2vec使用说明及源码介绍1.下载地址 2.中文语料 3.参数介绍 4.计算相似词语 5.三个词预测语义语法关系 6.关键词聚类-train Result_Country.txt 表示的是输入文件是Result_Country.txt-output vectors.bin 输出文件是vectors.bin基础性文章,希望对你有所帮助~2016-02-20 01:53:3610719
3
-
原创 word2vec词向量训练及中文文本相似度计算
本文是讲述如何使用word2vec的基础教程,文章比较基础,希望对你有所帮助!官网C语言下载地址:http://word2vec.googlecode.com/svn/trunk/Word2vec是Google公司在2013年开放的一款用于训练词向量的软件工具。它根据给定的语料库,通过优化后的训练模型快速有效的将一个词语表达成向量形式,其核心架构包括CBOW和Skip-gram。2016-02-18 00:35:41109078
28
-
原创 [python] LDA处理文档主题分布及分词、词频、tfidf计算
这篇文章主要是讲述如何通过LDA处理文本内容TXT,并计算其文档主题分布,主要是核心代码为主和运行效果图形。希望文章对你有所帮助吧尤其是初学者~哎!最后感叹下时光吧,仅以此诗纪念这三年写博客的坚持和北理工的最后四个月:但行好事,莫问前程。待随满天李桃,再追学友趣事。2016-03-15 02:40:2638242
60
-
原创 [python] LDA处理文档主题分布代码入门笔记
以前只知道LDA是个好东西,但自己并没有真正去使用过。同时,关于它的文章也非常之多,推荐大家阅读书籍《LDA漫游指南》,最近自己在学习文档主题分布和实体对齐中也尝试使用LDA进行简单的实验。这篇文章主要是讲述Python下LDA的基础用法,作为一篇入门文章,它主要源自官方文档,希望对大家有所帮助。如果文章中有错误或不足之处,还请海涵~2016-03-09 03:23:2537264
18
-
原创 [python] Kmeans文本聚类算法+PAC降维+Matplotlib显示聚类图像
本文主要讲述以下几点: 1.通过scikit-learn计算文本内容的tfidf并构造N*M矩阵(N个文档 M个特征词); 2.调用scikit-learn中的K-means进行文本聚类; 3.使用PAC进行降维处理,每行文本表示成两维数据; 4.最后调用Matplotlib显示聚类效果图。2016-01-20 04:55:0622328
16
-
原创 [python] 基于k-means和tfidf的文本聚类代码简单实现
基本步骤包括: 1.使用python+selenium分析dom结构爬取百度|互动百科文本摘要信息; 2.使用jieba结巴分词对文本进行中文分词,同时插入字典关于关键词; 3.scikit-learn对文本内容进行tfidf计算并构造N*M矩阵(N个文档 M个特征词); 4.再使用K-means进行文本聚类(省略特征词过来降维过程); 5.最后对聚类的结果进行简单的文本处理,按类簇归类,也可以计算P/R/F特征值;2016-01-08 02:52:2675582
50
-
原创 [python] 使用Jieba工具中文分词及文本聚类概念
这篇文章主要是爬取百度5A景区摘要信息,再利用Jieba分词工具进行中文分词,最后提出文本聚类算法的一些概念知识。一. Selenium爬取百度百科摘要 二. Jieba中文分词 1.安装及入门介绍 2.添加自定义词典 3.关键词提取 4.对百度百科获取摘要分词 5.去除停用词 三. 基于VSM的文本聚类算法 不论如何,希望文章对你有所帮助,如果文章中有错误或不足之处,还请海涵!写文不易,且看且分析~2015-12-11 02:38:1755583
30
-
原创 Python简单实现基于VSM的余弦相似度计算
在知识图谱构建阶段的实体对齐和属性值决策过程中、判断一篇文章是否是你喜欢的文章、比较两篇文章的相似性等,都涉及到了向量空间模型(Vector Space Model,简称VSM)和余弦相似度计算相关知识。这篇文章主要是先叙述VSM和余弦相似度相关理论知识,然后引用阮一峰大神的例子进行解释,最后通过Python简单实现百度百科和互动百科Infobox的余弦相似度计算。基本步骤:1.分别统计两个文档的关键词 2.两篇文章的关键词合并成一个集合...希望文章对你有所帮助~2015-11-18 05:40:4629406
3
-
原创 基于VSM的命名实体识别、歧义消解和指代消解
这篇文章主要讲解基于向量空间模型(Vector Space Model)的相关应用,包括命名实体识别、实体消歧和跨文本指代消解;其最终目的是想通过它应用到知识图谱构建过程中,即实体对齐和属性对齐。目录:一 搜狗知立方介绍搜狗知立方框架图、实体对齐和属性值决策、爬取InfoBox介绍二 VSM相似度计算基本概念、 向量空间模型VSM、TF-IDF、向量夹角cos相似度、实体相似度计算希望文章对你有所帮助,从晚上2点写到早上6点,不容易啊!且看且珍惜吧!2015-09-20 06:00:1417511
11
-
原创 搜索引擎和知识图谱那些事 (上).基础篇
这是一篇基础性文章,主要介绍搜索引擎和知识图谱的一些原理、发展经历和应用等知识。希望文章对你有所帮助~如果有错误或不足之处,还请海涵。(参考资料见后)目录:一.搜索引擎 (一).搜索引擎的四个时代 (二).搜索引擎的架构原理 (三).搜索引擎的简单技术分析 二.知识图谱 (一).知识图谱的应用 (二).知识图谱的框架 (三).搜狗知立方2015-07-16 19:54:4444814
7
-
原创 知识图谱相关会议之观后感分享与学习总结
目录:一.面向知识图谱的信息抽取技术 二.常识知识在结构化知识库构建中的应用 三.浅谈逻辑规则在知识图谱表示学习中的应用 四.大规模知识图谱表示学习 五.知识图谱中推理技术及工具介绍 六.多语言知识图谱中的知识链接 七.知识图谱关键技术和在企业中的应用 由于我毕设是与知识图谱、实体消歧、实体对齐、知识集成相关的,所以去听了知识图谱相关的报告;报告中采用手写笔记,所以没有相应的PPT和原图(遗憾),很多图是我自己画的找的,可能存在遗漏或表述不清的地方,请海涵~很多算法还在学习研究中,最后希望文2015-06-29 04:34:0416887
9
-
原创 [Python人工智能] 七.加速神经网络、激励函数和过拟合
从本系列文章开始,作者正式开始研究Python深度学习、神经网络及人工智能相关知识。前六篇文章讲解了神经网络基础概念、Theano库的安装过程及基础用法、theano实现回归神经网络、theano实现分类神经网络、theano正规化处理,这篇文章讲解加速神经网络训练的方法,为什么有激励函数以及过拟合,均是基础性知识。主要是学习"莫烦大神" 网易云视频的在线笔记,后面随着深入会讲解具体的项目及应用。...2018-06-25 23:56:124750
4
-
原创 [Python人工智能] 六.神经网络的评价指标、特征标准化和特征选择
从本系列文章开始,作者正式开始研究Python深度学习、神经网络及人工智能相关知识。前五篇文章讲解了神经网络基础概念、Theano库的安装过程及基础用法、theano实现回归神经网络、theano实现分类神经网络、theano正规化处理,这篇文章讲解神经网络的评价指标、特征标准化和特征选择,均是基础性知识。主要是学习"莫烦大神" 网易云视频的在线笔记,后面随着深入会讲解具体的项目及应用。基础性文章和在线笔记,希望对您有所帮助,本系列作者采用一篇基础一篇代码的形式讲解,也建议大家一步步跟着2018-06-12 00:15:5711689
8
-
原创 [Python人工智能] 五.theano实现神经网络正规化Regularization处理
从本系列文章开始,作者正式开始研究Python深度学习、神经网络及人工智能相关知识。前三篇文章讲解了神经网络基础概念、Theano库的安装过程及基础用法、theano实现回归神经网络、theano实现分类神经网络,这篇文章又回到基础知识,结合莫烦大神的视频学习,讲解机器学习基础知识、神经网络基础、CNN、RNN、LSTM RNN、GAN等知识,主要是学习"莫烦大神" 网易云视频的在线笔记,后面随着...2018-06-01 16:25:324704
2
-
原创 [Python人工智能] 四.神经网络和深度学习入门知识
从本篇文章开始,作者正式开始研究Python深度学习、神经网络及人工智能相关知识。前两篇文章讲解了神经网络基础概念、Theano库的安装过程及基础用法、theano实现回归神经网络,这篇文章主要讲解机器学习的基础知识,再通过theano实现分类神经网络,主要是学习"莫烦大神" 网易云视频的在线笔记,后面随着深入会讲解具体的项目及应用。基础性文章,希望对您有所帮助,也建议大家一步步跟着学习,同时文章...2018-05-31 09:41:467122
2
-
原创 [Python人工智能] 三.theano实现分类神经网络及机器学习基础
从本篇文章开始,作者正式开始研究Python深度学习、神经网络及人工智能相关知识。前一篇文章主要讲解神经网络基础概念,同时讲解Theano库的安装过程及基础用法,这篇文章主要讲解theano实现回归神经网络,主要是学习"莫烦大神" 网易云视频的在线笔记,后面随着深入会讲解具体的项目及应用。基础性文章,希望对您有所帮助,也建议大家一步步跟着学习,同时文章中存在错误或不足之处,还请海涵~"莫烦大神" ...2018-05-24 23:10:096756
13
-
原创 [Python人工智能] 二.theano实现回归神经网络分析
从本篇文章开始,作者正式开始研究Python深度学习、神经网络及人工智能相关知识。第一篇文章主要讲解神经网络基础概念,同时讲解Theano库的安装过程及基础用法,主要结合 "莫烦大神" 的视频介绍,后面随着深入会讲解具体的项目及应用。基础性文章,希望对您有所帮助,也建议大家一步步跟着学习,同时文章中存在错误或不足之处,还请海涵~同时推荐前面作者另外三个Python系列文章。从2014年开始,作者主...2018-05-21 15:14:466645
9
-
原创 [Python人工智能] 一.神经网络入门及theano基础代码讲解
本篇文章主要介绍讲述部署阿里云服务器Django网站环境,并通过IP地址访问网页的过程。写代码过程中往往第一步需要解决的就是配置开发环境,对于新手来说,这是非常头疼的事情,而当配置好之后或者对于老手来说,我们才能去实现理想的功能。基础性文章,希望对您有所帮助,同时文章中存在错误或不足之处,还请海涵~同时推荐前面作者另外三个Python系列文章。从2014年开始,作者主要写了三个Python系列文章...2018-05-18 15:17:1111317
4
-
原创 [Python舆情分析] 二.时间间隔分布研究及幂律分布图绘制
本文主要是作者学习舆情分析、情感分析、人类行为动力学分析的在线笔记,主要包括两方面内容,一是幂律特性,二是讲解时间间隔分布,三是Python绘制基于时间间隔分布的幂律特性图,四提供了另一种方法。基础性文章,希望对您有所帮助。2019-01-24 19:19:465016
0
-
原创 [Python舆情分析] 一.舆情事件的幂律特性分析及时间间隔分布图绘制
本文主要是作者学习舆情分析、情感分析、人类行为动力学分析的在线笔记,主要包括两方面内容,一是结合参考文献介绍人类行为动力学分析,二是讲解Python绘制幂律特性及时间间隔分布图的方法。基础性文章,希望对您有所帮助。2019-01-22 14:19:357970
2