2018年05月_大奸猫

原创国内关于自然语言处理的研究方向细分

、来源：《中文信息处理发展报告2016》 author：中文信息协会基础研究：词法与句法分析：李正华、陈文亮、张民（苏州大学）语义分析：周国栋、李军辉（苏州大学）篇章分析：王厚峰、李素建（北京大学）语言认知模型：王少楠，宗成庆（中科院自动化研究所）语言表示与深度学习：黄萱菁、邱锡鹏（复旦大学）知识图谱与计算：李涓子、候磊（清华大学）应用研究：文本分类与聚类：涂存超...

2018-05-31 15:58:10 12751

原创 2-如何选择模型？-机器学习

由模型可以得到预测值，而预测值和真实值之间是存在差异的。接下来，我们需要回答以下问题：当可用的模型有多个时，应该选哪一个？这称之为模型选择(model selection)问题。答案是，当然选择最优秀的那个模型。那问题来了，模型的优秀程度具体指什么？优秀程度指的是模型对数据集的预测准确程度，亦称为泛化能力(generalization ability)。也就是，在给定数据集上，真实...

2018-05-31 15:20:53 1651

原创 3-模型选择的详细过程-机器学习

已经清楚了模型选择的理论，接下来探讨实际中，如何选择模型？任务：给定假设空间，损失函数，训练数据集，判断给出的各个模型，哪个更优秀？场景一：训练数据集容量足够大。方案一：使用经验风险最小化ERM策略推理过程：大前提：当训练数据集接近总体数据集时，可以认为经验损失是接近期望损失的。小前提：期望损失越小，模型越优秀。结论：当训练数据集接近总体数据集时，经验损失越小，模型越优秀。【经验风险最小...

2018-05-31 15:05:42 1019

统计学习(统计机器学习)的骨骼是什么？定义用计算机，基于数据，构建出概率统计模型，并用模型分析和预测数据。数据：包括数字，文字，图片，视频，音频，以及它们的组合。同类数据：具有某种性质的数据，如英文文章，互联网网页，数据库中的数据。基本假设同类数据具有一定的统计规律性。若无规律性，则统计学习无用武之地。分类监督学习 + 半监督学习 + 半监督学习 + 强化学习应用领域人工智能 + 模式识别 + ...

2018-05-31 10:30:01 687

原创 python3.6 抓取网页文本并实现词频统计-自然语言处理小项目

前言最近在学习python，看了廖雪峰的入门教程后，想做个小项目来练下手。于是在网上找了一段python 代码。该段代码能实现抓取网页文本，并进行词频分析的功能。于是自己对照着一条条敲出来，并且自己添加了注释，最后运行成功时，爽爽滴，看来并不难嘛。代码以下代码实现了抓取一个web页面内容，然后对文本内容进行分词统计备注相应的python模板要安装好，可参考本博客的另一篇博...

2018-05-30 18:01:36 6177 2

原创 python 安装模块requests、bs4、html5lib、 lxml、matplotlib

前言：最近学习python，想尝试下实现抓取网页的文本，并实现词频统计的功能。实现该功能需要安装的模块，分别是 requests、bs4、html5lib、 lxml、matplotlib背景：已经安装了python3.6，设置好环境变量，安装了pip模块操作界面：cmd界面安装模块requestsS1 输入 pip install requests安装模板 bs4S1 查看...

2018-05-30 17:00:57 6316 1

原创 pycharm无法导入安装好的第三方模块

前提：电脑已经python36和pycharm,并且已经在python3.6的交互环境下安装好了bs4 模块问题：在pycharm中导入bs4 模块时，显示找不到模块。但在python3.6的交互环境下，可以导入bs4模块。输入 from bs4 import BeautifulSoup 时，显示 ModuleNotFoundError: No module named 'Beautifu...

2018-05-29 15:22:22 9495 5

kakazai.cn