机器学习
疯狂的兔子Philip
这个作者很懒,什么都没留下…
展开
-
判别式模型和生成式模型
判别式模型与生成式模型生成式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念,它们的区别在于:(对于输入x,类别标签y)1. 生成式模型估计它们的联合概率分布P(x,y)2. 判别式模型估计决策函数F(X)或条件概率分布P(y|x)3. 生成式式模型可以根据贝叶斯公式得到判别式模型,但反过来不行。4.生成式模型关...原创 2018-10-28 11:07:12 · 123 阅读 · 0 评论 -
机器学习速成课程 | 练习 | Google Development——编程练习:稀疏数据和嵌套简介
稀疏数据和嵌入简介学习目标:将影评字符串数据转换为稀疏特征矢量 使用稀疏特征矢量实现情感分析线性模型 通过将数据投射到二维空间的嵌入来实现情感分析 DNN 模型 将嵌入可视化,以便查看模型学到的词语之间的关系在此练习中,我们将探讨稀疏数据,并使用影评文本数据(来自 ACL 2011 IMDB 数据集)进行嵌入。这些数据已被处理成 tf.Example 格式。设置我们导入...转载 2018-09-02 14:17:30 · 401 阅读 · 0 评论 -
机器学习速成课程 | 练习 | Google Development——编程练习:使用神经网络对手写数字进行分类
使用神经网络对手写数字进行分类学习目标:训练线性模型和神经网络,以对传统 MNIST 数据集中的手写数字进行分类 比较线性分类模型和神经网络分类模型的效果 可视化神经网络隐藏层的权重我们的目标是将每个输入图片与正确的数字相对应。我们会创建一个包含几个隐藏层的神经网络,并在顶部放置一个归一化指数层,以选出最合适的类别。设置首先,我们下载数据集、导入 TensorFlow...转载 2018-09-01 23:16:00 · 284 阅读 · 0 评论 -
机器学习速成课程 | 练习 | Google Development——编程练习:特征集
特征集学习目标:创建一个包含极少特征但效果与更复杂的特征集一样出色的集合到目前为止,我们已经将所有特征添加到了模型中。具有较少特征的模型会使用较少的资源,并且更易于维护。我们来看看能否构建这样一种模型:包含极少的住房特征,但效果与使用数据集中所有特征的模型一样出色。设置和之前一样,我们先加载并准备加利福尼亚州住房数据。from __future__ import prin...转载 2018-08-30 10:15:19 · 170 阅读 · 0 评论 -
机器学习速成课程 | 练习 | Google Development——编程练习:验证
验证学习目标:使用多个特征而非单个特征来进一步提高模型的有效性 调试模型输入数据中的问题 使用测试数据集检查模型是否过拟合验证数据与在之前的练习中一样,我们将使用加利福尼亚州住房数据集,尝试根据 1990 年的人口普查数据在城市街区级别预测 median_house_value。设置我们首先加载并准备数据。这一次,我们将使用多个特征,因此我们会将逻辑模块化,以对特征进行...转载 2018-08-29 18:06:24 · 251 阅读 · 0 评论 -
机器学习速成课程 | 练习 | Google Development——编程练习:合成特征和离群值
合成特征和离群值学习目标:创建一个合成特征,即另外两个特征的比例 将此新特征用作线性回归模型的输入 通过识别和截取(移除)输入数据中的离群值来提高模型的有效性我们来回顾下之前的“使用 TensorFlow 的基本步骤”练习中的模型。首先,我们将加利福尼亚州住房数据导入 Pandas DataFrame 中:设置from __future__ import prin...转载 2018-08-29 11:36:50 · 178 阅读 · 0 评论 -
机器学习速成课程 | 练习 | Google Development——编程练习:使用 TensorFlow 的起始步骤
使用 TensorFlow 的基本步骤学习目标:学习基本的 TensorFlow 概念 在 TensorFlow 中使用 LinearRegressor 类并基于单个输入特征预测各城市街区的房屋价值中位数 使用均方根误差 (RMSE) 评估模型预测的准确率 通过调整模型的超参数提高模型准确率数据基于加利福尼亚州 1990 年的人口普查数据。设置在此第一个单元格中,我们...转载 2018-08-29 10:09:52 · 159 阅读 · 0 评论 -
机器学习速成课程 | 练习 | Google Development——编程练习:提高神经网络的性能
提高神经网络性能学习目标:通过将特征标准化并应用各种优化算法来提高神经网络的性能注意:本练习中介绍的优化方法并非专门针对神经网络;这些方法可有效改进大多数类型的模型。设置首先,我们将加载数据。from __future__ import print_functionimport mathfrom IPython import displayfrom matplo...转载 2018-08-31 22:46:22 · 269 阅读 · 0 评论 -
机器学习速成课程 | 练习 | Google Development——编程练习:神经网络简介
神经网络简介学习目标:使用 TensorFlow DNNRegressor 类定义神经网络 (NN) 及其隐藏层 训练神经网络学习数据集中的非线性规律,并实现比线性回归模型更好的效果在之前的练习中,我们使用合成特征来帮助模型学习非线性规律。一组重要的非线性关系是纬度和经度的关系,但也可能存在其他非线性关系。现在我们从之前练习中的逻辑回归任务回到标准的(线性)回归任务。也就...转载 2018-08-31 16:23:40 · 196 阅读 · 0 评论 -
机器学习速成课程 | 练习 | Google Development——编程练习:稀疏性和 L1 正则化
稀疏性和 L1 正则化学习目标:计算模型大小 通过应用 L1 正则化来增加稀疏性,以减小模型大小降低复杂性的一种方法是使用正则化函数,它会使权重正好为零。对于线性模型(例如线性回归),权重为零就相当于完全没有使用相应特征。除了可避免过拟合之外,生成的模型还会更加有效。L1 正则化是一种增加稀疏性的好方法。设置运行以下单元格,以加载数据并创建特征定义。from _...转载 2018-08-31 12:19:50 · 183 阅读 · 0 评论 -
机器学习速成课程 | 练习 | Google Development——编程练习:Pandas 简介
Pandas 简介学习目标:大致了解 pandas 库的 DataFrame 和 Series 数据结构 存取和处理 DataFrame 和 Series 中的数据 将 CSV 数据导入 pandas 库的 DataFrame 对 DataFrame 重建索引来随机打乱数据 pandas 是一种列存数据分析 API。它是用于处理和分析输入数据的强大工具,很多机器学习框架都支持...转载 2018-08-28 21:04:21 · 194 阅读 · 0 评论 -
机器学习速成课程 | 练习 | Google Development——编程练习:创建和操控张量
创建和操控张量学习目标:初始化 TensorFlow 变量并赋值 创建和操控张量 回忆线性代数中的加法和乘法知识(如果这些内容对您来说很陌生,请参阅矩阵加法和乘法简介) 熟悉基本的 TensorFlow 数学和数组运算from __future__ import print_functionimport tensorflow as tf矢量加法您可以对张量...转载 2018-08-28 16:49:37 · 248 阅读 · 0 评论 -
机器学习速成课程 | 练习 | Google Development——编程练习:TensorFlow 编程概念
TensorFlow 编程概念学习目标:学习 TensorFlow 编程模型的基础知识,重点了解以下概念: 张量 指令 图 会话 构建一个简单的 TensorFlow 程序,使用该程序绘制一个默认图并创建一个运行该图的会话注意:请仔细阅读本教程。TensorFlow 编程模型很可能与您遇到的其他模型不同,因此可能不如您期望的那样直观。 概念概览Tenso...转载 2018-08-28 11:22:49 · 206 阅读 · 0 评论 -
机器学习速成课程 | 练习 | Google Development——编程练习:(TensorFlow) Hello World
可使用 Colaboratory 平台直接在浏览器中运行编程练习(无需设置!)。Colaboratory 支持大多数主流浏览器,并且在 Chrome 和 Firefox 的各个桌面版本上进行了最全面的测试。如果您想下载并离线运行这些练习,请参阅有关设置本地环境的说明。注:想要访问TensorFlow官网以及正常使用谷歌提供的Google colab平台的,请自行搭好梯子(VPN)。 ...转载 2018-08-28 11:03:19 · 215 阅读 · 0 评论 -
机器学习速成课程 | 练习 | Google Development——编程练习:逻辑回归
逻辑回归学习目标:将(在之前的练习中构建的)房屋价值中位数预测模型重新构建为二元分类模型 比较逻辑回归与线性回归解决二元分类问题的有效性与在之前的练习中一样,我们将使用加利福尼亚州住房数据集,但这次我们会预测某个城市街区的住房成本是否高昂,从而将其转换成一个二元分类问题。此外,我们还会暂时恢复使用默认特征。将问题构建为二元分类问题数据集的目标是 median_house_...转载 2018-08-31 10:31:00 · 195 阅读 · 0 评论 -
机器学习速成课程 | 练习 | Google Development——编程练习:特征组合
特征组合学习目标:通过添加其他合成特征来改进线性回归模型(这是前一个练习的延续) 使用输入函数将 Pandas DataFrame 对象转换为 Tensors,并在 fit() 和 predict() 中调用输入函数 使用 FTRL 优化算法进行模型训练 通过独热编码、分箱和特征组合创建新的合成特征设置首先,我们来定义输入并创建数据加载代码,正如我们在之前的练习中所做的那...转载 2018-08-30 20:05:20 · 406 阅读 · 0 评论 -
分布式机器学习——入门篇
目录1.分布式机器学习研究的问题2.分布式机器学习研究的背景3.分布式机器学习使用的情形4.分布式机器学习包含的主要模块4.1 数据与模型划分模块4.2 单机优化模块4.3 通信模块4.3.1 通信的内容4.3.2 通信的拓扑结构4.3.3 通信的步调4.3.4 通信的频率4.4 数据与模型聚合模块5.分布式机器学习基本框图1.分布式...原创 2019-09-29 12:25:27 · 5098 阅读 · 0 评论