LW_ICE

bigdata

第五章 第四节 算法分析与优化(机器学习系统设计--垃圾邮件分类)

机器学习系统设计--垃圾邮件分类 假定我们现有一封邮件,其内容如下: From: cheapsales@buystufffromme.com To: ang@cs.stanford.edu Subject: Buy now! Deal of the week!Buy now! Rolex ...

2019-05-15 09:35:02

阅读数 57

评论数 0

第五章 第三节 算法分析与优化(偏差与方差)

总结 现在,通过诊断模型是出现了高偏差还是高方差问题,我们对于在陷入不归路的调试中提到算法优化手段有了各自的使用场景: 手段 使用场景 采集更多的样本 高方差 降低特征维度 高方差 采集更多的特征 高偏差 进行高次多项式回归 高偏差 降低参数λ...

2019-05-15 09:34:51

阅读数 52

评论数 0

第五章 第二节 算法分析与优化(数据集划分)

2019-05-15 09:34:45

阅读数 85

评论数 0

第五章 第一节 算法分析与优化(陷入不归路的调试)

陷入不归路的调试 在线性回归中,我们使用了如下的代价函数来评估预测误差: 想要降低预测误差,即提高预测精度,我们往往会采用这些手段: 手段 评价 采集更多的样本 我们认为见多识广会让人变得聪明,但是也会让人变得优柔寡断,或者聪明反被聪明误。 降低特征维度 也许被...

2019-05-15 09:34:35

阅读数 76

评论数 0

第四章 第八节 神经网络(神经网络解决逻辑运算问题)

2019-04-10 14:41:22

阅读数 13

评论数 0

第四章 第七节 神经网络(感知器)

2019-04-10 14:41:10

阅读数 18

评论数 0

Spark Streaming 实现思路与模块概述

一、基于 Spark 做 Spark Streaming 的思路 Spark Streaming 与 Spark Core 的关系可以用下面的经典部件图来表述: 在本节,我们先探讨一下基于 Spark Core 的 RDD API,如何对 streaming data 进行处理。理解下面描...

2019-03-28 13:36:54

阅读数 71

评论数 0

美团点评移动端基础日志库

背景 对于移动应用来说,日志库是必不可少的基础设施,美团点评集团旗下移动应用每天产生的众多种类的日志数据已经达到几十亿量级。为了解决日志模块普遍存在的效率、安全性、丢失日志等问题,Logan基础日志库应运而生。 现存问题 目前,业内移动端日志库大多都存在以下几个问题: 卡顿,影响性能 日...

2019-03-22 10:12:32

阅读数 82

评论数 0

美团数据平台Kerberos优化实战

背景 Kerberos 是一种网络认证协议,其设计目标是通过密钥系统为客户端、服务器端的应用程序提供强大的认证服务。 作为一种可信任的第三方认证服务,Kerberos是通过传统的密码技术(如:共享密钥)执行认证服务的,被Client和Server同时信任。KDC是对该协议中第三方认证服务的一种...

2019-03-22 10:05:28

阅读数 136

评论数 0

CDH6.1.x离线安装

1. 安装文件下载 cloudera manager文件下载,红框中的不需要下载。 下载allkeys.asc文件,如下: cdh6文件下载,下载对应的系统文件: 2. 系统配置 2.1 环境介绍 CentOS7.5.1804 3.10.0-862.el7.x86_64 ...

2019-03-20 17:44:55

阅读数 363

评论数 0

第四章 第十节 神经网络(程序示例--神经网络设计)

在神经网络的结构设计方面,往往遵循如下要点: 输入层的单元数等于样本特征数。 输出层的单元数等于分类的类型数。 每个隐层的单元数通常是越多分类精度越高,但是也会带来计算性能的下降,因此,要平衡质量和性能间的关系。 默认不含有隐藏层(感知器),如果含有多个隐层,则每个隐层上的单元数最好保持一...

2019-03-20 16:54:51

阅读数 30

评论数 0

第四章 第十二节 神经网络(程序示例--多分类问题)

我们手上包含有手写字符的数据集,该数据集来自斯坦福机器学习的课后作业,每个字符图片大小为20×2020×20,总的样本规模为5000×4005000×400, 我们的神经网络设计如下,包含 1 个隐含层,隐层含 25 个神经元,: # coding: utf-8 # neural_n...

2019-03-20 16:54:41

阅读数 19

评论数 0

第四章 第十一节 神经网络(程序示例--逻辑运算)

程序示例--逻辑运算 我们使用感知器神经网络来描述逻辑AND运算: 代码: # coding: utf-8 # neural_network/test_logic_and.py """逻辑AND运算 """ import nn...

2019-03-20 16:54:29

阅读数 23

评论数 0

第四章 第九节 神经网络(神经网络解决多分类问题)

神经网络解决多分类问题 假定我们需要将图像分为四类: 行人图像 车辆图像 摩托车图像 卡车图像 这是一个多分类问题,由于图像特征较多,因此我们可以考虑设计含有多个隐含层的神经网络来完成特征优化(扩展): 注意,我们设计了一个含有多个输出的神经网络,亦即,我们会用01的组合来定义...

2019-03-20 16:54:19

阅读数 21

评论数 0

第四章 第六节 神经网络(权值初始化)

在 matlab 中,随机初始化权值的代码如下: Theta1 = rand(10,11) * (2 * INIT_EPSILON) - INIT_EPSILON; Theta2 = rand(10,11) * (2 * INIT_EPSILON) - INIT_EPSILON; 在 py...

2019-03-20 16:54:00

阅读数 35

评论数 0

第四章 第五节 神经网络(梯度校验(Gradient Checking))

2019-03-20 16:53:46

阅读数 17

评论数 0

第四章 第四节 神经网络(参数展开(Unrolling Parameters))

matlab 中还原: Theta1 = reshape(thetaVec(1:110),10,11) Theta2 = reshape(thetaVec(111:220),10,11) Theta3 = reshape(thetaVec(221:231),1,11) python 中还原...

2019-03-20 16:53:06

阅读数 15

评论数 0

JVM的GC调优(下)

本文是JVM层GC调优(上)的后续,在上一篇文章中,我们介绍了JVM的内存结构、常见的垃圾回收算法以及垃圾收集器和不同收集器中的一些GC调优参数。所以通过上文,我们也对GC相关的内容有了一定的了解。 但是光知道一些调优参数是没用的,我们需要能够从GC的日志中去分析可以调优的地方,这样才能使用这些...

2019-03-06 13:53:51

阅读数 50

评论数 0

JVM的GC调优(上)

JVM内存结构简介(jdk1.8) JVM层的GC调优是生产环境上必不可少的一个环节,因为我们需要确定这个进程可以占用多少内存,以及设定一些参数的阀值。以此来优化项目的性能和提高可用性,而且这也是在面试中经常会被问到的问题。 想要进行GC调优,我们首先需要简单了解下JVM的内存结构,Java虚...

2019-03-06 13:48:56

阅读数 62

评论数 0

第四章 第三节 神经网络(前向传播与反向传播)

 

2019-02-25 11:09:31

阅读数 32

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭