【HBase】问题定位与调优实战(持续更新中。。。)

问题标题:CTBase manager页面无法打开,Hbase不可用问题描述:hbase shell操作时报错HMaster正在初始化ERROR:org.apache.hadoop.hbase.PleaseHoldException:Master is initializing问题定位:查看HMa...

2017-05-04 17:22:45

阅读数 917

评论数 0

spark scala udf使用方法

1.初始化dataset val dataset = Seq((1,"java"),(2,"python")).toDF("id","text") 2...

2019-01-30 14:40:28

阅读数 109

评论数 0

树模型几个知识点

ID3无法处理连续特征 C4.5可以处理连续特征,用信息增益率选择分裂特征,遇到连续特征的时候,依次二分样本,根据信息增益获得最佳分割点 ID3和C4.5都只能处理分类问题,CART既能处理分类问题,又能处理回归问题 CART分割点的选择粒度更细,根据GINI系数,选择某个特征的某个值作为分...

2018-12-04 16:54:04

阅读数 31

评论数 0

Dataset读取tfrecord

def tfrecord_pipeline(cls, tfrecord_file, batch_size, prebatch, epochs, shuffle=True): ''获取tfrecord配置文件'' ...

2018-08-08 18:40:25

阅读数 247

评论数 0

基于FaceNet的人脸识别

1.导入包from keras.models import Sequential from keras.layers import Conv2D, ZeroPadding2D, Activation, Input, concatenatefrom keras.models import Model...

2018-05-02 09:08:23

阅读数 792

评论数 2

深度学习的一些优化方法

过拟合数据:用更多数据训练、对于图像实施数据扩充正则化方法:L2正则化在cost function增加(lamdb/(2*m))sum(w[l]),整理偏导数得到w=(1-lamdb/m)w+learning_rate*back_prop,相当于对w乘以(1-lamdb/m),缩小了w的范围,结合...

2018-04-24 19:58:42

阅读数 463

评论数 0

train yolo on voc遇到的问题

1.按照官方步骤操作,https://pjreddie.com/darknet/yolo/2.提交命令训练YOLOV3 on voc./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg darknet53.conv.74(其他省略的步骤都...

2018-04-18 15:18:02

阅读数 625

评论数 5

L2正则化的TnesorFlow实现

TensorFlow实现L2正则化转自:https://zhuanlan.zhihu.com/p/29297934TensorFlow的最优化方法tf.train.GradientDescentOptimizer包办了梯度下降、反向传播,所以基于TensorFlow实现L2正则化,并不能按照上节的...

2018-03-22 20:06:52

阅读数 431

评论数 0

【深度学习_4.4】人脸识别算法模型搭建-Face Verification和Face Recognition

人脸识别分为两大类: Face Verification指的是,这张脸是不是xxx? Face Recognition指的是,这张脸是谁? FaceNet是一种神经网络,把一张人脸照片编码成为128组向量,通过比较两张照片的128组向量来确定是不是同一个人。 本实例中使用训练好的ConvNet激...

2018-03-08 23:07:30

阅读数 1338

评论数 0

YOLO算法总结

步骤: 1.输入照片(608,608,3) 2.经过CNN处理,输出(19,19,5,85) 3.展开以上矩阵后为(19,,19,425) 每个19*19的网格里有425个数字 425=5*85,每个网格里有5个achor box,achor box中有85个数字 85=5+80,(pc,bx,b...

2018-03-07 16:21:28

阅读数 601

评论数 0

【深度学习_4.3】构建YOLO物体识别算法

训练集里面的训练图片被标记如下 如果YOLO算法需要识别80种物体,那么c可以是1-80之间的任意整数,也可以是80维的向量,识别出的物体为1,其他均为零。 YOLO算法模型 输入(m,608,608,3) 输出是识别出来的物体被边框(pc,bx,by,bw,bh,c),加入c是一个80维的向...

2018-03-07 16:03:25

阅读数 580

评论数 1

【深度学习_4.2】Keras构建残差神经网络

残差神经网络可帮助避免多层神经网络的梯度消失(主要解决的问题)、梯度爆炸等现象 普通残差块 First component of main path: The first CONV2D has F1F1 filters of shape (1,1) and a stride of (1...

2018-03-05 20:08:38

阅读数 1466

评论数 0

【深度学习_4.1_2】在TensorFlow中应用卷积神经网络

1.创建placeholder(暂不定义训练集数量) def create_placeholders(n_H0, n_W0, n_C0, n_y):     “”     Arguments:     n_H0 -- scalar, height of an input image     n_W...

2018-03-03 20:56:57

阅读数 162

评论数 0

【深度学习_4.1_1】构建卷积神经网络

构建卷积神经网络整体步骤 一、卷积 1.Zero padding 2.Convole window 3.Convolution forward 4.Convolution backward(Optional) 二、池化 1.Polling forward 2.create mask 3.distr...

2018-03-03 20:43:14

阅读数 129

评论数 0

【深度学习_2.3_2】TensorFlow搭建神经网络模型

模型:通过1-5的手势图片训练  LINEAR -> RELU -> LINEAR -> RELU -> LINEAR -> SOFTMAX 处理输入数据集 X_train_flatten = X_train_orig.reshape(X_train_orig.sh...

2018-02-28 11:01:47

阅读数 312

评论数 1

【深度学习_2.3_1】神经网络之TensorFlow初步应用

导入相关类库 import math import numpy as np import h5py import matplotlib.pyplot as plt import tensorflow as tf from tensorflow.python.framework import ops...

2018-02-28 10:01:41

阅读数 112

评论数 0

【深度学习_2.2】神经网络之算法优化

通过梯度下降可以更新参数并最小化cost函数,通过算法优化可以加速学习并可能会得到更优的cost函数值一、梯度下降L是神经网络的层数,α代表学习率, 所有参数都存在parameters字典里    Arguments:    parameters -- python dictionary cont...

2018-02-26 20:23:08

阅读数 200

评论数 0

【深度学习_2.1.3】神经网络之梯度检验

梯度检验用于检验后向传播正常工作 一维数组模型梯度检验 前向传播,计算损失函数: J = theta * x 后向传播: dtheta = x 梯度检验: 首先计算gradapprox:     thetaplus = theta + epsilon                    ...

2018-02-25 18:31:10

阅读数 470

评论数 0

【深度学习_2.1.2】神经网络正则化

偏差大(欠拟合):训练集和测试集的准确率都很低;通常可以增加单层神经元数量、增加层数来优化 方差大(过拟合):训练集的正确率高,测试集(或dev)的正确率比训练集低一些;通常可以增大正则化lambda的值、增加训练集数据量解决 可以通过在训练模型过程中正则化来解决过拟合问题 l2正则化,在原...

2018-02-25 17:43:22

阅读数 145

评论数 0

【深度学习_2.1.1】神经网络参数初始化

三种参数初始化方法: zero initialization:将输入参数初始化为0 random initialization:随机初始化输入参数,权重w初始化的值较大 He initialization:在一定范围内随即初始化权重w值 zero initialization实现代码:   ...

2018-02-25 16:23:31

阅读数 457

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭