- 博客(450)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 keras参数调优
keras参数调优本文主要想为大家介绍如何使用sklearn网格搜索功能，并给出一套代码示例。下文所涉及的议题列表：如何在scikit-learn模型中使用Keras。如何在scikit-learn模型中使用网格搜索。如何调优批尺寸和训练epochs。如何调优优化算法。如何调优学习率和动量因子。如何确定网络权值初始值。如何选择神经元激活函数。如何调优Dropou...
2019-07-11 16:36:33
1055
原创 机器学习-模型堆积（一）
import pandas as pd import numpy as np from scipy.stats import skew import xgboost as xgb from sklearn.cross_validation import KFold from sklearn.ensemble import ExtraTreesRegressor from s...
2019-07-11 15:48:48
372
原创 kears-LSTM时间序列（三）
from pandas import DataFramefrom pandas import Seriesfrom pandas import concatfrom pandas import read_csvfrom pandas import datetimefrom sklearn.metrics import mean_squared_errorfrom sklearn.pre...
2019-07-11 15:08:09
312
原创 keras-LSTM 时间序列（二）
from pandas import read_csvfrom datetime import datetime#load datadef parse(x): return datetime.strptime(x, '%Y %m %d %H')dataset = read_csv("/work/johnson_folder/biggamesData/raw.csv",parse_dat...
2019-07-11 14:53:08
639
原创 keras_LSTM案例分析（一）
#加载数据分析常用库import pandas as pdfrom pandas import concatfrom pandas import DataFrame,Seriesimport numpy as npimport matplotlib.pyplot as pltfrom datetime import datetimefrom keras.layers import ...
2019-07-11 14:06:39
785
原创 keras实战-多标签分类-详细教程
前面一篇Keras 基础学习的文章说的是多分类问题，稍微提及了如果一个样本属于多个类，比如在CelebA数据集中一张人脸照片是椭圆形的，戴眼镜的… 这个时候样本的label标注是multi-hot-encoding的，也就是会出现多个标签1。如[0,1,1,0]， 1代表属性出现，0代表属性不出现。当然其实这种问题也可以分解为多个二分类/多分类问题，比如人脸形状训练一个模型，有无戴眼镜训练一个模型...
2019-07-09 17:52:16
2311
1
原创 keras-两个实际任务掌握图像分类-交通标志以及发票种类识别
交通标志数据预处理这里下载数据集。值得注意的是，原始数据集的图像格式为PPM格式，这是一种比较老的图片保存格式，为了解决这个问题，我用opencv重新将这些图片转换为PNG格式，这样子我们就可以很直观的看到数据图片了。转换脚本## translate ppm image to png imageimport cv2import osORIGINAL_TRAIN_PATH = '...
2019-07-09 12:14:40
570
2
原创 sklearn-pipeline管道（一）
#coding:utf-8import numpy as npfrom sklearn import linear_model, decomposition, datasetsfrom sklearn.pipeline import Pipelinefrom sklearn.model_selection import GridSearchCVdigits = datasets.lo...
2019-07-08 19:30:24
326
原创 机器学习-混淆矩阵的画图方法
# #-*- coding: utf-8 -*-def cm_plot(y, yp): from sklearn.metrics import confusion_matrix cm = confusion_matrix(y, yp) import matplotlib.pyplot as plt plt.matshow(cm, cmap=plt.cm.Green...
2019-07-08 19:20:03
2139
原创 keras_NLP分类
'''Trains and evaluate a simple MLPon the Reuters newswire topic classification task.'''from __future__ import print_functionimport numpy as npnp.random.seed(1337) # for reproducibilityfrom ...
2019-07-08 19:11:03
561
原创 keras_自定义步长
## import librariesimport numpy as npnp.random.seed(123)import pandas as pdimport subprocessfrom scipy.sparse import csr_matrix, hstackfrom sklearn.metrics import mean_absolute_errorfrom sklear...
2019-07-08 17:43:50
1021
转载 jupyter notebook解决输出pdf问题
jupyter notebook解决输出pdf问题详细可参考https://stackoverflow.com/questions/29156653/ipython-jupyter-problems-saving-notebook-as-pdf/52913424#52913424 大致过程是 ：1.首先必须安装着两个nbconvert pandoc pip install ...
2019-07-08 17:03:30
642
原创 python-wordcloud 词云万能教程
# -*- coding: utf-8 -*-"""Created on 2019/5/22 10:18@Author: Johnson@Email:593956670@qq.com@File: wordcloud教程.py"""from os import pathfrom scipy.misc import imreadfrom wordcloud import WordCl...
2019-07-06 09:04:56
363
原创 ROC计算-Python脚本
def ROC(X, y, c, r):#makes cross_validation for given parameters c,r. Returns FPR, TPR (averaged) dic_weight = {1:len(y)/(r*np.sum(y)), 0:len(y)/(len(y)-r*np.sum(y))} lrn = LogisticRegressio...
2019-07-06 08:57:42
299
原创 keras实战-卷积神经网络图片分类-猫狗数据
from keras.datasets import mnistfrom keras.utils import np_utils #convert int labels to one-hot vectorfrom keras.layers import Dense,Conv2D,MaxPooling2D,Flattenfrom keras.models import Sequential...
2019-07-05 14:13:26
1762
原创 过拟合与欠拟合
但是从training 和 validation accuracy 和loss 之间的gap也可以看出从40epochs之后我们的模型出现了过拟合。避免过拟合的方式有很多种，比如数据增强，加入dropout层和直接微调他人已经训练好的模型。第三种方法也是迁移学习，下篇文章我们会看看如何从别人模型进行迁移学习，来减轻过拟合现象。...
2019-07-05 14:02:33
256
原创 Keras 基础学习(二) --ImageDataGenerator()
keras基础学习 ImageDataGenerator()图片读取ImageDataGenerator()ImageDataGenerator()是keras.preprocessing.image模块中的图片生成器，同时也可以在batch中对数据进行管理，扩充数据集大小，增强模型的泛化能力，比如进行旋转，变形，归一化处理等keras.preprocessing.image.ImageDa...
2019-07-05 10:56:53
735
原创 Keras 基础学习 I Sequential Model
keras介绍keras是一个深度学习的高级API接口，有python实现，支持tensorflow，theano作为后端，最近keras也成为tensorflow的官方高级API，因此和tensorflow的适配性更好了。keras支持简介的快速的原型设计，支持CNN和RNN，无缝CPU和GPU切换。此外keras模型也能直接转为coreML模型应用在iOS设备上如果你熟悉深度学习基本概念，...
2019-07-05 10:19:54
256
转载 Keras 实战: 复现 LeNet
keras复现LeNet具体结构如下：conv + subsampling + conv + subsampling + fully connected具体解释下LeNet-5结构, 一共是7层，除去输入层实际上是7个feature map。1:Input32 * 32 * 1 的灰度图像，输入前做归一化处理2:C1卷积层输入：32 * 32 * 1卷积核大小为 5,步长 1卷...
2019-07-05 09:30:24
583
转载 机器学习笔记-神经网络中激活函数（activation function）对比--Sigmoid、ReLu，tanh
为什么激活函数是非线性的？如果不用激励函数（相当于激励函数是f(x)=x），在这种情况下，每一层的输出都是上一层的线性函数，无论神经网络有多少层，输出都是输入的线性...
2019-07-04 11:12:12
5321
原创 LSTM滑窗-预测（二）
import osimport timeimport warningsimport numpy as npfrom numpy import newaxisfrom keras.layers.core import Dense, Activation, Dropoutfrom keras.layers.recurrent import LSTMfrom keras.models im...
2019-07-03 16:41:54
2257
1
转载 MTCNN配置及训练详细步骤
配置环境为win7 64位，主要完成的任务是用MTCNN完成人脸检测，即使用目标检测框将图像中的人脸框出来，配置过程如下：1、环境配置安装anaconda进入官网： https://www.anaconda.com/download/ 根据python版本下载安装相应的anaconda即可安装Microsoft Visual Studio 2013注意此处一定要安装2013版方便后面...
2019-07-03 14:03:19
3470
原创 LSTM滑窗-预测（一）
import numpyimport matplotlib.pyplot as pltimport mathimport pandas as pdfrom keras.models import Sequentialfrom keras.layers import Dense,LSTMfrom sklearn.preprocessing import MinMaxScalerfrom...
2019-07-03 12:21:35
9913
1
原创 基于Kmeans的异常值检测
#使用kmeans算法聚类消费行为特征数据import numpy as npimport pandas as pd#参数可视化inputfile = '' #销量及其他属性数据k = 3 #聚类类别threshold = 2 #利群点阈值iteration = 500 #聚类最大循环次数data = pd.read_excel(inputfile,index_col="Id...
2019-07-03 09:29:18
7199
转载 基于改进Coarse-to-fine CNN网络的人脸特征点定位
基于改进Coarse-to-fine CNN网络的人脸特征点定位原文地址：http://blog.csdn.net/hjimce/article/details/50099115作者：hjimce一、相关理论 本篇博文主要讲解2013年face++的大牛们提出粗到精人脸特征点定位算法paper：《Extensive Facial Landmark&nb...
2019-07-02 15:24:16
250
转载 基于级联卷积神经网络（DCNN）的人脸特征点定位
基于级联卷积神经网络的人脸特征点定位原文地址：http://blog.csdn.net/hjimce/article/details/49955149作者：hjimce一、相关理论本篇博文主要讲解2013年CVPR的一篇利用深度学习做人脸特征点定位的经典paper：《Deep Convolutional Network Cascade for Facial Point Detection》，论文的...
2019-07-02 14:29:01
3417
转载 人脸关键点检测总结
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u013948010/article/details/80520540人脸关键点检测也称为人脸关键点检测、定位或者人脸对齐，是指给定人脸图像，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。人脸关键点检测方法大致分为三种： - ...
2019-07-02 10:57:20
1838
原创 特征工程-预处理（一）
#链接：http://www.jianshu.com/p/1f2f887f0811from __future__ import divisionimport numpy as npimport pandas as pdfrom sklearn import preprocessingfrom sklearn.cross_validation import train_test_split...
2019-07-01 23:38:32
153
原创 机器学习实战-titanc_demo02
Titanic Top 4% with ensemble modeling13/07/20171 Introduction2 Load and check data2.1 load data2.2 Outlier detection2.3 joining train and test set2.4 check for null and missing values3 Fea...
2019-06-28 16:38:02
1580
原创 模型堆积经典案例（1）
# -*- coding: utf-8 -*-"""@author: Faron"""import pandas as pdimport numpy as npimport xgboost as xgbfrom sklearn.cross_validation import KFoldfrom sklearn.ensemble import ExtraTreesRegressor...
2019-06-28 14:23:00
543
原创 机器学习实战-titanc_demo01
导入程序包# """https://www.kaggle.com/ash316/eda-to-prediction-dietanic"""import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as snsplt.style.use('fivethirtyeight')imp...
2019-06-28 11:03:53
633
转载 用学习曲线 learning curve来判别过拟合问题
文本结构：学习曲线是什么？怎么解读？怎么画？学习曲线是什么？学习曲线就是通过画出不同训练集大小时训练集和交叉验证的准确率，可以看到模型在新数据上的表现，进而来判断模型是否方差偏高或者偏差过高，以及增大训练集是否可以减少过拟合。当训练集和测试集的误差收敛但却很高时，为高偏差。左上角的偏差很高，训练集和验证集的准确率都很低，很可能是欠拟合。我们可以增加模型参数，比如，构建更多的特...
2019-06-26 23:08:55
403
转载 PCA的数学原理和可视化效果
本文机构什么是PCA数学原理可视化效果什么是PCAPCA是机器学习中对数据进行降维的一种方法。例如，我们有这样的交易数据，他有这几个特征：（日期，浏览量，访客数，下单数，成交数，成交金额），从经验可知，“浏览量”和访客数，下单数和成交数 之间会具有较强的相关关系，这种情况下，我们保留其中的两个维度就可以保证原有的信息完整。但是当我们在做降维的时候，会丢失掉一部分信息。例如，下面...
2019-06-26 22:48:38
345
原创 spark SQL基本概念与基本用法
1.Spark SQL概述1.1 什么是Spark SQLSpark SQL是Spark用来处理结构化数据的一个模块，它提供了两个编程抽象分别叫做DataFrame和DataSet，它们用于作为分布式SQL查询引擎。从下图可以查看RDD、DataFrame与DataSet的关系。1.2 为什么要学习Spark SQLHive，它是hive SQL转换成MapReduce，然后提交到集群上...
2019-06-24 09:33:47
202
原创 XLSX上传到hive
Excel文件创建HIVE表步骤一：将excel另存为txt文档（文本文件（制表符分割））假设名字为a.txt步骤二，将该txt文件导入shell内指定目录中步骤三，转换编码格式，在指定目录下执行如下命令：piconv -f gb2312 -t UTF-8 a.txt > c.txt步骤四，根据文档中的列，创建表，建表语句如下：use dw_htlbizdb ;drop ...
2019-06-19 19:26:04
1231
原创 从Hive导出数据到Oracle数据库--Sqoop
实习老大让我把Hive中的数据导入Oracle数据库。摸索成功后记录如下：首先解释一下各行代码：sqoop export# 指定要从Hive中导出的表--table TABLE_NAME # host_ip:导入oracle库所在的ip:导入的数据库--connect jdbc:oracle:thin:@HOST_IP:DATABASE_NAME # oracle用户账号-...
2019-06-19 18:52:09
867
转载 Hive分区、分桶操作及其区别
1，Hive分区。 是指按照数据表的某列或某些列分为多个区，区从形式上可以理解为文件夹，比如我们要收集某个大型网站的日志数据，一个网站每天的日志数据存在同一张表上，由于每天会生成大量的日志，导致数据表的...
2019-06-19 18:12:42
613
原创 用python实现Hive中的UDF函数
简介hive为我们提供了众多的内置函数，但是在实际的运用过程中任然不能满足我们所有的需求，hive是用Java开发的，本身提供了使用Java去开发udf的方式，而这里我们采用python的方式实现udf函数。demo实现数据准备我们再hive上创建一个external表，代码如下create external table person(name string,idcard strin...
2019-06-19 17:24:08
1852
原创 hive表如何使用多字符分隔
hive表如何使用多字符分隔方法1：hive> create external table t4(id INT, name STRING) > ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' > WITH SERDEPROPERTIES ("field.del...
2019-06-19 16:44:49
241
原创 股票数据自动入库hive到Oracle
------import_stock_d.py-----------------------------------#!/usr/bin/pythonimport tushare as tsimport osimport restocklistpath = '/home/cloudera/data/list/stocklist.txt'savepath='/home/cloudera...
2019-06-19 15:26:39
241
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人