- 博客(11)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 数据预处理之标准化(Z-Score)
概念介绍：将数据按期属性（按列进行）减去其均值，并处以其方差。得到的结果是，对于每个属性/每列来说所有数据都聚集在0附近，方差为1。代码示例：import numpy as npfrom sklearn.preprocessing import MinMaxScaler,StandardScalerdef autoNorm(dataset): x = dataset[:, 0:1]...
2018-04-28 15:47:57
36937
4
原创 数据预处理之归一化(normalization)
概念介绍：归一化是利用特征的最大最小值，将特征的值缩放到[new_min,new_max]区间，对于每一列的特征使用min-max函数进行缩放，计算公式如下代码示例：import numpy as npfrom sklearn.preprocessing import MinMaxScaler,StandardScaler ### Machine LearningActio...
2018-04-28 15:44:35
9180
原创 基于某网站的信息爬取与保存_指定查询内容
需求：对某网站实现输入指定的查询内容后动态爬取并能保存到文本文件中解决方法：通过Python的BeautifulSoup、selenium的Kyes完成该需求。代码见下：import jsonimport urllib.requestimport urllib.errorfrom urllib.parse import quotefrom bs4 import BeautifulSoup...
2018-04-26 09:51:33
1097
原创 基于某网站的信息爬取与保存_指定跳转页
需求：对某网站实现输入指定的跳转页完成爬取并能保存到文本文件中解决方法：通过Python的BeautifulSoup、selenium的Kyes完成该需求。代码见下：import jsonimport urllib.requestimport urllib.errorfrom urllib.parse import quotefrom bs4 import BeautifulSoupfr...
2018-04-26 09:44:34
348
原创 CNN+LSTM+CTC
需求：调研CNN+LSTM+CTC的实现解决方案; 参考github实现示例代码：#!/usr/bin/env python2# -*- coding: utf-8 -*-"""tf CNN+LSTM+CTC 训练识别不定长数字字符图片@author: pengyuanjie"""from com.shenl.ocrTensorflowCnn.genIDCard import *...
2018-04-25 11:29:18
9488
2
原创 读取TFrecord
需求：读取生成的Tfrecord并展示部分图片.解决方法:基于tensorflow、cv2、numpy等库完成该功能.注：改编自网上代码1) 编写读取TFRecord的python代码,见下：import numpy as npimport cv2import tensorflow as tfimport matplotlib.pyplot as pltdef read_and_de...
2018-04-21 14:49:04
782
原创 生成TFrecord
需求：将图片文件保存成Tfrecord的格式.解决方法:基于tensorflow、cv2、numpy等库完成该功能.注：改编自网上代码1) 准备要训练的手写识别的图片文件，并按照目录结构存放。见下图示意： 2) 生成训练图片和标签对应的文本文件，见下图示意： 3） 编写图片生成TFrecord代码，代码见下：import numpy as npimport cv2import ...
2018-04-21 14:45:47
1314
原创 基于某网站的信息爬取与保存
需求：对某网站实现动态爬取并能每天保存到文本文件中解决方法：通过Python的BeautifulSoup、selenium完成该需求。完整代码：import jsonimport urllib.requestimport urllib.errorfrom urllib.parse import quotefrom bs4 import BeautifulSoupfrom builtins...
2018-04-21 13:45:24
579
原创 基于mondrian的多维分析系统
0 术语与约束1) Extraction-Transformation-Loading 是对OLTP数据进行抽取,转换,装载的过程(以下皆简称ETL)2) 文档的说明均按照ETL→DW→CUBE→presentation1 ETL相关1.1维度表1.1.1时间维度1) 说明:该维度记录了每天的时间,粒度最高精确到日,并可分周,月,年等粒度.2) 对应表:tbl_dimdate3) 对应过程: ...
2018-04-21 10:38:10
3360
原创 Kettle使用_5 结合js的数据处理与SetVariable设置动态表输入
需求：熟悉JS脚本在kettle数据处理的应用解决方法:结合Generate Rows（数据生成）和Java Script Value（JS组件）及文本输入组件完成该功能1)：拖动一个数据生成组件，并填充数据2)：拖动一个Java Script Value（JS组件），补充如下JS代码并获取变量3)：拖动一个文本文件输出，选择要输出的目录 4)：完成流程示意，此步骤在step2...
2018-04-21 09:52:29
5840
1
原创 Kettle使用_4 Excel批量数据输入
需求：批量导入格式统一的excel文件到表中解决方法:借助Excel输入和正则表达式以及表输入组件完成该功能1)拖个Excel输入组件并按照下图示意操作： 2)拖个表输出组件并按照下图示意操作： 3)完整示意： ...
2018-04-21 09:49:11
3723
1
Pro Deep Learning with TensorFlow
2018-05-17
PHP和Mysql
2013-10-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人