光于前裕于后的博客

记录一下新学知识,如有侵权请告知

搭建CNN识别你的猫猫狗狗

本文为Udacity优达学城深度学习课程笔记第三篇,使用图像增强对猫狗图像进行分类。 课程地址:https://classroom.udacity.com/courses/ud187 最终目的是训练CNN模型,使其能识别上面的小狗狗是小狗狗。可能遇到的问题有过拟合、输入图像的尺寸不一,不过不用担...

2019-05-29 14:45:49

阅读数 99

评论数 1

2019JDATA用户对品类下店铺的购买预测(机器学习一般步骤总结)

文章目录赛题介绍建模流程1.查看分析数据2.数据清洗3.构造数据集(特征工程)4.特征选择5.模型选择6.参数选择7.模型训练与测试8.模型融合 赛题介绍 赛题网址:https://jdata.jd.com/html/detail.html?id=8 赛题背景 京东零售集团坚持“以信赖为基础、以...

2019-05-26 16:52:20

阅读数 198

评论数 0

【在路上】云南篇

在路上,我们永远年轻,永远热泪盈眶。 前言 今天出去玩的时候拍了一些照片,突然觉得拍的这么好别人看不到太可惜了

2019-05-19 01:11:46

阅读数 103

评论数 0

使用Keras搭建CNN-MNIST 手写数字 Dataset

import tensorflow as tf F:\Anaconda3\envs\tensorflow-gpu\lib\site-packages\h5py\__init__.py:36: FutureWarning: Conversion of the second argument of ...

2019-04-18 11:39:36

阅读数 112

评论数 0

使用TF1.12搭建CNN-Fashion MNIST Dataset

import tensorflow as tf tf.enable_eager_execution() from tensorflow import keras import numpy as np import matplotlib.pyplot as plt import os impor...

2019-04-18 11:29:28

阅读数 111

评论数 0

Ambari离线安装Solr

Ambari没有集成Solr,但我在github上找到一个解决方案,如果您不需要离线安装可以参考下面链接: https://imaidata.github.io/blog/2017/09/18/%E7%94%A8Ambari%E9%83%A8%E7%BD%B2SOLR/ 1.下载压缩包并解压 ...

2018-09-05 13:08:28

阅读数 453

评论数 3

使用DataX将Hive与MySQL中的表互导

一、DataX简介(摘自https://github.com/alibaba/DataX) DataX Features DataX详细介绍 Quick Start Support Data Channels 二、开始正文 备注: 1.可能会遇到的错误 2.MysqlWriter 针对 M...

2018-08-30 15:25:44

阅读数 4180

评论数 3

使用Spark/Java读取已开启Kerberos认证的HBase

1.赋予drguo用户相应的权限 2.KDC中创建drguo用户并导出相应的keytab文件 [root@bigdata28 ~]# kadmin.local Authenticating as principal drguo/admin@AISINO.COM with passwo...

2018-07-18 14:10:42

阅读数 1208

评论数 0

CentOS7完全离线安装配置NTP、MySQL

NTP及依赖 rpm包下载: MySQL及依赖 rpm包下载: NTP安装 # 修改系统时间 [root@10-121-2-96 opt]# timedatectl set-ntp no [root@10-121-2-96 opt]# timedatectl set-time &...

2018-07-05 16:01:43

阅读数 3583

评论数 4

CDH集群启用Kerberos

一、安装kdc 1.在集群中找台机器安装KDC yum install krb5-server krb5-libs krb5-workstation 如果您的机器不能联网请使用rpm包安装: 这台机器自带了kerberos client的两个包,需要先升级再安装server [roo...

2018-06-14 13:39:34

阅读数 530

评论数 0

使用Keras实现多层前馈神经网络对Iris(鸢尾花卉)数据集进行多分类

Keras优点多多,搭建模型快实现简单,不过建议了解神经网络基本原理后再用。 backend建议用TensorFlow,比Theano快很多。 from sklearn.datasets import load_iris from sklearn.mode...

2018-04-16 20:37:59

阅读数 2059

评论数 2

使用python获取pdf上的文字(in win10)

环境版本: WIN10 | Python 3.6 | ImageMagick-6.9.9-38-Q8-x64-dll | Ghostscript 9.22 for Windows 整体思路:1.将PDF转为图片后进行文字识别 | 2.使用pdfminer解析pdf文件(准确率更高...

2018-03-17 22:09:25

阅读数 3470

评论数 0

SolrCloud Collection 创建

环境版本: CDH 5.12.0; Solr 4.10.3

2017-11-29 19:38:18

阅读数 1855

评论数 8

Flume+Kakfa+Spark Streaming整合(运行WordCount小例子)

环境版本:Scala 2.10.5; Spark 1.6.0; Kafka 0.10.0.1; Flume 1.6.0

2017-11-21 21:08:00

阅读数 542

评论数 5

Spark MLlib - Iris(鸢尾花卉)数据集 LogisticRegression(逻辑回归)

所用数据:http://download.csdn.net/download/dr_guo/9946656 环境版本:Spark 1.6.1; Scala 2.10.4; JDK 1.7

2017-08-23 15:30:45

阅读数 2666

评论数 0

Spark 分层抽样与求最大值最小值

详见注释 package com.beagledata.sparkimport org.apache.spark.{SparkConf, SparkContext}/** * 分层抽样 * * Created by drguo on 2017/8/21. * blog.csdn.n...

2017-08-21 16:05:38

阅读数 1861

评论数 0

Spark处理XML文件与XLSX/XLS文件

方法有很多,现提供一种比较简单的方法。

2017-08-18 17:29:43

阅读数 7091

评论数 1

Oracle表空间释放与增加表空间大小

1.drop表后并没有释放磁盘空间,这时可以通过缩小表空间释放磁盘存储注:一个表空间可以有多个datafile查看所有的datafile,找到你要缩小的datafile select file#, name from v$datafile 从上面获得要缩小的文件id是4,查看此文件有多少个bloc...

2017-04-20 10:35:28

阅读数 5215

评论数 3

Ranger用户同步于LDAP

LDAP[root@hdp certs]# ldapsearch -x -b "dc=wondersoft,dc=cn" 。。。 # trust admins, groups, accounts, wondersoft.cn dn: cn=trust admins,cn=gro...

2017-02-22 14:47:58

阅读数 2465

评论数 4

Ambari安装freeIPA

环境:Ambari-2.4.2、HDP-2.5.3、CentOS 6.5 freeIPA包含了Kerberos、ldap等服务,经调研感觉可以用它来做认证和统一用户管理,用户都存在freeIPA的ldap中。

2017-02-22 11:38:30

阅读数 3671

评论数 9

提示
确定要删除当前文章?
取消 删除