FreeShow

记录自己的学习过程,如有侵权,请告知

HDFS 中 Java API 的使用

HDFS中 Java API 的使用 文件在 Hadoop 中表示一个Path对象,通常封装一个URI,如HDFS上有个test文件,URI表示成hdfs://master:9000/test。 Hadoop 中关于文件操作类基本上全部是在"org.apache.hadoop.f...

2019-03-18 22:05:40

阅读数 46

评论数 0

Ubuntu 下安装 JDK 与配置环境变量

一、下载JDK 先从Oracle官网下载JDK。先选择同意按钮,然后根据自己的系统下载相应版本。我的系统是Ubuntu14.04 64位的,所以我下载的是jdk-8u91-linux-x64.tar.gz 二、解压到合适的目录下 sudo tar -zxvf jdk-8u91-linux-x64....

2019-02-13 20:50:16

阅读数 132

评论数 0

Spark2.x 入门:DStream 操作概述

DStream是Spark Streaming的编程模型,DStream的操作包括输入、转换和输出。 Spark Streaming工作原理 在Spark中,一个应用(Application)由一个任务控制节点(Driver)和若干个作业(Job)构成,一个作业由多个阶段(St...

2018-11-13 20:54:29

阅读数 122

评论数 0

Spark2.x 入门:Spark Streaming 简介

Spark Streaming是构建在Spark上的实时计算框架,它扩展了Spark处理大规模流式数据的能力。Spark Streaming可结合批处理和交互查询,适合一些需要对历史数据和实时数据进行结合分析的应用场景。 Spark Streaming设计 Spark Stre...

2018-11-13 20:54:07

阅读数 433

评论数 0

Spark2.x 入门:流计算简介

数据总体上可以分为静态数据和流数据。对静态数据和流数据的处理,对应着两种截然不同的计算模式:批量计算和实时计算。批量计算以“静态数据”为对象,可以在很充裕的时间内对海量数据进行批量处理,计算得到有价值的信息。Hadoop就是典型的批处理模型,由HDFS和HBase存放大量的静态数据,由MapRed...

2018-11-13 20:53:18

阅读数 43

评论数 0

Keras 实现非线性回归

Keras 实现非线性回归 import keras import numpy as np import matplotlib.pyplot as plt # Sequential按顺序构成的模型 from keras.models import Sequential # Dense全连接层...

2018-07-04 21:23:13

阅读数 424

评论数 0

Keras 实现线性回归

Keras 实现线性回归 import keras import numpy as np import matplotlib.pyplot as plt # Sequential按顺序构成的模型 from keras.models import Sequential # Dense全连接层 ...

2018-07-04 21:00:11

阅读数 332

评论数 0

MyBatis入门(六)---关联表查询一对一、一对多

一、一对一关联 1.1、提出需求 1.2、创建表和数据 1.3、定义实体类 1.4、定义接口 1.5 定义SQL映射文件 1.6 在MyBatis配置文件中注册SQL映射文件 1.7 编写测试类 1.8 MyBatis一对一关联查询总结 二、一对多关联 2.1、提出需求 2.2、创建表和...

2018-07-02 22:13:41

阅读数 123

评论数 0

MyBatis入门(五)---解决字段名与实体类属性名不相同的冲突

在平时的开发中,我们表中的字段名和表对应实体类的属性名称不一定都是完全相同的,下面来演示一下这种情况下的如何解决字段名与实体类属性名不相同的冲突。 一、准备演示需要使用的表和数据 create database mybatis; use mybatis; CREATE TABLE U...

2018-06-30 19:08:32

阅读数 100

评论数 0

MyBatis入门(四)---优化MyBatis配置文件中的配置

一、连接数据库的配置单独放在一个properties文件中 之前,我们是直接将数据库的连接配置信息写在了MyBatis的mybatis-config.xml文件中,如下: <?xml version="1.0&quo...

2018-06-30 11:27:20

阅读数 109

评论数 0

MyBatis入门(三)---接口+注解的方式

一、使用meavn创建项目,并导入相应的包 <?xml version="1.0" encoding="UTF-8"?> &am...

2018-06-28 22:23:50

阅读数 100

评论数 0

MyBatis入门(二)---接口+xml配置方式

一、使用meavn创建项目,并导入相应的包 <?xml version="1.0" encoding="UTF-8"?...

2018-06-28 21:58:38

阅读数 105

评论数 0

MyBatis入门(一)---全XML配置方式

一、Mybatis介绍   MyBatis是一个支持普通SQL查询,存储过程和高级映射的优秀持久层框架。MyBatis消除了几乎所有的JDBC代码和参数的手工设置以及对结果集的检索封装。MyBatis可以使用简单的**XML或注解用于配置和原始映射,将接口和Java的POJO(Plain Old...

2018-06-27 21:18:50

阅读数 134

评论数 0

Ubuntu18.04 下安装 MySQL5.7

一、安装 sudo apt-get --purge remove mysql-server mysql-common mysql-client sudo apt-get install mysql-server mysql-common mysql-client 二、设置密码 ...

2018-06-27 21:15:49

阅读数 758

评论数 0

精准率和召回率

预测为真且实际为真/预测为真:精确率(查准) 预测为真且实际为真/实际为真:召回率(查全) 实际上非常简单,精确率是针对我们预测结果而言的,它表示的是预测为正的样本中有多少是真正的正样本。那么预测为正就有两种可能了,一种就是把正类预测为正类(TP),另一种就是把负类预测为正类...

2018-06-26 09:10:08

阅读数 284

评论数 0

Using Kafka with Spark Streaming

For information on how to configure Spark Streaming to receive data from Kafka, see the Spark Streaming + Kafka Integration Guide. In CDH 5.7 and hi...

2018-03-03 13:23:12

阅读数 182

评论数 0

Sqoop 教程

一、Sqoop 简介 Sqoop是Hadoop和关系数据库服务器之间传送数据的一种工具。它是用来从关系数据库如:MySQL,Oracle到Hadoop的HDFS,并从Hadoop的文件系统导出数据到关系数据库。 传统的应用管理系统,也就是与关系型数据库的使用RDBMS应用程序的交互,是产生大数...

2018-01-29 23:40:45

阅读数 952

评论数 0

CNN (卷积神经网络)

CNN CNN简介 卷积神经网络(Convolutional Neural Networks,简称CNN)。 卷积神经网络(CNN)由输入层、卷积层、激活函数、池化层、全连接层组成,即INPUT-CONV-RELU-POOL-FC。 初识卷积 首先,我们去学习卷积层的模型原理,在...

2018-01-29 00:18:51

阅读数 488

评论数 0

梯度消失与梯度爆炸

梯度消失与梯度爆炸 网络层数太多是导致梯度消失或者梯度爆炸的直接原因, 使用S型激活函数(如:sigmoid函数,tanh函数)会导致梯度消失问题,初始权重设置太大会导致梯度爆炸。 梯度消失指的是权重不再更新,直观上看是从最后一层到第一层权重的更新越来越慢,直至不更新。本质原因是反向传播的连乘...

2018-01-29 00:08:20

阅读数 288

评论数 0

ImageNet 中的 LRN

LRN(Local Response Normalization) LRN 神经网络初学者,没有什么理论基础,偶然看到个ImageNet,就准备从其入手,先弄懂每层的含义,其中这个LRN层真是让人百思不得其解,搜索了下,给出的介绍比较少。为什么会比较少呢,搜索到最后我得出的结论是,这货似乎...

2018-01-29 00:07:05

阅读数 117

评论数 0

提示
确定要删除当前文章?
取消 删除