spark基本概念与架构设计

spark基本概念: •RDD:是ResillientDistributed Dataset(弹性分布式数据集)的简称,是分布式内存的一个抽象概念,提供了一种高度受限的共享内存模型 •DAG:是Directed Acyclic Graph(有向无环图)的简称,反映RDD之间的依赖关系 •Execu...

2017-10-11 21:33:56

阅读数 203

评论数 0

MapReduce详解

MapReduce模型简介:   •MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数:Map和Reduce   •编程容易,不需要掌握分布式并行编程细节,也可以很容易把自己的程序运行在分布式系统上,完成海量数据的计算   •MapReduce采用“分而治之”策略...

2017-06-13 18:20:23

阅读数 12803

评论数 5

Hive的数据类型与基础操作

表 Hive的基本数据类型: 类型 描述 示例 TINYINT 1个字节(8位)有符号整数 1 SMALLINT 2个字节(16位)有符号整数 1 INT 4个字节(32位)有符号整数 1 BIGINT 8个字节

2017-06-13 11:35:18

阅读数 253

评论数 0

Hive的工作原理

一、SQL语句转换成MapReduce作业的基本原理 join的实现原理:sql获取的数据先通过map函数处理,转换成key-value形式,接着shuffle为归并的过程,将key相同的归并到一起,最后通过Reduce函数处理。(关于MapReduce与shuffle的详解请看MapR...

2017-06-13 09:50:50

阅读数 563

评论数 0

数据仓库hive(简介与应用)

数据仓库概念:数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策。 hive简介: ...

2017-06-13 09:27:43

阅读数 477

评论数 0

HBase的三大组件

•HBase的实现包括三个主要的功能组件: –(1)库函数:链接到每个客户端 –(2)一个Master主服务器 –(3)许多个Region服务器 •主服务器Master负责管理和维护HBase表的分区信息,维护Region服务器列表,分配Region,负载均衡 •Re...

2017-05-30 13:25:30

阅读数 4192

评论数 0

Hbase列族数据库(基本存储结构)

HBase:HBase是一个稀疏、多维度、排序的映射表,这张表的索引是行键、 列族、列限定符和时间戳 •表:HBase采用表来组织数据,表由行和列组成,列划分为若干个列族 •行:每个HBase表都由若干行组成,每个行由行键(row key)...

2017-05-30 12:55:54

阅读数 1200

评论数 0

HDFS(名称节点与数据节点)简介

HDFS:分布式文件系统把文件分布存储到多个计算机节点上,成千上万的计算机节点构成计算机集群 这些节点分为主从节点,主节点可叫作名称节点(NameNode),从节点可叫作数据节点(DataNode) HDFS通过块的模式存储数据,默认情况下一个块是64M,把大文件拆分成多个块,可以最小化寻址开...

2017-05-29 10:29:05

阅读数 11041

评论数 0

Hadoop整体架构简

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台,为用户提供了系统底层细节透明的分布式基础架构 Hadoop的核心是分布式文件系统hdfs(Hadoop Distribution File System)和MapReduce 它的特性: 1.高可用性  2.高效性  3.高扩展...

2017-05-29 10:00:16

阅读数 380

评论数 0

数据结构-表(java)

一、链表 链表由一系列节点组成,这些节点不必在内存中相连。每一个节点均含有包含该元素后继节点的链,我们称之为next链,最后一个单元的next链引用null。 从这张图可看出链表的结构,它和数组一样是线性表,但与数组不同的是,数组中所有的数据都是有顺序的,因此通过索引查找数据时效率...

2017-05-12 20:49:07

阅读数 132

评论数 0

struts2中上传与下载文件

一、文件上传和下载 9.1 文件上传 1)三个条件:  表单有file post提交 enctype="multipart/form-data" 2)在Action中接收文件内容 File attach;   (attach是file表单的name属性) ...

2017-01-27 09:23:02

阅读数 110

评论数 0

struts2中自定义类型转换器

8 自定义类型转换 作用: 默认情况下,页面的日期类型只能接收 yyyy-MM-dd类型,如果要转换yyyy/MM/dd这种类型,则需要使用自定义类型转换器进行转换。 strut2提供了自定义类型转换器的基类: StrutsTypeConverter类 /**  * 自定义日期类型...

2017-01-26 08:58:39

阅读数 190

评论数 0

struts2中数据共享给jsp页面的三种方式

sruts2的数据共享的三种方式: 在web项目中都是使用域对象来共享数据。 struts2提供给开发者使用域对象来共享数据的方法一共有三种。 6.1 第一种方式 ServletActionContext类 getRequest() : 获取request对象 getReque...

2017-01-25 09:42:12

阅读数 411

评论数 0

struts2基础标签属性详解

struts2配置文件: struts各标签中属性的作用    package: 代表一个包。管理action配置。在用一个包下面不能有同名的action  name: 包名.在一个项目中不能出现同名的包。  extends:  继承。类似于类的继承。如果一个包继承另一个包,那么就会把父包...

2017-01-24 15:33:26

阅读数 404

评论数 0

jsp中核心标签库c标签详解

uri: 表示需要导入的标签库的uri名称。每个标签库都会有一个tld后缀名的标签声明文件,在tld文件中都有唯一的uri的名称。 这个uri的名称就是当前标签库的名称。 prefix: 使用标签库的前缀,通用和tld文件的short-name名称相同  --%> 1) ...

2017-01-23 09:05:17

阅读数 272

评论数 0

jsp的基础语法

jsp中有两种方法调用java代码 1)EL表达式 2)方式调用java代码  但要尽量少用java代码,最好用EL表达式来代替 ${name}:代表着用了getName()的方法(但数据需先存入域对象中) Jsp的9大内置对象 jsp中 java代码中对应的对象 request ...

2017-01-22 09:31:35

阅读数 143

评论数 0

javaweb中四大域对象的生命周期与常用方法

一、ServletContext 1、生命周期:当Web应用被加载进容器时创建代表整个web应用的ServletContext对象,当服务器关闭或Web应用被移除时,ServletContext对象跟着销毁。 2、作用范围:整个Web应用。 3、作用: a)在不同Servl...

2017-01-21 10:08:02

阅读数 612

评论数 0

java开发中的数据库连接池工具

dbcp连接 //有配置文件才可以用 try { //1)使用工厂类来创建dbcp连接池对象(读取配置文件方式) Properties prop = new Properties(); //使用类路径读取配置文件 InputStream in = Demo1.class.getResourceAs...

2017-01-20 10:06:32

阅读数 149

评论数 0

java开发中JDBC连接数据库的代码实现与详解(转载)

JDBC连接数据库    ?创建一个以JDBC连接数据库的程序,包含7个步骤:     1、加载JDBC驱动程序:        在连接数据库之前,首先要加载想要连接的数据库的驱动到JVM(Java虚拟机),        这通过java.lang.Class类的静态方法forName(Strin...

2017-01-20 10:01:30

阅读数 177

评论数 0

mysql数据库深入了解

数据库设计:(三大范式看情况遵守,不一定死守这三个规范) 第一范式:要求表的每个字段都必须独立的不可分割的最小单元。 第二范式:要求表的除主键外的其他字段都和主键有依赖关系。(一张表表达一个意思) 工表:employee 员工编号  员工姓名  部门名称   订单名称(这里违反)     ...

2017-01-19 09:36:34

阅读数 129

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭