sky

让优秀成为一种习惯!

排序:
默认
按更新时间
按访问量

Oozie原理

前言: 在工作中,可能需要好几个Hadoop作业(job)来协作完成,往往一个job的输出会被当做另一个job的输入来使用,这个时候就涉及到了数据流的处理。 我们不可能就盯着程序,等它运行完再去运行下一个程序,所以,一般的做法就是通过shell来做,但是如果涉及到的工作流很复杂...

2018-05-07 16:52:57

阅读数:7

评论数:0

Hive的优化

一. 整体架构的优化 hive计算引擎不仅仅支持MapReduce,并且还支持Tez, Spark等.根据不同的计算引擎又可以使用不同的资源调度和存储系统。 整体架构优化点: 1.根据不同业务需求进行日期分区,并执行动态分区. 相关参数设置: 0.14中默认hive.exec.dynam...

2018-05-07 14:24:53

阅读数:8

评论数:0

Map接口与子类

Map接口操作的是一对对象,即二元偶对象,Map接口中的每个元素都使用”key–value”的形式存储在集合中. SortedMap接口是排序接口,只要是实现了此接口的子类,都属于排序的子类.TreeMap就是此接口的一个子类 Map接口常用的子类: HashMap:无序存放,新的操作类,k...

2018-04-26 18:59:10

阅读数:12

评论数:0

最近面试经历的一些面试题

集合里面的一些安全线程和不安全线程? 安全的: Vector HashTable StringBuffer 非线程安全: ArrayList : LinkedList: HashMap: HashSet: TreeMap: TreeSet: StringBulider: ...

2018-04-25 23:30:11

阅读数:37

评论数:0

Java中的多态

什么是多态? 1.面向对象的三大特性:封装、继承、多态。从一定角度来看,封装和继承几乎都是为多态而准备的。这是我们最后一个概念,也是最重要的知识点。 2.多态的定义:指允许不同类的对象对同一消息做出响应。即同一消息可以根据发送对象的不同而采用多种不同的行为方式。(发送消息就是函数调用) 3....

2018-04-20 00:50:54

阅读数:33

评论数:0

Java中的一些概念

多态 指允许不同类的对象对同一消息做出反应;即同一消息可以根据发送对象的不同而采用多种不同的行为方式。(发送消息就是函数调用) 序列化 将对象的信息可以转为存储或传输的形式过程;在序列化期间,对象将其当前状态写入到临时或持久性存储区。以后,可以通过从存储区中读取或反序列化对象的状态,重新创建...

2018-04-20 00:45:13

阅读数:4

评论数:0

大数据面试题

Hadoop 客户端向HDFS写数据的流程 - 客户端和name node通信,name node检查目标文件是否已存在,父目录是否存在,检查通过以后name node通知客户端可以写入 客户端向name node请求上传文件的第一个块(block1),询问name node应该把bloc...

2018-04-07 16:51:11

阅读数:60

评论数:0

大数据各框架的原理与知识点

以下是根据自己的总结和梳理,建议入过门大数据的人看.写的很片面,没有图片,我仅仅想把握学的东西梳理下. Hadoop篇 数据仓库 数据仓库,简写DW,是为企业级所有级别的决策制定过程,提供所有类型数据支持的战略集合.是单个数据存储,处于分析性报告和决策支持的而创建. HDFS原理 客...

2018-04-03 00:12:29

阅读数:172

评论数:0

java.io.Serializable浅析

Java API中java.io.Serializable接口源码: 1 public interface Serializable { 2 }   类通过实现java.io.Serializable接口可以启用其序列化功能。未实现次接口的类无法使其任何状态序列化或反序列化。可序列化...

2018-03-23 10:14:51

阅读数:11

评论数:0

TCP协议详解

TCP协议 1.TCP通过以下方式提供可靠性: 应用程序分割为TCP认为最合适发送的数据块,由TCP传递给IP的信息单位叫做报文段 当TCP发出一个报文段后,它启动一个定时器,等待目的端确认收到这个报文段,由TCP传递给IP的信息单位叫做报文段 当TCP收到发自TCP连接另一端的数据,它将发...

2018-03-22 17:36:40

阅读数:6

评论数:0

ajax 原理

什么是Ajax? AJAX 英文是”Asynchronous JavaScript And XML”,它是一种创建交互网页应用的开发技术. 通过在后台与服务器进行频繁而少量数据的交换,AJAX 可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下,更新网页的某个部分。对于不使用AJ...

2018-03-21 15:19:02

阅读数:14

评论数:0

JSON解谈

JSON现在广泛用于前后台数据交互,是现在最流行的交互数据格式。数据格式是一种在不同平台间传递的文本格式。JSON的全称Java Script Object Notation(JavaScript对象表示法),表示法的意思,用于表示数字或的单词等数据的字符系统。 JSON的分类 1.简单的...

2018-03-19 15:02:05

阅读数:14

评论数:0

JVM浅谈

JVM的简介 JVM的虚拟机:一种能够运行Java bytecode的虚拟机,以堆栈结构机器来进运行Java虚拟机有自己完善的硬体架构,如处理器、堆栈、寄存器等,还具有相应的指令系统。JVM屏蔽了与具体操作系统平台相关的信息,使得Java程序只需生成Java虚拟机上运行的目标代码(字节码),就可...

2018-03-13 11:41:15

阅读数:41

评论数:0

Java的多线程

Java的多线程 用多线程的只有一个目的,那就是更好的利用CPU资源. Java给多线程编程提供了内置的支持.一条线程值的是进程中的一个单一顺序的控制流,一个进程可以并发多个线程,每条线程执行不同的 任务. 多线程是多任务的一种特别的形式,但多线程使用了更小的资源开销 多线程:指的是这个...

2018-03-12 13:44:03

阅读数:17

评论数:0

大数据面试题

1.讲讲你做的过的项目。 项目里有哪些 难点重点注意点呢? 2.讲讲多线程吧, 要是你,你怎么实现一个线程池呢? 为了节省系统在多线程并发情况下不断的创建新和销毁线程所带来的性能浪费,就需要引入线程池 首先写个简单的线程池接口继承Runable, 客户端可以通过execute(Job)方法...

2018-03-12 00:36:12

阅读数:125

评论数:0

Spring SpringMvc Mybatis框架详解

SpringMVC 对springmvc的理解: 1.它基于组件技术的.全部的应用对象,无论控制器和视图,还是业务对象之类的都是java组件,并且和spring提供的其他基础结构密集成. 2.不依赖Servlet API(目标虽是如此,但是在实现的时候确实是依赖于Servlet的) 3.可...

2018-03-09 11:19:12

阅读数:323

评论数:0

Flink的安装及案例

Flink的安装介绍 Flink有如下目录 进入到conf 进入conf配置文件目录下,主要配置文件维flinkp-conf.yaml和slaves 配置flink-conf.yaml解析如下: - jobmanager.rpc.address: localhost1 –jo...

2018-03-08 17:27:29

阅读数:92

评论数:0

Java的面试题

1.结合项目谈谈你对MVC的理解 MVC是model-view-control的简称.也就是模型-视图-控制器.mvc是一种设计模式,它强制性的吧应用程序的输入,处理,输出分开.MVC中模型.视图,控制器分别承担正不同的任务. 视图:视图是用户看到并与之交互的界面.视图向用户显示相关的数据,并...

2018-03-08 11:42:03

阅读数:47

评论数:0

BootStramp的浅谈

BootStrap简介——-维基百科 BootStrap是一组用于网站和网络应用程序开发的开源前端的框架,包括HTML,CSS及JavaScript的框架,提供字体排印,窗体,按钮,导航及其他各种组件及JavaScipt扩展,旨在是动态网页和web应用的开发更加容易. Bootstrap原名T...

2018-03-07 11:38:52

阅读数:196

评论数:0

Java与模式之单例模式

《JAVA与模式》之单例模式 在阎宏博士的《JAVA与模式》一书中开头是这样描述单例模式的: 作为对象的创建模式,单例模式确保只有一个类只有一个实例,而且自行实例化并向整个系统提供这个实例.这个类称为单例类 单例模式的结构 单例模式的特点: 单例模式只能有一个实例 单例类必须自己创...

2018-03-06 17:31:15

阅读数:11

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭