a878787877-CSDN博客

转载 Java常用类（四）之数组工具类Arrays

前言　　数组的工具类java.util.Arrays　　由于数组对象本身并没有什么方法可以供我们调用,但API中提供了一个工具类Arrays供我们使用,从而可以对数据对象进行一些基本的操作。一、Arrays类概述1.1、Arrays类的引入　　该是java.util包中的类,在我们的代码中想使用这个类的话,就必须使用import进行导入。　　在当前类A中,只有java...

2017-10-28 14:20:00 187

转载 Hadoop（十七）之MapReduce作业配置与Mapper和Reducer类

前言　　前面一篇博文写的是Combiner优化MapReduce执行，也就是使用Combiner在map端执行减少reduce端的计算量。一、作业的默认配置　　MapReduce程序的默认配置　　1）概述　　在我们的MapReduce程序中有一些默认的配置。所以说当我们程序如果要使用这些默认配置时，可以不用写。　　　　我们的一个MapReduce程序一定会有M...

2017-10-27 20:40:00 1103

转载 OOAD-设计模式（四）结构型模式之适配器、装饰器、代理模式

前言　　前面我们学习了创建型设计模式，其中有5中，个人感觉比较重要的是工厂方法模式、单例模式、原型模式。接下来我将分享的是结构型模式！一、适配器模式1.1、适配器模式概述　　适配器模式（Adapter）属于结构型设计模式，它的作用如同它的名字一样，用于转换接口。像我们的手机、电脑的电源适配器一样，适配器模式可以使彼此不兼容的代码间优雅地协作。　　适配器模式将某个类的接...

2017-10-27 11:50:00 186

转载 Hadoop（十六）之使用Combiner优化MapReduce

前言　　前面的一篇给大家写了一些MapReduce的一些程序，像去重、词频统计、统计分数、共现次数等。这一篇给大家介绍的是关于Combiner优化操作。一、Combiner概述1.1、为什么需要Combiner　　我们map任务处理的结果是存放在运行map任务的节点上。　　map处理的数据的结果在进入reduce的时候，reduce会通过远程的方式去获取数据。　　在map...

2017-10-26 21:24:00 275

转载 OOAD-设计模式（三）之创建型设计模式（5种）

前言　　前面介绍了OOAD的基础知识，现在我们来详细的说明一下GOF设计模式中的23种模式，希望大家能够学到东西！一、工厂方法模式（Factory Method）1.1、工厂方法模式概述　　工厂方法模式属于创建型模式，是简单工厂模式（Simple Factory）的一个升级版。工厂方法模式分为三种：普通工厂模式多个工厂方法模式静态工厂方法模式。　　　　　　...

2017-10-26 16:45:00 131

转载 OOAD-设计模式（二）之GRASP模式与GOF设计模式概述

一、GRASP模式(通用责任分配软件模式)概述1.1、理解责任　　1）什么是责任　　　　责任是类间的一种合约或义务,也可以理解成一个业务功能,包括行为、数据、对象的创建等　　　　知道责任——表示知道什么　　　　行为责任——表示做什么　　　　责任＝知道责任＋行为责任　　2）知道责任与行为责任　　　　知道责任: 　　　　　　了解私有封装数...

2017-10-26 09:12:00 691

转载 Hadoop（十五）MapReduce程序实例

一、统计好友对数（去重）1.1、数据准备joe, jon joe , kia joe, bob joe ,alikia, joe kia ,jim kia, deedee ,kia dee, aliali ,dee ali, jim ali ,bob ...

2017-10-25 22:47:00 197

转载 Hadoop（十四）MapReduce原理分析

前言　　上一篇我们分析了一个MapReduce在执行中的一些细节问题，这一篇分享的是MapReduce并行处理的基本过程和原理。　　Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架。　　Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。一、...

2017-10-25 21:39:00 1390

转载 Hadoop（十三）分析MapReduce程序

前言　　刚才发生了悲伤的一幕，本来这篇博客马上就要写好的，花了我一晚上的时间。但是刚才电脑没有插电源就没有了。很难受！想哭，但是没有办法继续站起来。　　前面的一篇博文中介绍了什么是MapReduce，这一篇给大家详细的分享一下MapReduce的运行原理。一、写一个MapReduce程序例子1.1、数据准备　　准备要处理的数据（假定数据已经存放在hdfs的/data目...

2017-10-25 15:15:00 276

转载决战面试（二）智力题考察

前言　　其实很多公司除了你的技术之外，还需要对你的逻辑思维进行考察，所以逻辑题这一手我们就不能不防。一、微软逻辑思维大拷问1、你让工人为你工作7天，给工人的回报是一根金条。金条平分成相连的7段，你必须在每天结束时给他们一段金条，如果只许你两次把金条弄断，　　你如何给你的工人付费？2、请把一盒蛋糕切成8份，分给8个人，但蛋糕盒里还必须留有一份？3、一个岔路口分别通向诚实...

2017-10-24 16:03:00 517

转载 Java常用类（三）之StringBuffer与StringBuidler

前言　　前面一篇给大家介绍了String类，这个我们经常会用到的一个类，那这一篇给大家分享的是StringBuffer与StringBuidler。等下我也会比较他们三个之间的区别一、StringBuffer1.1、概述　　　　Java.lang.StringBuffer线程安全的可变字符序列。一个类似于 String 的字符串缓冲区，但不能修改。虽然在任意时间点上它...

2017-10-24 09:16:00 151

转载 Hadoop（十二）MapReduce概述

前言　　前面以前把关于HDFS集群的所有知识给讲解完了，接下来给大家分享的是MapReduce这个Hadoop的并行计算框架。一、背景1）爆炸性增长的Web规模数据量　　2）超大的计算量/计算复杂度　　3）并行计算大趋所势　　二、大数据的并行计算1）一个大数据若可以分为具有同样计算过程的数据块，并且这些数据块之间不存在数据依赖关系，则提高处理速度最...

2017-10-23 21:02:00 174

转载 Java常用类（二）String类详解

前言　　在我们开发中经常会用到很多的常用的工具类，这里做一个总结。他们有很多的方法都是我们经常要用到的。所以我们一定要把它好好的掌握起来！一、String简介1.1、String（字符串常量）概述　　在API中是这样描述：　　　　String 类代表字符串。Java 程序中的所有字符串字面值（如 "abc" ）都作为此类的实例实现。　　　　字符串是常量；它们的值在创...

2017-10-23 14:52:00 112

转载 Java常用类（一）之Object类详解

大家都知道Object是所有类的父类，任何类都默认继承Object理论上Object类是所有类的父类，即直接或间接的继承java.lang.Object类。由于所有的类都继承在Object类，因此省略了extends Object关键字。该类中主要有以下方法: toString(),getClass(),equals(),clone(),finalize(), 其中toStrin...

2017-10-23 11:06:00 258

转载 Hadoop（十一）Hadoop IO之序列化与比较功能实现详解

前言　　上一篇给大家介绍了Hadoop是怎么样保证数据的完整性的，并且使用Java程序来验证了会产生.crc的校验文件。这一篇给大家分享的是Hadoop的序列化！一、序列化和反序列化概述1.1、序列化和反序列化的定义　　1）序列化：将结构化对象转换为字节流的过程，以便在网络上传输或写入到磁盘进行永久存储的过程。　　2）反序列化：将字节流转回一系列的相反过程结构化对象。...

2017-10-22 21:20:00 179

转载 Hadoop（十）Hadoop IO之数据完整性

前言　　上一篇我分享了Hadoop的压缩和编解码器，在我们开发的过程中其实是经常会用到的，所以一定要去掌握。这一篇给大家介绍的是Hadoop的数据完整性！　　Hadoop用户在使用HDFS储存和处理数据不会丢失或者损坏，在磁盘或者网络上的每一个I/O操作不太可能将错误引入自己正在读/写的数据中，但是如果　　在处理的数据量非常大到Hadoop的处理极限时，数据被损坏的概率还是挺...

2017-10-22 00:19:00 267

转载 Hadoop（九）Hadoop IO之Compression和Codecs

前言　　前面一篇介绍了Java怎么去查看数据块的相关信息和怎么去查看文件系统。我们只要知道怎么去查看就行了！接下来我分享的是Hadoop的I/O操作。　　在Hadoop中为什么要去使用压缩（Compression）呢？接下来我们就知道了。一、压缩（Compression）概述1.1、压缩的好处　　减少储存文件所需要的磁盘空间，并加速数据在网络和磁盘上的传输。这两个在大...

2017-10-20 13:57:00 443

转载 Java集合源码分析（四）HashMap

一、HashMap简介1.1、HashMap概述　　HashMap是基于哈希表的Map接口实现的，它存储的是内容是键值对<key,value>映射。此类不保证映射的顺序，假定哈希函数将元素适当的分布在各桶之间，可为基本操作(get和put)提供稳定的性能。　　在API中给出了相应的定义：//1、哈希表基于map接口的实现，这个实现提供了map所有的操作...

2017-10-20 11:34:00 90

转载 Hadoop（八）Java程序访问HDFS集群中数据块与查看文件系统

前言　　我们知道HDFS集群中，所有的文件都是存放在DN的数据块中的。那我们该怎么去查看数据块的相关属性的呢？这就是我今天分享的内容了一、HDFS中数据块概述1.1、HDFS集群中数据块存放位置　　我们知道hadoop集群遵循的是主/从的架构，namenode很多时候都不作为文件的读写操作，只负责任务的调度和掌握数据块在哪些datanode的分布，　　保存的是一些数据...

2017-10-20 09:52:00 287

转载 Java集合源码分析（三）Vevtor和Stack

前言　　前面写了一篇关于的是LinkedList的除了它的数据结构稍微有一点复杂之外，其他的都很好理解的。这一篇讲的可能大家在开发中很少去用到。但是有的时候也可能是会用到的！　　注意在学习这一篇之前，需要有多线程的知识：　　1）锁机制：对象锁、方法锁、类锁　　　　对象锁就是方法锁：就是在一个类中的方法上加上synchronized关键字，这就是给这个方法加锁了。　　　...

2017-10-19 23:54:00 141

转载 JavaProblem之hashCode详解

一、HashCode简介1.1、什么是Hash和Hash表　　要想清楚hashCode就要先清楚知道什么是Hash　　1）Hash　　　　　　　　　　　　hash是一个函数，该函数中的实现就是一种算法，就是通过一系列的算法来得到一个hash值，这个时候，我们就需要知道另一个东西，hash表，通过hash算法得到的hash值就在这张hash表中，　　　　也就是说...

2017-10-19 21:56:00 101

转载 Java集合源码分析（二）Linkedlist

前言　　前面一篇我们分析了ArrayList的源码，这一篇分享的是LinkedList。我们都知道它的底层是由链表实现的，所以我们要明白什么是链表？一、LinkedList简介1.1、LinkedList概述　　　　LinkedList是一种可以在任何位置进行高效地插入和移除操作的有序序列，它是基于双向链表实现的。　　LinkedList是一个继承于Abstra...

2017-10-18 23:18:00 228

转载 Java集合源码分析（一）ArrayList

前言　　在前面的学习集合中只是介绍了集合的相关用法，我们想要更深入的去了解集合那就要通过我们去分析它的源码来了解它。希望对集合有一个更进一步的理解！　　既然是看源码那我们要怎么看一个类的源码呢？这里我推荐的方法是：　　　　1）看继承结构　　　　　　看这个类的层次结构，处于一个什么位置，可以在自己心里有个大概的了解。　　　　2）看构造方法　　　　　　在构造方法中，看...

2017-10-18 16:27:00 131

转载 Hadoop（七）HDFS容错机制详解

前言　　HDFS（Hadoop Distributed File System）是一个分布式文件系统。它具有高容错性并提供了高吞吐量的数据访问，非常适合大规模数据集上的应用，它提供了一个高度容错性和高吞吐量的海量数据存储解决方案。　　优点是：　　　　高吞吐量访问：HDFS的每个Block分布在不同的Rack上，在用户访问时，HDFS会计算使用最近和访问量最小的服务器给用户提供...

2017-10-17 23:37:00 1081

转载 Hadoop（六）之HDFS的存储原理（运行原理）

前言　　其实说到HDFS的存储原理，无非就是读操作和写操作，那接下来我们详细的看一下HDFS是怎么实现读写操作的！一、HDFS读取过程　　　　1）客户端通过调用FileSystem对象的open()来读取希望打开的文件。对于HDFS来说，这个对象是分布式文件系统的一个实例。　　2）DistributedFileSystem通过RPC来调用namenode，以确定文件的...

2017-10-17 12:48:00 505

转载 Hadoop（五）搭建Hadoop客户端与Java访问HDFS集群

前言　　上一篇详细介绍了HDFS集群，还有操作HDFS集群的一些命令，常用的命令： hdfs dfs -ls xxx hdfs dfs -mkdir -p /xxx/xxx hdfs dfs -cat xxx hdfs dfs -put local cluster hdfs dfs -get cluster local ...

2017-10-16 21:46:00 258

转载 MySQL（十五）之数据备份中mysqldump详解

前言　　其实前面一篇数据备份已经是非常的详细了，这里我想单独的讲解一下mysqldump，相信很多程序员都是用过这个命令的！一、MySQL数据库的备份与还原1.1、MySQL数据库备份　　1）语法　　mysqldump -u username -p db_name table1 table2 ...> xxx.sql　　　　含义：　　　　　　db...

2017-10-16 09:12:00 117

转载 MySQL（十四）之数据备份与还原

前言　　上一篇分享了关于MySQL事务的知识，在我们数据库中最重要的就是数据了，所以数据的备份就显的特别的重要！　　为什么要备份数据？　　在生产环境中我们数据库可能会遭遇各种各样的不测从而导致数据丢失, 大概分为以下几种：　　　　硬件故障、软件故障、自然灾害、黑客攻击、误操作（占比例大）　　所以, 为了在数据丢失之后能够恢复数据, 我们就需要定期的备份数据, 备份数据...

2017-10-15 22:00:00 128

转载 MySQL（十三）之MySQL事务

前言　　这段时间自己会把之前学的东西都总结一遍，希望对自己以后的工作中有帮助。其实现在每天的状态都是很累的，但是我要坚持！　　进入我们今天的正题：　　为什么MySQL要有事务呢？事务到底是用来干什么的？我们通过一个例子来说明：　　事务广泛的运用于订单系统、银行系统等多种场景。如果有以下一个场景：A用户和B用户是银行的储户。现在A要给B转账500元。那么需要做以下几件事：...

2017-10-14 22:59:00 126

转载 JavaWeb（七）之详解JavaWeb路径

前言　　在我们的实际开发中，经常要写路径，不管是链接，重定向还是转发，这都是需要路径的。那这一篇我给大家详细的分享一下Web中的各种路径问题。　　世界上一切东西都是相对的，对于这点而言，相信大家并不陌生，由于这篇文章是针对于WEB阶段来讲的，所以以下绝对路径和相对路径都是针对于整个互联网而言的。　　在JavaWeb中需要写的路径大概分为四大类：　　　　1）客户端路径　...

2017-10-13 17:45:00 133

转载 Hadoop（四）HDFS集群详解

前言　　前面几篇简单介绍了什么是大数据和Hadoop，也说了怎么搭建最简单的伪分布式和全分布式的hadoop集群。接下来这篇我详细的分享一下HDFS。　　HDFS前言：　　　　设计思想：（分而治之）将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析。　　　　在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spa...

2017-10-12 20:30:00 1017

转载 Hadoop（三）手把手教你搭建Hadoop全分布式集群

前言　　上一篇介绍了伪分布式集群的搭建，其实在我们的生产环境中我们肯定不是使用只有一台服务器的伪分布式集群当中的。接下来我将给大家分享一下全分布式集群的搭建！　　其实搭建最基本的全分布式集群和伪分布式集群基本没有什么区别，只有很小的区别。一、搭建Hadoop全分布式集群前提1.1、网络　　1）如果是在一台虚拟机中安装多个linux操作系统的话，可以使用NAT或桥接模式...

2017-10-11 21:22:00 260

转载 Hadoop（二）搭建伪分布式集群

前言　　前面只是大概介绍了一下Hadoop，现在就开始搭建集群了。我们下尝试一下搭建一个最简单的集群。之后为什么要这样搭建会慢慢的分享，先要看一下效果吧！一、Hadoop的三种运行模式（启动模式）1.1、单机模式（独立模式）（Local或Standalone Mode）　　-默认情况下，Hadoop即处于该模式，用于开发和调式。　　-不对配置文件进行修改。　　-使用...

2017-10-10 23:07:00 124

转载 Hadoop（一）之初识大数据与Hadoop

前言　　从今天起，我将一步一步的分享大数据相关的知识，其实很多程序员感觉大数据很难学，其实并不是你想象的这样，只要自己想学，还有什么难得呢？　　学习Hadoop有一个8020原则，80%都是在不断的配置配置搭建集群，只有20%写程序！一、引言（大数据时代）1.1、从数据中得到信息　　我们看一张图片：　　　　　　我们知道这个图片上的人叫张小妹，年龄20岁，职业模...

2017-10-10 20:57:00 227

转载 JavaWeb（六）之MVC与三层架构设计

前言　　这段时间要学习hadoop，但是也希望把自己的web知识复习起来。所以花自己休息的时间把这些web的知识好好的巩固一下！没有什么可以阻挡我前进的脚步。　　首先我们先了解一下：　　　　　　C/S：客户端 / 服务器（胖客户端）　　　　B/S：浏览器 / 服务器（瘦客户端）　　　　JavaBean:就是一个普通类（实体bean），包含三样标准：一个无参构造、私有属性、...

2017-10-10 14:49:00 251

转载 JavaWeb（五）之JSTL标签库

前言　　前面介绍了EL表达式，其实EL表达式基本上是和JSTL核心标签库搭配一起使用才能发挥效果的。接下来让我们一起来认识一下吧！　　在之前我们学过在JSP页面上为了不使用脚本，所以我们有了JSP内置的行为、行为只能提供一小部分的功能，大多数的时候还是会用java脚本，接着就使用了EL表达式，基本上EL表达式看似能满足我们的要求，　　它能够获取各种对象，各种值，并且还不会抛出...

2017-10-09 18:49:00 177

转载 JavaWeb（四）EL表达式

前言　　前面详细的说明了什么是JSP和它的一些元素，这篇给大家介绍一下的是EL表达式。　　用EL表达式，能更好的使用JSP中的各种内置对象和作用域。　　楼主作为大四狗马上要出去面试了，内心很紧张！！！一、EL表达式EL 全名为Expression Language。JSP中可以使用EL表达式，EL表达式是用"${}"括起来的脚本，用来更方便地读取对象，EL表达式写在J...

2017-10-09 11:09:00 147

转载 JavaWeb（三）JSP之3个指令、6个动作、9个内置对象和4大作用域

前言　　前面大概介绍了什么是JSP，今天我给大家介绍一下JSP的三个指令、6个动作以及它的9大内置对象。接下来我们就直接进入正题一、JSP的3个指令JSP指令（directive）是为JSP引擎而设计的，它们并不直接产生任何可见输出，而只是告诉引擎如何处理JSP页面中的其余部分。指令用来申明JSP页面的一些属性，比如编码方式，文档类型。我们在servlet中也会申明我们使...

2017-10-08 23:07:00 260

转载 JavaWeb（三）JSP概述

一、JSP概述1.1、JSP简介　　一种动态网页开发技术。它使用JSP标签在HTML网页中插入Java代码。标签通常以<%开头以%>结束。JSP是一种Java servlet，主要用于实现JavaWeb应用程序的用户界面部分。　　网页开发者们通过结合HTML代码、XHTML代码、XML元素以及嵌入JSP操作和命令来编写JSP。JSP通过网页表单获取用户输入数据、访...

2017-10-08 14:06:00 418

转载 JavaWeb（二）cookie与session的应用

前言　　前面讲了一堆虚的东西，所以这篇我们来介绍一下cookie和session的应用。一、使用cookie记住用户名1.1、思路介绍　　1.2、实现代码　　1）LoginServletpackage com.zyh.cookie;import java.io.IOException;import java.io.PrintWriter;...

2017-10-07 23:30:00 119

空空如也

空空如也