2018年02月__从头再来_

转载 SpringMvc与Struts2的对比

目前企业中使用SpringMvc的比例已经远远超过Struts2,那么两者到底有什么区别，是很多初学者比较关注的问题，下面我们就来对SpringMvc和Struts2进行各方面的比较:1.核心控制器（前端控制器、预处理控制器）：对于使用过mvc框架的人来说这个词应该不会陌生，核心控制器的主要用途是处理所有的请求，然后对那些特殊的请求（控制器）统一的进行处理(字符编码、文件上传、参数接受...

2018-02-28 21:34:37 129

原创 IO和NIO两种方式实现文件拷贝

[java] view plain copypackage com.lovo; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; impo

2018-02-28 17:37:07 2141

转载大数据排序

转自http://blog.csdn.net/lemon_tree12138/article/details/48783535前言：在大数据研究的路上，我们总要对一些很大的数据进行各种各样的操作。比如说对数据排序，比如说对数据统计，比如说对数据计算。而在大量的数据面前，我们总是束手无策，因为我们无法在限定时间的情况下，在效率上做到让人满意，也无法在限定空间的情况下，能够快速解决

2018-02-28 10:09:14 4747

原创线程池实现

A thread is an independent program’s path of execution. In java, each thread extends the java.lang.Thread class or implements java.lang.Runnable.Multithreading refers to the execution of two or mo

2018-02-27 11:04:45 212

原创 Apache Hive

一、Apache Hive简介官方网址：https://hive.apache.org/The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure...

2018-02-27 10:22:38 257

转载 hadoop HDFS存储原理

跟据Maneesh Varshney的漫画改编，以简洁易懂的漫画形式讲解HDFS存储机制与运行原理。一、角色出演如上图所示，HDFS存储相关角色与功能如下：Client：客户端，系统使用者，调用HDFS API操作文件;与NN交互获取文件元数据;与DN交互进行数据读写。Namenode：元数据节点，是系统唯一的管理者。负责元数据的管理;与

2018-02-26 23:33:53 356

转载用java编写spark程序，简单示例及运行

最近因为工作需要，研究了下spark，因为scala还不熟，所以先学习了java的spark程序写法，下面是我的简单测试程序的代码，大部分函数的用法已在注释里面注明。我的环境：hadoop 2.2.0 spark-0.9.0 scala-2.10.3 jdk1

2018-02-26 23:02:17 21145 3

转载 Spark-利用SparkLauncher 类以JAVA API 编程的方式提交spark job

一.环境说明和使用软件的版本说明:hadoop-version:hadoop-2.9.0.tar.gz spark-version:spark-2.2.0-bin-hadoop2.7.tgzjava-version:jdk1.8.0_151集群环境：单机伪分布式环境。二.适用背景在学习Spark过程中，资料中介绍的提交Spark Job的方式主要有两种（我所知道...

2018-02-26 22:56:08 839

转载 mesos概述

转自http://blog.csdn.net/lsshlsw/article/details/47086869mesos解决的问题不同的分布式运算框架(spark,hadoop,ES,MPI,Cassandra,etc.)中的不同任务往往需要的资源（内存，CPU，网络IO等）不同，它们运行在同一个集群中，会相互干扰，为此，应该提供一种资源隔离机制避免任务之间由资源争用导致效

2018-02-26 17:17:31 451

转载 Spark集群三种部署模式的区别

Spark最主要资源管理方式按排名为Hadoop Yarn, Apache Standalone 和Mesos。在单机使用时，Spark还可以采用最基本的local模式。目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARN，其中，第一种类似于MapReduce 1.0所采用的模式，内部实现了容错性和资

2018-02-26 16:20:50 936

转载 Spark 基本架构及原理

Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势：Spark提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数

2018-02-26 16:19:47 262

转载 ZooKeeper 原理及其在 Hadoop 和 HBase 中的应用

ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是Google Chubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。简介ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是Google Chubby的开源实现。分布式应用程序可以基于Zo

2018-02-24 23:41:42 1402

转载 ZooKeeper Watch Java API浅析exists

转自http://blog.csdn.net/lipeng_bigdata/article/details/50985993 Watch是ZooKeeper中非常重要的一个机制，它可以监控ZooKeeper中节点的变化情况，告知客户端。下面，我们以代码为例来分析Watch在ZooKeeper中是如何实现的。ZooKeeper中一共由三种方法可以实现Watch，分别为getData

2018-02-24 16:42:51 1946 1

转载使用ZooKeeper实现Java跨JVM的分布式锁

转自http://blog.csdn.net/nimasike/article/details/51567653说明：本文是使用Curator框架进行讲解及演示，Curator是对Zookeeper客户端的一个封装，因为Zookeeper的客户端实现偏底层，如果想要实现锁或其他功能都需要自己封装，实现一些简单的功能还可以，如果想要实现锁这种高并发下的东西，不建议自己封装，除非你自信你写

2018-02-24 15:26:48 168

转载 Hadoop之MapReduce框架Partitioner分区

1 Partitioner分区1.1 Partitioner分区描述在进行MapReduce计算时，有时候需要把最终的输出数据分到不同的文件中，按照手机号码段划分的话，需要把同一手机号码段的数据放到一个文件中；按照省份划分的话，需要把同一省份的数据放到一个文件中；按照性别划分的话，需要把同一性别的数据放到一个文件中。我们知道最终的输出数据是来自于Reducer任务。那么，如果要得到多个文件，意味...

2018-02-23 16:53:26 297

转载 Hadoop之MapReduce

1 MapReduce编程1.1 MapReduce简介MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算,用于解决海量数据的计算问题。MapReduce分成了两个部分： 1、映射（Mapping）对集合里的每个目标应用同一个操作。即，如果你想把表单里每个单元格乘以二，那么把这个函数单独地应用在每个单元格上的操作就属于mapping。 2、化简（Reducing）遍...

2018-02-23 16:51:07 135

原创 Hadoop之 YARN 简介

简介Apache Hadoop 2.0 包含 YARN，它将资源管理和处理组件分开。基于 YARN 的架构不受 MapReduce 约束。本文将介绍 YARN，以及它相对于 Hadoop 中以前的分布式处理层的一些优势。本文将了解如何使用 YARN 的可伸缩性、效率和灵活性增强您的集群。Apache Hadoop 简介Apache Hadoop 是一个开源软件框架，可安装在一个商用机器集群中，使机...

2018-02-23 16:39:08 602

转载 Hadoop入门

转自：http://blog.csdn.net/yuan_xw/article/details/500031971 Hadoop入门教程Hadoop是Apache开源组织的一个分布式计算开源框架(http://hadoop.apache.org/)，用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。Hadoop框架中最核心设计就是：HDFS和MapReduce，...

2018-02-23 15:57:21 2071

转载 Spring事务管理的四种方式

本文配套示例代码下载地址（完整可运行，含sql文件，下载后请修改数据库配置）：http://download.csdn.net/detail/daijin888888/9567096一、事务的作用将若干的数据库操作作为一个整体控制,一起成功或一起失败。原子性：指事务是一个不可分割的工作单位，事务中的操作要么都发生，要么都不发生。一致性：指事务前后数据的完整性

2018-02-08 10:47:25 388

转载 RocketMQ 实战入门

RocketMQ 是什么Github 上关于 RocketMQ 的介绍：RcoketMQ 是一款低延迟、高可靠、可伸缩、易于使用的消息中间件。具有以下特性：支持发布/订阅（Pub/Sub）和点对点（P2P）消息模型在一个队列中可靠的先进先出（FIFO）和严格的顺序传递支持拉（pull）和推（push）两种消息模式单一队列百万消息的堆积能力支持多种消息协议，如 JMS、MQTT 等分

2018-02-07 21:29:15 748

转载 Big data messaging with Kafka

When the big data movement started it was mostly focused on batch processing. Distributed data storage and querying tools like MapReduce, Hive, and Pig were all designed to process data in batches rat

2018-02-07 14:20:02 198

转载深入理解分布式事务,高并发下分布式事务的解决方案

1、什么是分布式事务分布式事务就是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。以上是百度百科的解释，简单的说，就是一次大的操作由不同的小操作组成，这些小的操作分布在不同的服务器上，且属于不同的应用，分布式事务需要保证这些小操作要么全部成功，要么全部失败。本质上来说，分布式事务就是为了保证不同数据库的数据一致性。2、分布式事务的产

2018-02-06 13:01:19 146

转载 JAVA回调机制(CallBack)详解

开始之前，先想象一个场景：幼稚园的小朋友刚刚学习了10以内的加法。第1章. 故事的缘起幼师在黑板上写一个式子 “1 + 1 = ”，由小明同学来填空。由于已经学习了10以内的加法，小明同学可以完全靠自己来计算这个题目，模拟该过程的代码如下： 1 public class Student 2 { 3 private String name = null;

2018-02-05 22:43:04 126

转载 Spring技术内幕——深入解析Spring架构与设计原理 ----IOC实现原理

IOC的基础下面我们从IOC/AOP开始，它们是Spring平台实现的核心部分；虽然，我们一开始大多只是在这个层面上，做一些配置和外部特性的使用工作，但对这两个核心模块工作原理和运作机制的理解，对深入理解Spring平台，却是至关重要的；因为，它们同时也是Spring其他模块实现的基础。从Spring要做到的目标，也就是从简化Java EE开发的出发点来看，简单的来说，它是通过对

2018-02-04 21:28:32 930

原创详解Java解析XML的四种方法

XML现在已经成为一种通用的数据交换格式,它的平台无关性,语言无关性,系统无关性,给数据集成与交互带来了极大的方便。对于XML本身的语法知识与技术细节,需要阅读相关的技术文献,这里面包括的内容有DOM(Document Object Model),DTD(Document Type Definition),SAX(Simple API for XML),XSD(Xml Schema Def

2018-02-04 21:24:05 89

xusanyao的博客