limengliang4007的博客

转载 Hadoop Definitive Guide读书笔记

一.读后感        最近读完了《Hadoop.The.Definitive.Guide.4th.Edition.2015.3》英文第4版，个人感觉这本书是hadoop目前最权威、最全面、最靠谱的书籍，强烈建议大家好好研读。不建议大家去读hadoop权威指南第1版、第2版和第3版，第3版我也看完了，但是里面的知识已经与当前Apache hadoop 2.X严重脱节，比如第3版还在大篇幅...

原创 待整理的Hadoop Hive的文档

查看Hadoop任务日志:https://blog.csdn.net/qq_36291682/article/details/79438369UDF：https://blog.csdn.net/u010376788/article/details/50532166UDF写入日志：https://blog.csdn.net/conggova/article/details/77606238...

转载 创建Hive UDF

关于hive的udf介绍，就不多啰嗦了。网上的教程一抓一大把，也可以上apache的官网去查阅相关资料，我就省了翻译的时间了。重点给大家带来干货，手把手教会你怎样开发一个udf函数，已经如何部署到服务器上的hive环境中运行。用最简单的话来说，就是教大家怎么让自己开发的udf跑起来。。。项目需求做数据挖掘项目中，常见的需求之一就是分析节假日订单跟平时订单的区别。于是，我们需要统计节假日订单...

转载 执行start-all.sh， datanode没有起来

1. 查看进程，从以下可以看出DataNode并没有启过来[root@S1PA124 current]# jps23614 Jps9773 SecondaryNameNode9440 NameNode4480 NetworkServerControl10080 NodeManager14183 Bootstrap9948 ResourceManager2、查看datanod...

原创 各种软件的按装

这里有个文章写的挺好：https://www.yiibai.com/hive/hive_installation.html1. JAVA10安装包下载地址：http://download.oracle.com/otn-pub/java/jdk/10.0.2+13/19aef61b38124481863b1413dce1855f/jdk-10.0.2_linux-x64_bin.tar.gz...

原创 事务隔离级别

1. 脏读、幻读、不可重复读脏读：读到了还没有提交的数据。A修改数据x，但没有提交，B却能读到x的最新zhi值。而如果此时Ahui回滚了这个x修改，B读到的值就是一个错误。幻读：针对插入和删除的记录。B读表时发现有10条记录，准备去用这10条记录做一些事情，而此时A插入了一条记录（并提交），B在做一些事情的过程中再去读表，读到了11条记录，B会以为多出来的一条记录是幻读。不可重复读：针...

原创 Mybatis执行SQL的完整过程及四大组件插件的执行原理

一切的执行从MapperProxy开始，MapperProxy是MapperProxyFactory使用SqlSession创建出来的。所以MapperProxy中包含SqlSession。执行过程如下可以看到MapperProxy调用invoke方法，进而调用MapperMethod的execute()，这些MapperMethod就是和你要执行的命令相关，比如执行select语句，则会通过Sq...

原创 Mybatis的Mapper底层原理

总的来说是通过动态代理。动态代理的功能就是通过拦截器方法回调（invokeHandler），达到增强目标对象的目的public class HelloWordProxy extends InvokeHandler{ // 真正的本体 private Object target; public Object bind(Object target) { this.target= ...

原创 MyBatis的基本组成

1. SqlSession和SqlSessionFactory的接口定义    总的来说SqlSession接口定义了一系列CRUD的方法，Mybatis框架在最底层就是用这些接口方法对数据库进行操作。SqlSession的实现类拥有四大组件：Executor, StatementHandler, ParameterHandler, ResultHandler。public interface S...

原创 DTO DO

 DTO(data transfer object):数据传输对象，以前被称为值对象(VO,value object)，作用仅在于在应用程序的各个子系统间传输数据，在表现层展示。与POJO对应一个数据库实体不同，DTO并不对应一个实体，可能仅存储实体的部分属性或加入符合传输需求的其他的属性。     DAO(data access object):数据访问对象。提供访问数据库的抽象接口，或者持久化...

转载 Redis实现分布式锁

转载自：http://blog.jobbole.com/99751/在分布式场景下，有很多种情况都需要实现最终一致性。在设计远程上下文的领域事件的时候，为了保证最终一致性，在通过领域事件进行通讯的方式中，可以共享存储（领域模型和消息的持久化数据源），或者做全局XA事务（两阶段提交，数据源可分开），也可以借助消息中间件（消费者处理需要能幂等）。通过Observer模式来发布领域事件可以提供很好的高并...

转载 Ubuntu手动安装mysql5.7.10

这篇文章主要为大家详细介绍了Ubuntu手动安装mysql5.7.10的详细过程，具有一定的参考价值，感兴趣的小伙伴们可以参考一下本教程为大家分享了Ubuntu手动安装mysql5.7.10的过程，供大家参考，具体内容如下1、下载安装包MySQL官网下载地址选择系统版本Ubuntu14.04后缀名为deb_bundle.tar的进行下载Ubuntu Linux 14.04 (x86, 64-bit...

原创 Spring Framework笔记

https://www.cnblogs.com/s648667069/p/6513335.htmlhttps://blog.csdn.net/JIESA/article/details/78094677待整理。。。

转载 CommandLineRunner或者ApplicationRunner接口

前言CommandLineRunner、ApplicationRunner 接口是在容器启动成功后的最后一步回调（类似开机自启动）。CommandLineRunner接口CommandLineRunner官方doc：Interface used to indicate that a bean should run when it is contained within a SpringAppli...

转载 storm中worker、executor、task之间的关系

理清一下worker、executor、task、supervisor、nimbus、zk这几个之间的关系先来看一张图 （图片来自：http://www.cnblogs.com/foreach-break/p/storm_worker_executor_spout_bolt_simbus_supervisor_mk-assignments.html）　　首先从微观上来看：worker即进程，一个w...

转载 Ignite知识点

        1、一个Ignite节点可以从命令行启动，可以用默认的配置也可以传递一个配置文件。可以启动很多很多的节点然后他们会自动地发现对方。　　2、Ignite只需要一个ignite-core强依赖，通常你还需要添加ignite-spring，来做基于spring的XML配置，还有ignite-indexing,来做SQL查询。 　　3、由于Ignite的零部署特性，当从IDE运行上面的程序...

转载 Spring Boot项目的打包和部署

补充一点：搜索了下别人Spring Boot部署方案，大多都说：①packaging设为war；②要添加Spring Boot的tomcat依赖；③修改output路径，但是使用STS新建Spring Boot项目的话，前面选择正确，POM里面会自动添加①和②，同时不需要③。所以，建议使用STS创建Spring Boot项目！ 在群里看到有人问“为什么SpringBoot项目打的war包，部署到t...

转载 Redis Info命令

Redis Info 命令以一种易于理解和阅读的格式，返回关于 Redis 服务器的各种信息和统计数值。通过给定可选的参数 section ，可以让命令只返回某一部分的信息：server : 一般 Redis 服务器信息，包含以下域：redis_version : Redis 服务器版本redis_git_sha1 : Git SHA1redis_git_dirty : Git dirty fla...

转载 Flink 概述

1.概述　　在如今数据爆炸的时代，企业的数据量与日俱增，大数据产品层出不穷。今天给大家分享一款产品—— Apache Flink，目前，已是 Apache 顶级项目之一。那么，接下来，笔者为大家介绍Flink 的相关内容。2.内容2.1 What's Flink　　Apache Flink 是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时（Flink Run...

原创 Redis原理与Redis集群创建

1. 实验用的集群的结构                                              应用服务器                                                      |                                         Redis集群管理器             |        

原创 Git

http://blog.jobbole.com/102957/ 一个不错的文章1. Add a folder into git systemcd /targetFoldergit init2. 连接到远程仓库git remote add origin https://git.com/....my.git (通常远端仓库被称为origin)3. 克

转载 分布式总览

虽然本人在前面也写过好几篇分布式系统相关的文章，主要包括CAP理论、分布式存储与分布式事务，但对于分布式系统，并没有一个跟清晰的概念。分布式系统涉及到很多的技术、理论与协议，很多人也说，分布式系统是“入门容易，深入难”，我之前的学习也只算是管中窥豹，只见得其中一斑。因此，一致希望能对分布式系统有一个更全面的认识，至少能够把分布式系统中的各个技术、理论串起来，了解他们在分布式系统分别解决什么问题，有

转载 Web服务器和应用服务器

WEB服务器、应用程序服务器、HTTP服务器有何区别？IIS、Apache、Tomcat、Weblogic、WebSphere都各属于哪种服务器，这些问题困惑了很久，今天终于梳理清楚了：    Web服务器的基本功能就是提供Web信息浏览服务。它只需支持HTTP协议、HTML文档格式及URL。与客户端的网络浏览器配合。因为Web服务器主要支持的协议就是HTTP，所以通常情况下HTTP服

转载 多台服务器共享session问题

在现在的大型网站中，如何实现多台服务器中的session数据共享呢    当使用多台服务器架设成集群之后，我们通过负载均衡的方式，同一个用户（或者ip）访问时被分配到不同的服务器上，假设在A服务器登录，如果在B服务器拿不到用户的登录信息session。这时访问到B服务器时就出现未登录情况。    所以如何对于这种情况做到共享session至关重要。   以下给出

转载 Spring AOP在鉴权和日志中的应用

HTTP 接口鉴权首先让我们来想象一下如下场景: 我们需要提供的 HTTP RESTful 服务, 这个服务会提供一些比较敏感的信息, 因此对于某些接口的调用会进行调用方权限的校验, 而某些不太敏感的接口则不设置权限, 或所需要的权限比较低(例如某些监控接口, 服务状态接口等).实现这样的需求的方法有很多, 例如我们可以在每个 HTTP 接口方法中对服务请求的调用方进行权限的检查, 当

转载 经典的基于ProxyBeanFactory的Spring AOP

我们知道，要使用JDK的动态代理，目标类需要实现至少一个接口，下面定义了一个接口：[java] view plain copy print?package com.zzj.aop;    public interface Animal {      public void eat();  }  目标类：[jav

转载 Spring Bean生命周期

Spring作为当前Java最流行、最强大的轻量级框架，受到了程序员的热烈欢迎。准确的了解Spring Bean的生命周期是非常必要的。我们通常使用ApplicationContext作为Spring容器。这里，我们讲的也是 ApplicationContext中Bean的生命周期。而实际上BeanFactory也是差不多的，只不过处理器需要手动注册。 转载请注明地址 http://www

原创 Resource v. Autowired

Spring不但支持自己定义的@Autowired注解，还支持由JSR-250规范定义的几个注解，如：@Resource、 @PostConstruct及@PreDestroy。1. @Autowired    @Autowired是Spring 提供的，需导入    Package:org.springframework.beans.factory.annotation.Autowi

原创 ReentrantReadWriteLock

读写锁：分为读锁和写锁，多个读锁不互斥，读锁与写锁互斥，这是由jvm自己控制的，你只要上好相应的锁即可。如果你的代码只读数据，可以很多人同时读，但不能同时写，那就上读锁；如果你的代码修改数据，只能有一个人在写，且不能同时读取，那就上写锁。总之，读的时候上读锁，写的时候上写锁！　　ReentrantReadWriteLock会使用两把锁来解决问题，一个读锁，一个写锁线程进入读锁的前提条件

原创 WeakHashMap 原理

WeakHashMap 继承于AbstractMap，实现了Map接口。    和HashMap一样，WeakHashMap 也是一个散列表，它存储的内容也是键值对(key-value)映射，而且键和值都可以是null。   不过WeakHashMap的键是“弱键”。在 WeakHashMap 中，当某个键不再正常使用时，会被从WeakHashMap中被自动移除。更精确地说，对于一个给定的

转载 Hotspot虚拟机- 垃圾收集算法和垃圾收集器

引言当提到Java虚拟机的时候，我们首先应该区分2件事情。一个是抽象的Java虚拟机规范，另一个是根据这个规范具体的实现。市面上有很多根据这个规范实现的虚拟机，比如jRockit、IBM J9、Hotspot等。那么在这篇文章中，我只介绍关于Hotspot虚拟机的行为，以及它里面提供的垃圾收集器。什么是垃圾收集？相信每一个现实中生活的人都知道什么是垃圾收集。顾名思义，就是找到没

原创 Hadoop 新旧API对比

新增的Java MapReduce APIHadoop的版本0.20.0包含有一个新的 Java MapReduce API，有时也称为"上下文对象"(context object)，旨在使API在今后更容易扩展。新的API 在类型上不兼容先前的API，所以，需要重写以前的应用程序才能使新的API发挥作用。新增的API 和旧的API 之间，有下面几个明显的区别。

转载 Hadoop Overview

开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技术解决了什么问题时候，我后续的学习就能逐步的加快，而学习hdfs时候我就发现，要理解hadoop框架

转载 多个mapreduce工作相互依赖

处理复杂的要求的时候，有时一个mapreduce程序时完成不了的，往往需要多个mapreduce程序，这个时候就要牵扯到各个任务之间的依赖关系，所谓依赖就是一个M/R Job 的处理结果是另外的M/R 的输入，以此类推，完成几个mapreduce程序，得到最后的结果，下面将直接贴出一个例子的全部代码，因为为了找一个完整的例子实在是太难了，今天找了半天才把这个问题解决。         

转载 Hadoop JobTraker TaskTracker vs. yarn

问题导读：1、什么是yarn？2、Yarn 和MapReduce相比，它有什么特殊作用 ？背景Yarn是一个分布式的资源管理系统，用以提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改，可是随着

原创 Java Collection

原创 SpringMVC 中使用Service Bean

1. 定义service 接口public interface ArticleService { void addArticle(Article article); void removeArticle(Article article); List getArticles(String category_name, int startIndex, int coun

原创 SpringMVC Exception Handler

1. Customize Exceptionpublic class ArticleNotFoundException extends RuntimeException { public ArticleNotFoundException(String message) { super(message); }}2. Add exception handle

转载 SpringMVC的REST风格开发

1. 理解MVCMVC是一种经典的设计模式，全名为Model-View-Controller，即模型-视图-控制器。其中，模型是用于封装数据的载体，例如，在Java中一般通过一个简单的POJO（Plain Ordinary Java Object）来表示，其本质是一个普通的Java Bean，包含一系列的成员变量及其getter/setter方法。对于视图而言，它更加偏重于展现，也

原创 Javascript post JSON

主要使用XMLHttpRequest类使用XMLHttpRequest类有个好处是可以设置header// Javascript codefunction saveAndShowArticle() { var xhr = new XMLHttpRequest(); xhr.open("POST", "/rest/article", true); xhr.setReq