2017年03月_javartisan

原创 Java类加载的一道笔试题目

class A { static { System.out.print("a");//只有在类加载时候会执行一次 } public A() { System.out.print("x"); }}class B extends A { static { System.out.print("b"); } public B() { System.out.prin

2017-03-28 15:19:37 2805

原创 Java常用类库以及简介，具体使用细节进行百度（爬虫爬取的数据）

来至于互联网Office文档的Java处理包 POI [推荐]Apache POI是一个开源的Java读写Excel、WORD等微软OLE2组件文档的项目。目前POI已经有了Ruby版本。结构： HSSF －提供读写Microsoft Excel XL...Java常用工具包 Jodd [推荐]Jodd 是一个开源的 Java 工具集，包含一些实用的工具类和小

2017-03-27 22:30:40 25725

原创 Hive关于内部表外部表以及分区表数据删除总结

1 内部表创建内部表语句：create table dog(name string,id int) rowformat delimited fields terminated by " "; a：本地加载数据拷贝本地数据到/user/hive/warehouse/的对应目录下，所谓的对应是指对应的数据库的对应表目录下。本地数据不会删除。如果重复执行加载同一个数据

2017-03-27 21:12:35 32254 4

原创 Hive安装的三种模式

Hive中metastore（元数据存储）的三种方式：内嵌Derby方式Local方式Remote方式[一]、内嵌Derby方式这个是Hive默认的启动模式，一般用于单元测试，这种存储方式有一个缺点：在同一时间只能有一个进程连接使用数据库。hive-site.xml 中jdbc URL、驱动、用户名、密码等的配置信息如下： javax.jdo

2017-03-27 14:53:21 1591

原创 Linux根据进程名字关闭Java进程

jps | grep RunJar ：是获取进程名字为RunJar的java进程，输出信息为：[daxin@node ~]$ 9564 RunJarjps | grep RunJar | awk '{print $1}' 是打印jps | grep RunJar 的输出的第二个参数，输出为：9564所以kill -9 `jps | grep RunJar |

2017-03-27 11:25:34 6505

转载 ConcurrentHashMap源码剖析（JDK1.7实现，JDK1.8更换了实现）

转至：http://www.importnew.com/21781.htmlConcurrentHashMap是Java5中新增加的一个线程安全的Map集合，可以用来替代HashTable。对于ConcurrentHashMap是如何提高其效率的，可能大多人只是知道它使用了多个锁代替HashTable中的单个锁，也就是锁分离技术（Lock Stripping）。实际上，Concurre

2017-03-25 21:35:14 1125

转载 JVM面试篇

1. 内存模型以及分区，需要详细到每个区放什么。Java内存模型：2. 堆里面的分区：Eden，survival from to，老年代，各自的特点。Java堆分为新生代和老年代，新生代又分为一块较大的Eden区和两块较小的Survivor区（From Survivor和To Survivor）。新生代：里面的对象朝生夕灭，每次垃圾收集时都会都有大量的对象死去，只有少量存活，Eden内存不够时，

2017-03-25 21:20:27 707

转载 BAT、网易面试经验收集

小白重学Java之二：之前实习的时候就想着写一篇面经，后来忙就给忘了，现在找完工作了，也是该静下心总结一下走过的路程了，我全盘托出，奉上这篇诚意之作，希望能给未来找工作的人一点指引和总结，也希望能使大家少走点弯路，如果能耐心读完，相信对你会找到你需要的东西。先说一下LZ的基本情况，LZ是四川某985学校通信专业的研究生（非计算机），大学阶段也就学了C语言，根本没想过最

2017-03-25 21:19:30 858

转载网易面试收集之一

一面：发散面自我介绍 tomcat集群类似Google Gson的还有什么包 tomcat加载基本流程，涉及到的参数 Spring、SpringMVC原理、流程 Mybatis原理 Hibernate了解吗，Mybatis和Hibernate的区别设计模式在spring中的使用 jvm参数、调优 JDK1.8有什么新特性什么情况下会触发Minor

2017-03-25 21:17:50 437

转载 Java中CAS详解-待学习的任务

转至：http://blog.csdn.net/ls5718/article/details/52563959待学习的任务在JDK 5之前Java语言是靠synchronized关键字保证同步的，这会导致有锁锁机制存在以下问题：（1）在多线程竞争下，加锁、释放锁会导致比较多的上下文切换和调度延时，引起性能问题。（2）一个线程持有锁会导致其它所有需

2017-03-25 21:10:13 538

原创 Flink入门之Standalone模式集群伪分布式搭建

1：首先配置Java相关环境以及Flink下载，解压就不说了。2：接下来看看Flink的conf的配置文件：这里面需要我们配置的有：slaves和flink-conf.yaml文件，这里面masters文件是用来配置HA的，只要我们不配置HA的话，就不需要配置masters文件（fl...

2017-03-22 21:49:47 4646 8

转载 Apache Flink：特性、概念、组件栈、架构及原理分析

转至：http://www.uml.org.cn/yunjisuan/201610264.aspApache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时（Flink Runtime），提供支持流处理和批处理两种类型应用的功能。现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型，因为他们它们所提供的SL

2017-03-22 17:07:53 742

原创 Apache Flink® 入门介绍以及编程模型

在业余时间经常来Flink官网查阅文档，零零散散的看不成系统，最近打算系统的做一下笔记。有官网主页我们便知道Flink是什么？Apache Flink® is an open-source stream processing framework for distributed, high-performing, always-available, and accurate data s

2017-03-22 17:04:03 1295

转载 JAVA设计模式十七--Composite(组合模式)

转至：http://blog.csdn.net/hfmbook/article/details/7693069组合模式　　组合模式(Composite Pattern)有时候又叫做部分-整体模式，它使我们树型结构的问题中，模糊了简单元素和复杂元素的概念，客户程序可以向处理简单元素一样来处理复杂元素,从而使得客户程序与复杂元素的内部结构解耦。组合模式让你可以优化处

2017-03-22 10:52:30 541

转载 Flink文章索引

基本常识Flink运行时之统一的数据交换对象算法架构Flink 原理与实现：内存管理Flink运行时之TaskManager执行Task环境部署Flink On Yarn Resource Isolation可靠保证【译】Apache Flink 容错机制P.K.比较Apache Flink和Apache Spark有什么异同

2017-03-22 09:08:46 625

原创二叉树非递归遍历复习代码实现

public class Node { public int value; public Node left; public Node right; public Node(int value) { super(); this.value = value; } public void setNull() { this.left = null; this.right

2017-03-21 19:31:44 421

转载 Java装饰者模式

转至：http://www.cnblogs.com/shamgod/archive/2015/06/13/4574165.htmlJava装饰者模式简介一、假设有一个Worker接口，它有一个doSomething方法，Plumber和Carpenter都实现了Worker接口，代码及关系如下： 1.Worker.javapackage decora

2017-03-21 18:37:24 358

原创 Java实现之快速排序

package com.daxin;import java.util.Arrays;/** * * 快速排序 * * @author Daxin * */public class QuickSort { /** * * @param array * 待排序数组 * @param start * 开始位置

2017-03-21 09:53:08 381

原创动态规划之背包问题

只要思虑捋清晰了，代码很容易实现，算法最重要的还是举一反三物品Bean：package com.daxin;public class Good { public int value; public int weight; /** * * @param value * @param weight */ public Good(int value, int w

2017-03-20 22:27:46 327

原创排序算法

import java.util.*;/** * 冒泡排序也是一种稳定的排序方式 * * * @author Daxin * */public class BubbleSort { public /*static*/ int[] bubbleSort(int[] A, int n) { for (int i = 0; i < n; i++) { for (int

2017-03-18 22:34:51 345

转载 Kafka译文

摘抄至36大数据公众账号地址：http://mp.weixin.qq.com/s/K3wzFuhOTQXUhjChsWTL5Q一, Kafka简介首先根据官网介绍，知道kafka是一个分布式流处理平台，一个可处理企业级发布/订阅的消息系统，并且具有高容错性和消费及时性等特点，那么它是怎么做到这一点的呢？接着往下看。1，主题和日志：主题(topic)和日志

2017-03-16 18:24:07 695

原创 Java多线程的join方法

join方法：例如我们有耗时操作需要在子线程完成的话，然后需要早主线程获取结果的话，我们可以如下实现：package com.daxin;class JoinThread extends Thread { private int count = 0; public int getCount() { return count; } public void setCo

2017-03-15 15:29:27 454

原创 Java守护线程学习

在Java中有两类线程：用户线程 (User Thread)、守护线程 (Daemon Thread)。所谓守护线程，是指在程序运行的时候在后台提供一种通用服务的线程，比如垃圾回收线程就是一个很称职的守护者，并且这种线程并不属于程序中不可或缺的部分。因此，当所有的非守护线程结束时，程序也就终止了，同时会杀死进程中的所有守护线程。反过来说，只要任何非守护线程还在运行，程序就不会终止。

2017-03-15 14:55:16 523

原创 Java多线程实现生产者消费者程序（Wait，Notify实现和Lock，Condition实现）

package com.daxin;import java.util.ArrayList;import java.util.Random;/** * * 生产者消费者程序 * * @author Daxin * */public class ProducerAndConsumer { private ArrayList values = new ArrayList

2017-03-15 14:10:00 953

转载 Kafka文件存储机制那些事

转自：http://tech.meituan.com/kafka-fs-design-theory.htmlKafka是什么Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于201

2017-03-15 09:36:11 409

原创 Java对HashMap中的Entry实体根据Key或者Value进行排序

前几天在写代码时候遇见对Map中元素根据Value排序的情景，就想抽空花点时间认真学习巩固总结一下。说道排序，我们无非还是得和比较说起，没有比较何有顺序！在Java中可以参与比较的两个接口莫非是：可以比较的，实现该接口的类本身就具备了比较的特征。public interface Comparable {//Comparable是java.lang包中类 public int c

2017-03-14 16:54:39 2564

原创 Java笔试中遇见奇怪问题积累篇

1：接口可以使用abstract方法修饰public abstract interface HelloWorld { boolean sayHello(); }2：我们在实现一个比较时候一般实现Comparator接口，然后编译器强制我们实现compare方法，但是我们强制要求我们实现equals方法，但是看Comparator源码你会发现有两个方法声明：public inte

2017-03-14 16:41:55 432

原创 Kafka Introduction 官方文档学习笔记

IntroductionApache Kafka™ is a distributed streaming platform. What exactly does that mean?We think of a streaming platform as having three key capabilities:It lets you publish and subscribe

2017-03-14 10:16:20 967

原创 Spark Streaming + Kafka Integration Guide 位置策略和消费策略译文

LocationStrategies 位置策略The new Kafka consumer API will pre-fetch messages into buffers. Therefore it is important for performance reasons that the Spark integration keep cached consumers on execut

2017-03-13 15:49:59 4250

原创 Spark整合kafka0.10.0新特性(二)

接着Spark整合kafka0.10.0新特性(一)开始import org.apache.kafka.clients.consumer.ConsumerRecordimport org.apache.kafka.common.serialization.StringDeserializerimport org.apache.spark.streaming.kafka010._

2017-03-12 17:02:27 6325

原创 Spark整合kafka0.10.0新特性(一)

子曰："温故而知新，可以为师矣。" 学完长时间不使用不复习便会逐渐忘记，故做一下笔记！Spark Streaming + Kafka Integration Guide (Kafka broker version 0.10.0 or higher)整合kafka0.10.0新特性（API都在实验中）。 The Spark Streaming integration fo

2017-03-12 11:21:13 3961

原创 Java之Collections工具类方法使用以及源码分析(四)

static void copy(List dest, List src) 将所有元素从一个列表复制到另一个列表。这个copy有点不便利使用：package com.daxin.collections;import java.util.ArrayList;import java.util.Arrays;import java.util.Collect

2017-03-11 22:06:09 481

原创 Java之Collections工具类方法使用以及源码分析(三)

返回指定 collection 的一个动态类型安全视图。试图插入一个错误类型的元素将导致立即抛出 ClassCastException。假设在生成动态类型安全视图之前，collection 不包含任何类型不正确的元素，并且所有对该 collection 的后续访问都通过该视图进行，则可以保证该 collection 不包含类型不正确的元素。 public static Coll

2017-03-11 21:24:12 961 1

原创 Java之Collections工具类方法使用以及源码分析(二)

Collections API继续深度学习：public static boolean addAll(Collection c,T... elements)将elements所有元素添加到集合c中，例如：import java.util.ArrayList;import java.util.Collection;import java.util.Collections;

2017-03-11 21:09:47 737

转载 RandomAccess 接口使用

地址：http://www.jianshu.com/p/89aaaee1077ejava.util.RandomAccess用法Random Access List(随机访问列表)如 ArrayList 要实现此接口，Sequence Access List(顺序访问列表)如 LinkedList 不要实现。因为两者的高效遍历算法不同通常做法，遍历前先判断：if

2017-03-11 18:16:03 462

原创通过ArrayList迭代器使用进行JDK源码分析学习迭代器

JDK源码在学习过程中也经常跟中查阅，但是时间久了并每天接触的东西比较多，导致健忘，最近打算强化一下对迭代器的认识首先看一个迭代器使用Demo，然后由此展开：package com.daxin;import java.util.ArrayList;import java.util.Iterator;public class Main { public static vo

2017-03-11 18:13:28 527

原创 Java之Collections工具类方法使用以及源码分析(一)

概念区分： java.util.Collection和java.util.Collections区别：1、 java.util.Collection 是一个集合接口（集合类的一个顶级接口）。它提供了对集合对象进行基本操作的通用接口方法。Collection接口在Java 类库中有很多具体的实现。Collection接口的意义是为各种具体的集合提供了最大化的统一操作方式，其直接继承接口有

2017-03-11 18:11:22 5385

原创 Linux修改用户最大线程数目和最大打开文件数目等

提交spark作业，报错：spark "dispatcher-event-loop-3" java.lang.OutOfMemoryError: unable to create new native thread起初以为是JVM内存资源分配不足的问题，经过排查之后没有解决问题。最后尝试修改linux最大线程数目解决问题。查看当前用户的最大线程数：ulimit -a输出

2017-03-10 13:55:02 5650

原创 Java多线程学习零散笔记

笔记笔记比较零散，后期整理成篇幅多线程中的同步其实是有两成含义的：1：互斥访问（原子性）2：变量的修改对其他线程可见（可见性）synchronized同步关键字就保证了上述两层含义，而volatile只保证了第二条：变量的修改对其他线程可见可见性：可见性是一种复杂的属性。在单个线程的程序中，如果想某个变量写入数值之后，在没有其他写操作的之前一直都

2017-03-10 11:29:55 373

转载 Doug Lea并发编程文章全部译文

尊重原作，转至：http://ifeve.com/doug-lea/Doug Lea’s Home Page如果IT的历史，是以人为主体串接起来的话，那么肯定少不了Doug Lea。这个鼻梁挂着眼镜，留着德王威廉二世的胡子，脸上永远挂着谦逊腼腆笑容，服务于纽约州立大学Oswego分校计算机科学系的老大爷。说他是这个世界上对Java影响力最大的个人，一点也不为过。

2017-03-10 09:34:35 2435

天津大学周伟状态压缩论文

java网络编程第四版源码

空空如也