colin_yjz-CSDN博客

原创 Scala基础介绍

Scala是一门主要以Java虚拟机(JVM)为目标运行环境，并将面向对象和函数式编程有机的结合在一起。因为Scala运行于JVM上，所以Scala可以访问任何Java类库，并且能够与Java框架进行互操作。Scala既有动态语言的灵活简洁(通过类型推到)，又有静态类型检查带来的安全保证和执行效率(Scala是静态类型语言)。Scala支持处理脚本化的临时任务，也能处理高并发场景下的分布式互联网大...

2018-09-29 18:07:39 1107 1

原创 log4j+slf4j日志管理系统

背景当我们在项目中想使用日志系统帮我们进行日志记录管理时可以使用log4j＋slf4j，这两个日志框架(slf4j其实并不是日志框架，而是一个日志facade)。log4j日志管理框架log4j是Apache下面的日志记录管理框架，它可以将日志输出到控制台、文件、数据库、邮件等等。这些只需要简单的配置一下配置文件即可完成。log4j有两种配置文件格式：log4j.xml和log4j.p

2016-02-15 17:48:34 1117

转载 Log4J使用详解

本文转自：http://blog.csdn.net/java_pengjin/article/details/6179095　　背景　　在应用程序中添加日志记录总的来说基于三个目的：监视代码中变量的变化情况，周期性的记录到文件中供其他应用进行统计分析工作；跟踪代码运行时轨迹，作为日后审计的依据；担当集成开发环境中的调试器的作用，向文件或控制台打印代码的调试信息。　　　　最普通的

2016-02-15 10:49:59 686

原创 Sql—substr()

Mysql中字符串切割函数substr使用格式：SUBSTR(string,start,length)：string：待分割的字符串start：切分起始位置，注意mysql中位置从1开始length：切分的长度str("helloworld",6,5)SELECT SUBSTR("helloworld",6,5);+-----------------------

2016-01-21 11:23:34 1456

原创 Sql—Date相关

这里总结一下mysql中日期常用函数：1、NOW()：返回但前日期和时间，格式yyyy-mm-dd hh:mm:ssSELECT NOW();+---------------------+| now() |+---------------------+| 2016-01-20 21:06:20 |+--------------------

2016-01-21 11:10:45 441

转载深入理解java注解

推荐阅读：http://www.cnblogs.com/peida/archive/2013/04/26/3038503.html注解系列文章

2016-01-14 10:16:34 396

原创 Web模版引擎－Mustache

Web 模板引擎是为了使用户界面与业务数据（内容）分离而产生的，它可以生成特定格式的文档，通常是标准的 HTML 文档。当然不同的开发语言有不同模板引擎，如 Javascript 下的 Hogan 、ASP 下的 aspTemplate、以及 PHP 下的 Smarty，这里主要介绍基于 Javascript 语言的模板引擎，目前流行有 Mustache、Hogan、doT.js、JsRend

2016-01-05 22:30:44 515

原创 jQuery中Ajax应用

Ajax简介Ajax(Asynchronous JavaScript And XML)，不是一种新技术，而是利用一系列交互应用相关的技术结合体。可以无刷更新页面。优点1、不需要插件支持2、优秀用户体验3、提高Web程序性能4、减轻服务器和贷款的负担不足1、浏览器对XMLHttpRequest对象的支持度不足2、破坏浏览器前进、后退按钮的正常使用3、对搜索引擎

2015-12-15 11:26:29 479

原创 fastjson应用

JSON介绍JSON如今已经作为跨语言、前后端数据交互的一种标准，当我使用java做后台的时候经常需要向前端传递json格式的数据，或者将前端传递过来的json数据进行解析。这时候就需要json的解析器了，www.json.org是json的标准，上面有许多json解析器。fastjson介绍fastjson是阿里开源的使用java实现的json解析器，其速度是目前java中最快的js

2015-12-11 18:20:33 742

转载 JSON for java入门

JSON介绍JSON(javascript Object Notation)类似于XML，是一种数据交换格式，比如JAVA产生一个数据想要给Javascript，除了可以使用XML，还可以使用JSON。JSON相比XML的优势是表达起来很简单；官网：http://www.json.org/JSON是AJAX中的X（就是可以取代XML）; -----

2015-12-09 10:16:39 400

原创 jQuery学习－选择器

CSS选择器首先了解一下CSS选择器，CSS即层叠样式表他将网页结构和表现样式完全分离出来，利用CSS选择器可以轻松在不改变HTML结构的前提下改变样式。他是利用获取目标元素后施加样式，有三种方式：行间样式表、内部样式表、外部样式表。选择器语法描述示例标签选择器 E{ 样式}以标签作为选择符td{font-size:14

2015-12-04 11:50:40 549

原创 jQuery学习－基本使用

jQuery是什么？jQuery是javascript Query的缩写，它是javascript库。jQuery库类型有两种，一种是未经压缩的开发版(jquery.js)大小大概200多KB，供测试、学习、开发使用；另一种经过压缩的生产版(jquery.min.js），经工具压缩过主要用于生产环境中。jQuery库中$是jQuery的一种简写形式如$(“#info”)与jQuery(

2015-12-03 16:05:29 438

原创 Git基础

gitmac 安装git$brew install git创建版本库repositorymkdir ～/repository_testcd ~/repository_test初始化repositorygit init 此时多出一个文件夹.git，里面存放版本库信息版本库添加文件git add file.txt可以同时添加多个文件，git add xxx,

2015-10-23 10:42:41 394

原创 Linux正则表达

正则表达式用于字符串处理一项“表达式”，以行为单位进行字符串的处理。按照严谨度，可以将正则表达式分为基础正则表达式与扩展正则表达式。基础正则表达式^word：待查找的字符串在行首 grep -n '^goo' file.txt 找到含有oo字符并且以g开头的行word$：待查找的字符串在行尾 grep -n \.$ file.txt 找到行尾以.

2015-09-14 19:26:58 481

原创 SQL详解

SQL基础SQL DML和DDL可以把Sql分为两部分：数据操作语言(DML)和数据定义语言(DDL)查询和更新构成了SQL的DMLSELECT、UPDATE、DELETE、INSERT INTOSQL的定义语言使我们能够创建和删除表格，也可以定义索引(键)，规定表链接CREATE DATABASEALTER DATABASECREATE TABLEALTER

2015-09-08 17:08:15 612 1

原创 Java设计模式——工厂模式

编程是一门技术，更是一门艺术简单工厂模式简介简单工厂模式在于工厂类中包含了必要逻辑判断，根据客户端的选择动态实例化相关的类，对于客户端来说去除了与具体产品相关的依赖。实现一个计算器使用简单工厂模式下，需要在工厂类中进行逻辑的判断，是加法返回Add实例，减法返回Sub实例。但是这时候我添加新的计算的时候，首先创建一个对应类继承运算父接口，然后需要修改工厂类中的逻辑。这时简单工厂模式的

2015-09-02 20:03:50 550

原创 JVM学习—内存方区域与内存溢出异常

Java与C++中存在的一堵高墙就是又内存动态分配和垃圾回收技术所围成的，墙外面的人想进去，墙里面的人想出去。Java将内存控制权交给了JVM，所以程序员无需为每个对象手动释放空间，所以不容易出现内存泄露与溢出。但是一旦出现内存泄露或溢出，如果不了解虚拟机怎样分配内存的，那么排查将非常困难。Java虚拟机将执行java程序过程中管理的内存划分成若干个区域，每个区域有各自的用途以及创建和销毁的时

2015-08-30 08:50:36 1033

转载 Java关键字final、static使用总结

本文转自：http://lavasoft.blog.51cto.com/62575/18771/Java关键字final、static使用总结一、final 根据程序上下文环境，Java关键字final有“这是无法改变的”或者“终态的”含义，它可以修饰非抽象类、非抽象类成员方法和变量。你可能出于两种理解而需要阻止改变：设计或效率。 fina

2015-08-29 22:04:37 459

原创 hive学习笔记-高级查询

聚合函数count计数count(*)：不全都是NULL，就加1；count(1):当只要有一列是NULL就不会加1；count(col)：当col列不为空就会加1sum求和sum(可转成数字的值)返回bigint，比如求和后加1,1必须转化成为bigint类型，sum(col)+cast(1 as bigint)avg求平均值avg(可转化成数字的值)返回double

2015-08-24 08:24:20 2772

原创 hive学习笔记-数据操作

hive数据操作hive命令行操作hive -d --define 定义一个key-value可以在命令行中使用hive -d database 指定使用的数据库hive -e “hql” 不需要进入cli执行hql语句，可以在脚本中使用hive -f fileName 将hql放到一个file文件中执行，sql语句来自file文件hive -h hos

2015-08-21 19:42:25 1445

原创 Linux下vi && vim

vi 下基本分为三种模式一般模式、命令行模式、编辑模式vi一个文件后进入一般模式在该模式下可以移动光标、复制、粘贴、删除文件数据一般模式下输入i,I,a,A,o,O,r,R进入编辑模式，可以编辑文本，按下[esc]退出编辑模式进入一般模式一般模式输入：、/、？进入命令行模式，在命令行模式可以查找、保存、替换、退出等操作三种模式一般模式下光标移动键盘的上下

2015-08-21 11:17:05 1370

原创数据结构—排序总结

排序根据是否使用外存分为内排序和外排序，内排序只使用内存进行数据存储，外排序由于数据量比较大需要借助外存。排序的稳定性：排序的稳定性是指排序之后相同的数据元素相对位置不变则为稳定排序，否则为不稳定排序。插入排序直接插入排序思想：将一个记录插入到已经排序的有序表中，从而得到一个新的、个数加1的有序表。这个过程在查找位置过程中进行记录移动，而不用显示的交换元素public

2015-08-18 16:47:37 642

原创 hive学习笔记-表操作

Hive数据类型基本数据类型tinyint,smallint,int,biging,float,double,decimal,char,varchar,string,binary,boolean,timestamp,date,引用数据类型Array：相同数据类型组合的数组,使用array[1]访问MAP：Key-value键值对，通过键进行访问，使用map['key']访问

2015-08-17 19:12:54 773

原创 java之IO处理

File文件基础文件与目录抽象路径名称的表示，其构造方法有四个File(File parent,String child)：从抽象父目录下创建一个File实例。File(String parent,String child)：从父目录下创建一个File实例。File(String pathname)：从指定路径下创建一个File实例。File(URI path)：从URI转换成

2015-07-17 11:15:38 6209 6

原创 java之多线程

什么叫做进程？进程是操作系统中的一个任务，他是包含了某些资源的内存区域。一个进程可以包含了一个或多个执行单元称作线程，这些线程可以被看做是同时执行的(实际是轮流占用CPU资源，快速切换，达到看似同时执行)。每个进程还有一个私有虚拟的地址空间，该空间只能被包含的线程所访问。当操作系统创建一个进程之后，该进程会自动申请一个名为主线程的线程。什么叫做线程？一个线程是进程的一个顺序执行流，同类

2015-07-15 19:49:45 788

原创 java之ArrayList源码解析

public class ArrayList extends AbstractList implements List, RandomAccess, Cloneable, java.io.Serializable{ private static final long serialVersionUID = 8683452581122892189L; //默认列表长度

2015-07-14 11:21:05 835

原创 Java中克隆机制

首先了解一下什么叫做拷贝？Employ e1 = new Employ();Employ e2 = e1;这就是拷贝，原始变量与拷贝变量指向相同的引用对象，如果改变其中一个对象的状态，其他的对象变量的对象状态也会随之改变。什么叫做克隆？Employ e1 = new Employ();Employ e2 = e1.clone();克隆之后的变量，各自指向自己的对象，这个

2015-07-12 09:28:56 1166 2

原创数据结构—线性表(Java、C双语言实现)

线性表由零个或多个组成的有限序列。首先他需要是序列，当元素有多个的时候，第一元素无前驱，最后一个元素无后继，其余每个元素都有唯一的前驱和后继。线性表中每个数据元素可以由若干个数据项组成。线性表的顺序存储用一段连续的存储单元，依次存储线性表中的数据元素。线性表的链式存储用一组任意的存储单元存储线性表的数据元素，这写存储单元可以是连续的也可以是不连续的，每个节点除了存储数据

2015-07-05 16:55:16 721

原创 java中反射机制

什么是Java反射(Reflection)?程序在运行时(不是编译时)能够自我检查，并且能够对内部成员进行操作。例如它允许一个java类获取他所有的变量和方法。利用java中反射机制可以通过Reflection API获取该类的内部信息，如superclass、interfaces、modifiers(修饰public、private等)、以及field和methods，并且运行中能够修改fi

2015-07-05 08:57:53 1017

原创 java中顶级父类Object

Object作为java中所有类的父类，是因为在其中存放了一些使用频率非常高的方法，为了避免重复编写，所以写了一个顶级父类。public class Object { private static native void registerNatives(); static { registerNatives(); } public fina

2015-07-04 09:35:40 3761 1

原创数据结构—基础知识

首先了解一下数据结构中的概念(只为了对其有了感性认识)数据：描述客观事物的符号，是计算机中可以操作的对象，能够被计算机识别，并输入给计算机处理的集合符号。数据不仅仅包括数值，还包括视频、音频、图片等等数据元素：是组成数据的、具有一定意义的基本单位，在计算机中通常作为一个整体进行处理，也称为记录。数据项：一个数据元素由若干个个数据项组成。可以将数据元素理解我数据库中的一条记录

2015-07-03 19:00:59 770

原创 Java集合汇总(一)

java中，提供的集合关系：首先感觉这张图，开头有点问题，如果Collection发出的虚线箭头是实现关系那么，不应该是Iterator，而应该是Iterable。Collection类Collection是集合类最基本的接口，List、Set都是实现Collection接口。Collection中方法： public interface Collection ex

2015-06-28 19:19:53 890

原创 Java中Iterator与Iterable的区别

Iterable的定义：java.lang包/** * Implementing this interface allows an object to be the target of * the "foreach" statement. * * @param the type of elements returned by the iterator * * @since

2015-06-28 18:59:48 4815 1

原创 MapReduce计数器

计数器输出运行完毕作业之后的计数器输出内置计数器hadoop为每个作业提供了若干内置计数器，用以描述各项指标。文件系统计数器所属类：org.apache.hadoop.mapreduce.FileSystemCounterBYTES_READ：文件系统读取的字节数BYTES_WRITTEN：文件系统写的字节数FileInputFormat任务计数器

2015-06-28 10:31:53 3721 2

原创泛型程序设计

泛型介绍泛型程序设计(Generic programming)：可以被很多不同的类型的对象所重用。比那些直接使用Object变量，然后强制类型的转换的代码具有更好的安全性和可读性。使用类型参数(type parameters)可以将需要使用的类型，提前声明。如：ArrayList list = new ArrayList();使用类型参数可以告知这个类适用于什么类型，当调用对应

2015-06-27 19:18:07 2143

原创 MapReduce的类型与格式

MapReduce类型map函数和reduce函数常规格式：map：(k1,v1)—>list(k2,v2)reduce：(k2,list(v2))—>list(k3,v3)如果含有combiner函数map：(k1,v1)—>list(k2,v2)combiner：(k2,list(v2))—>list(k2,v2)reduce：(k2,list(v2))—>list

2015-06-27 09:04:14 2067

原创 shuffle和排序

shuffle属于不断被优化和改进的代码库，是MapReduce的“心脏”。shuffle可以将其定义为：map的输出到reduce的输入(在一些语境中，代表reduce接受map输出的这部分)map端我们知道map产生的输出是临时写到本地磁盘的，但是他并不是简单的写到本地磁盘中，这个过程更为复杂，如图：他会首先使用缓冲的方式写入到内存中，并且处于效率的考虑进行预排序。每个

2015-06-25 20:29:19 1946

原创 MapReduce中作业调度器

Hadoop中作业调度器有三种，分别是先进先出调度器(FIFO)、公平调度器(Fair Scheduler)、容量调度器(Capacity Scheduler)，默认是FIFO调度器。先进先出调度器(FIFO)按照作业提交的顺序运行作业，每个作业都会使用整个集群，因此作业必须等待直到轮到自己运行。这时，如果共享集群资源就有可能为多用户提供大量的资源，但是又如何分配资源以达到最后情况呢。这时

2015-06-25 19:13:03 2817

原创 MapReduce1和YARN(MapReduce2)运行机制

在hadoop1.x中，通过设置mapred.job.tracker来决定执行mapreduce机制，如果设置为local，则使用本地的作业运行器，如果设置为主机和端口号，则这个地址被解析为一个jobtracker地址，运行器则将作业提交给jobtracker。在hadoop2.x中，mapreduce运行在YARN上，通过mapreduce.framework.name属性设置，local表

2015-06-25 18:37:09 3941 2

原创 Linux系统管理—进程管理

Linux中每个进程都有一个独立的进程号PID，系统通过PID操控进程。其中原始进程是init他的PID总是1。Linux进程的五种状态：(1)运行：正在运行或在就绪队列中等待(2)中断：休眠中，正在等待某个事件发生或者等待某个信号(3)不可中断：收到信号不唤醒和不可运行，一直到有中断发生(4)僵死：进程已经终止，但是PID还在，直到父进程调用wait4()将其释放(5)停

2015-06-24 08:34:08 472

storm源码分析

空空如也