- 博客(128)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 mysql Date类型与String类型转换
1.Date ——> String 使用的函数：DATE_FORMAT(date,format) date:需要转换的日期 format:格式化的样式 format样式整理： 年： %Y 显示四位 ： 2015 %y 只显示后两位 ：15 月： %M 月份的英文显示：O
2017-10-30 14:31:18
52320
原创 mysql字符集
MySQL字符集多种多样，下面为您列举了其中三种最常见的MySQL字符集查看方法，该方法供您参考，希望对您学习MySQL数据库能有所启迪。一、查看MySQL数据库服务器和数据库MySQL字符集。mysql> show variables like '%char%'; +--------------------------+-------------------------------
2017-10-30 14:26:57
762
原创 mysql原理介绍
1.MySQL基础 MySQL是一个开放源代码的关系数据库管理系统。原开发者为瑞典的MySQL AB公司，最早是在2001年MySQL3.23进入到管理员的视野并在之后获得广泛的应用。 2008年MySQL公司被Sun公司收购并发布了首个收购之后的版本MySQL5.1，该版本引入分区、基于行复制以及plugin API。移除了原有的BerkeyDB引擎，同时，Or
2017-10-27 16:09:49
1362
原创 Java内存管理
运行时数据区域 Java虚拟机在执行Java程序的过程中会把它所管理的内存划分为若干个不同的数据区域。这些区域都有各自的用途，以及创建和销毁的时间，有的区域随着虚拟机进程的启动而存在，有些区域则是依赖用户线程的启动和结束而建立和销毁。根据《Java虚拟机规范（第2版）》的规定，Java虚拟机所管理的内存将会包括以下几个运行时数据区域，如下图所示：
2017-10-09 15:27:25
851
原创 MapReduce架构
1.MapReduce架构(MRv1)MapReduce 也采用了 Master/Slave（M/S）架构。它主要由以下几个组件组成 ：Client、JobTracker、 TaskTracker 和 Task。下面分别对 这几个组件进行介绍。 （1）Client 用户编写的MapReduce程序通过Client提交到JobTracker端 ；同时，用户可通过Clien
2017-09-30 14:09:47
1973
原创 Hive简介
1.Hive简介2.Hive Sql3.Hive的三种Join方式4.Hive事务使用建议5.Hive 窗口函数、分析函数6.hive与hbase的区别与联系1.Hive简介Hive是一种建立在Hadoop文件系统上的数据仓库架构，并对存储在HDFS中的数据进行分析和管理。提供以下功能：（1）它提供了一系列的工具，可用来对数据进行提取/转化/加载（E
2017-09-30 14:07:40
950
原创 Storm原理
1.Storm框架1、一个Storm集群的基本组件2、Tuple(元组)3、Streams （流）4、Spouts5、Bolts6、Topologies（拓扑）7、Stream groupings 流分组2.守护进程Storm ClusterStorm是基于数据流的实时处理系统，提供了大吞吐量的实时计算能力。通过数据入口获取每条到
2017-09-28 09:38:13
931
原创 排序算法
排序大的分类可以分为两种：内排序和外排序。在排序过程中，全部记录存放在内存，则称为内排序，如果排序过程中需要使用外存，则称为外排序。下面讲的排序都是属于内排序。 内排序有可以分为以下几类： (1)、插入排序：直接插入排序、二分法插入排序、希尔排序。 (2)、选择排序：简单选择排序、堆排序。 (3)、交换排序：冒泡排序、快速排序。 (4)、归并排序 (5)、基数排
2017-09-27 18:34:34
682
原创 Hbase建表操作--shell语句
一. 介绍 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。 HBase以表的形式存储数据。表有...
2017-03-09 15:07:58
56117
1
原创 Map总结
学完了Map的全部内容，我们再回头开开Map的框架图。 第1部分 Map概括Map 是“键值对”映射的抽象接口。AbstractMap 实现了Map中的绝大部分函数接口。它减少了“Map的实现类”的重复编码。SortedMap 有序的“键值对”映射接口。NavigableMap 是继承于SortedMap的，支持导航函数的接口。HashMap,
2017-03-07 10:11:02
711
原创 非结构化数据的存储与查询
当今信息化时代充斥着大量的数据。海量数据存储是一个必然的趋势。然而数据如何的存储和查询，尤其是当今非结构化数据的快速增长，对其数据的存储，处理，查询。使得如今的 关系数据库存储带来了巨大的挑战。分布存储技巧是云计算的根基,主要研究如何存储、组织和管理数据中心上的大规模海量数据.由于面临的数据规模和用户规模更加庞大,在可扩展性、容错性以及成本控制方面面临着更加严峻的挑战[1]。
2017-03-06 14:16:22
19755
原创 Sqluldr2
简介：Sqluldr2：专业用于大数据量导出工具之一，效率比普通导出快70%。 ( Sqlldr：专业用于导入的工具之一，请注意两个工具的区别。),在使用时,最好用磁盘写入速度快，网络好，网速快的做。 内部实现：[sql] view plain copy #include #include "sqluldr2.
2017-03-01 17:34:19
9706
原创 收集oracle统计信息
收集oracle统计信息统计信息主要是描述数据库中表，索引的大小，规模，数据分布状况等的一类信息。比如，表的行数，块数，平均每行的大小，索引的leaf blocks，索引字段的行数，不同值的大小等，都属于统计信息。CBO正是根据这些统计信息数据，计算出不同访问路径下，不同join 方式下，各种计划的成本，最后选择出成本最小的计划。统计信息是存放在数据字段表中的，如tab$。一般我们
2017-03-01 17:04:52
863
原创 数据库（第一范式，第二范式，第三范式）
范式：英文名称是 Normal Form，它是英国人 E.F.Codd（关系数据库的老祖宗）在上个世纪70年代提出关系数据库模型后总结出来的，范式是关系数据库理论的基础，也是我们在设计数据库结构过程中所要遵循的规则和指导方法。目前有迹可寻的共有8种范式，依次是：1NF，2NF，3NF，BCNF，4NF，5NF，DKNF，6NF。通常所用到的只是前三个范式，即：第一范式（1NF），第二范式（2NF）
2017-02-14 20:15:21
991
原创 判断多线程是否全部执行完毕
在使用多线程的时候有时候我们会使用 java.util.concurrent.Executors的线程池，当多个线程异步执行的时候，我们往往不好判断是否线程池中所有的子线程都已经执行完毕，但有时候这种判断却很有用，例如我有个方法的功能是往一个文件异步地写入内容，我需要在所有的子线程写入完毕后在文件末尾写“---END---”及关闭文件流等，这个时候我就需要某个标志位可以告诉我是否线程池中所有的子线
2017-02-13 20:30:59
5465
原创 多线程同步
线程的同步是保证多线程安全访问竞争资源的一种手段。线程的同步是Java多线程编程的难点，往往开发者搞不清楚什么是竞争资源、什么时候需要考虑同步，怎么同步等等问题，当然，这些问题没有很明确的答案，但有些原则问题需要考虑，是否有竞争资源被同时改动的问题？ 对于同步，在具体的Java代码中需要完成一下两个操作：把竞争访问的资源标识为private；同步哪些修改变量
2017-02-13 19:50:38
646
原创 java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray
在eclipse上运行hadoop报错:Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjav，这个问题折腾了我很久，后来找到方法解决。描述一下:电脑是win7的64位
2017-02-10 15:09:11
4101
1
原创 数据库与数据仓库的区别
简而言之，数据库是面向事务的设计，数据仓库是面向主题设计的。 数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。 数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。 数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个基本的元素是维表和事实表。维是看问题的角度，比如时间，部门，维表放的就是这些东西的定义，事实
2017-02-06 10:32:53
1232
原创 UML类图详解
传统应用程序设计中所说的依赖一般指“类之间的关系”，那先让我们复习一下类之间的关系： 泛化：表示类与类之间的继承关系、接口与接口之间的继承关系； 实现：表示类对接口的实现； 依赖：当类与类之间有使用关系时就属于依赖关系，不同于关联关系，依赖不具有“拥有关系”，而是一种“相识关系”，只在某个特定地方（比如某个方法体内）才有关系。 关联：
2017-01-24 09:51:43
676
转载 tomcat配置文件server.xml详解
元素名属性解释serverport指定一个端口，这个端口负责监听关闭tomcat 的请求shutdown指定向端口发送的命令字符串servicename指定service 的名字Connector ( 表示客户端和service之间的连
2017-01-22 14:26:55
849
原创 oracle查询结果指定排序规则
sql根据帐号进行交易查询，按照寻常的升降排序无法满足要求，想要结果按指定顺序展示，可以使用order by instr 语句解决以上的需求。原sql为：select t.TermNo, m.MercNam, t.TrmModNo from ku.biao t left join ku.biao2 m on t.mercid = m.mercid whe
2017-01-16 11:05:16
6486
转载 SSM框架——整合（Spring+SpringMVC+MyBatis）
使用SSM（Spring、SpringMVC和Mybatis）已经有三个多月了，项目在技术上已经没有什么难点了，基于现有的技术就可以实现想要的功能，当然肯定有很多可以改进的地方。之前没有记录SSM整合的过程，这次刚刚好基于自己的一个小项目重新搭建了一次，而且比项目搭建的要更好一些。以前解决问题的过程和方法并没有及时记录，以后在自己的小项目中遇到我再整理分享一下。这次，先说说三大框架整合过程。个人认
2017-01-07 09:53:25
953
原创 Linux常用命令
玩过Linux的人都会知道，Linux中的命令的确是非常多，但是玩过Linux的人也从来不会因为Linux的命令如此之多而烦恼，因为我们只需要掌握我们最常用的命令就可以了。当然你也可以在使用时去找一下man，他会帮你解决不少的问题。然而每个人玩Linux的目的都不同，所以他们常用的命令也就差异非常大，而我主要是用Linux进行C/C++和shell程序编写的，所以常用到的命令可以就会跟一个管理Li
2016-12-29 20:04:35
713
原创 java读文件写文件
java中io流一直是一个令人头疼的东西，主要是各种流，各种缓冲器太多，不好记忆，所以感觉学起来很费劲，选择起来也比较烦恼。本文主要针对java的io流读取数据使用io流读取文件和向文件中写数据，并根据个人经验讲解应该怎么选择和使用。 需要的知识点：1.字节流和字符流选择字节流：字节流读取的时候，读到一个字节就返回一个字节； 主要用于读取图片，MP3，AV
2016-12-29 17:08:28
939
原创 collection接口
Collection是最基本的集合接口，一个Collection代表一组Object，即Collection的元素（Elements）。一些Collection允许相同的元素而另一些不行。一些能排序而另一些不行。Java SDK不提供直接继承自Collection的类，Java SDK提供的类都是继承自Collection的“子接口”如List和Set。Collection
2016-12-21 16:23:11
2088
原创 Java序列化
Java序列化与反序列化是什么？为什么需要序列化与反序列化？如何实现Java序列化与反序列化？本文围绕这些问题进行了探讨。 1.Java序列化与反序列化 Java序列化是指把Java对象转换为字节序列的过程；而Java反序列化是指把字节序列恢复为Java对象的过程。 2.为什么需要序列化与反序列化 我们知道，当两个进程进行远程通信时，可以相互发送各种类型的数据，包括
2016-12-21 14:21:47
651
原创 OLTP与OLAP
OLTP与OLAP的介绍 数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直
2016-12-15 16:38:34
835
原创 static应用总结（java版）
static表示“全局”或者“静态”的意思，用来修饰成员变量和成员方法，也可以形成静态static代码块，但是Java语言中没有全局变量的概念。 被static修饰的成员变量和成员方法独立于该类的任何对象。也就是说，它不依赖类特定的实例，被类的所有实例共享。只要这个类被加载，Java虚拟机就能根据类名在运行时数据区的方法区内定找到他们。因此，static对象可以在它的任何对象创建之前访问，
2016-12-02 20:16:32
701
原创 oracle定时任务(dbms_job)
总结下oracle的任务队列管理器(job queue ),以后也方便查询. 我们要做定时任务时,有两种办法一种是: 操作系统的定时,win的定时任务,unix的crontab一种是: 数据库级的定时,她的效率更高,再有大量的表级操作时,建议用数据库本身的job queue,这样方便,效率高;如果用系统级定时,会增加很多编程工作,成本增加了,还很容易出错,事情越简单
2016-12-02 10:37:55
911
原创 substring
Java中字符串中子串的查找共有四种方法，如下：1、int indexOf(String str) ：返回第一次出现的指定子字符串在此字符串中的索引。 2、int indexOf(String str, int startIndex)：从指定的索引处开始，返回第一次出现的指定子字符串在此字符串中的索引。 3、int lastIndexOf(String str) ：返回在此字符串中最右
2016-11-10 15:18:29
719
原创 Tomcat debug模式启动
在%CATALINA_HOME%\bin\startup.bat中添加以下任意一行配置： SET JAVA_OPTS=-Xdebug -Xrunjdwp:transport=dt_socket,address=8787,server=y,suspend=n SET CATALINA_OPTS=-server -Xdebug -Xnoagent -Djava.compiler=NONE
2016-10-26 14:12:18
27178
2
转载 SpringMVC入门（二）——Spring Web MVC
2．1、Spring Web MVC是什么Spring Web MVC是一种基于Java的实现了Web MVC设计模式的请求驱动类型的轻量级Web框架，即使用了MVC架构模式的思想，将web层进行职责解耦，基于请求驱动指的就是使用请求-响应模型，框架的目的就是帮助我们简化开发，Spring Web MVC也是要简化我们日常Web开发的。 另外还有一种基于组件的、事件驱动的W
2016-10-25 13:54:59
741
转载 SpringMVC入门（一）——Web MVC简介
Web MVC简介1.1、Web开发中的请求-响应模型： 在Web世界里，具体步骤如下：1、 Web浏览器（如IE）发起请求，如访问http://sishuok.com2、 Web服务器（如Tomcat）接收请求，处理请求（比如用户新增，则将把用户保存一下），最后产生响应（一般为html）。3、web服务器处理完成后，返回内容给web客户端（一般
2016-10-25 13:50:18
759
原创 log4j.properties
I can’t find many log4j.properties examples, here are a few log4j.properties examples that are used in my project, just for sharing.1. Output to ConsoleAll logging will be redirected to yo
2016-10-12 10:14:43
699
原创 oracle统计信息
1.定义：==========================统计信息主要是描述数据库中表，索引的大小，规模，数据分布状况等的一类信息。比如，表的行数，块数，平均每行的大小，索引的leaf blocks，索引字段的行数，不同值的大小等，都属于统计信息。CBO正是根据这些统计信息数据，计算出不同访问路径下，不同join 方式下，各种计划的成本，最后选择出成本最小的计划。统计信息是存放
2016-10-09 13:56:15
1174
原创 mysql入门
1、常用字典表MySQL的字典信息都存放在information_schema库中，常用的字典表有：INFORMATION_SCHEMA.SCHEMATA --数据库中所有数据库信息INFORMATION_SCHEMA.TABLES --存放数据库中所有数据库表信息INFORMATION_SCHEMA.COLUMNS --所有数据库表的列信息INFORMATION
2016-09-02 09:39:40
898
转载 Java enum的用法详解
用法一：常量在JDK1.5 之前，我们定义常量都是： public static fianl.... 。现在好了，有了枚举，可以把相关的常量分组到一个枚举类型里，而且枚举提供了比常量更多的方法。public enum Color { RED, GREEN, BLANK, YELLOW } 用法二：switchJDK1.6之前的switch语
2016-08-31 09:44:14
710
转载 kafka入门：简介、使用场景、设计原理、主要配置及集群搭建
一、入门 1、简介 Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每...
2016-08-30 18:04:10
746
原创 Please initialize the log4j system properly报错解决办法
log4j:WARN Please initialize the log4j system properly.log4j:WARN No appenders could be found for logger (org.apache.commons.beanutils.ConvertUtils).解决办法：在D:\BigData\aJunit\target\classes路径，
2016-08-30 16:12:24
39520
1
转载 Set,List,Map,Vector,ArrayList的区别
Set,List,Map,Vector,ArrayList的区别JAVA的容器---List,Map,Set Collection ├List │├LinkedList │├ArrayList │└Vector │ └Stack └Set Map ├Hashtable ├HashMap └WeakHashMapCollection接口
2016-08-30 15:06:33
733
proxifier for Mac（含注册码、使用图解）
2019-01-15
Oracle_OCP_11G_题库-中文版
2016-02-26
Visual_C++MFC入门教程
2013-11-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人