- 博客(159)
- 收藏
- 关注
RSS订阅原创 大数据挑战与NoSQL数据库技术 试读有感
大数据挑战与NoSQL数据库技术 试读有感 大数据，nosql可以说是互联网的一个新时代，对于像我们这样在IT界混的‘码农’来说还是很重要的。废话不多说，先说书...... 在我看来书分三种： 1.入门级书 2.api式的书 3.深入原理的书大数据挑战与NoSQL数据库技术这本我个人觉得属于（1）+（3）类。不过这确实...
2013-07-05 09:38:40
230
原创 Hive-0.5中SerDe概述
Hive-0.5中SerDe概述propertiesobjecttablestringnullstructure一、背景1、当进程在进行远程通信时，彼此可以发送各种类型的数据，无论是什么类型的数据都会以二进制序列的形式在网络上传送。发送方需要把对象转化为字节序列才可在网络上传输，称为对象序列化；接收方则需要把字节序列恢复为对象，称为对象的反序列化。2、Hive的反序列化是对key/val...
2013-04-19 09:23:47
187
原创 hive bucket
hive buckethive中table可以拆分成partition，table和partition可以通过‘CLUSTERED BY ’进一步分bucket，bucket中的数据可以通过‘SORT BY’排序。bucket主要作用：1. 数据sampling2. 提升某些查询操作效率，例如mapside join需要特别注意的是：clustered by和sorted by不会影响数...
2013-04-18 09:19:11
207
原创 Java性能优化技巧
Java性能优化技巧在JAVA程序中，性能问题的大部分原因并不在于JAVA语言，而是程序本身。养成良好的编码习惯非常重要，能够显著地提升程序性能。1. 尽量使用final修饰符。 带有final修饰符的类是不可派生的。在JAVA核心API中，有许多应用final的例子，例如 java.lang.String。为String类指定final防止了使用者覆盖length()方法。另外，如果一...
2013-03-30 11:19:43
121
原创 java内部类的作用
java内部类的作用一、 定义放在一个类的内部的类我们就叫内部类。二、 作用1.内部类可以很好的实现隐藏 一般的非内部类，是不允许有 private 与protected权限的，但内部类可以2．内部类拥有外围类的所有元素的访问权限3.可是实现多重继承4.可以避免修改接口而实现同一个类中两种同名方法的调用。三、 例子1.实现隐藏 平时我们对类的访问权限，都是通过类前面的访问修饰符来限制的...
2013-03-30 11:06:40
157
原创 StringTokenizer 用法
StringTokenizer是一个用来分隔String的应用类，相当于VB的split函数。1.构造函数public StringTokenizer(String str)public StringTokenizer(String str, String delim)public StringTokenizer(String str, String delim, boolean returnD...
2013-03-25 09:29:28
108
原创 dom4j例子
/** * 解析包含有DB连接信息的XML文件 * 格式必须符合如下规范： * 1. 最多三级，每级的node名称自定义； * 2. 二级节点支持节点属性，属性将被视作子节点； * 3. CDATA必须包含在节点中，不能单独出现。 * * 示例1——三级显示： * <db-connections> * <connection> * ...
2013-03-25 09:27:46
121
原创 SAX，DOM，JAXP，JDOM，DOM4J
第一：首先介绍一下SAX，DOM，JAXP，JDOM，DOM4J的基本知识：（注意：至于 JAXP | JAXB | JAXM | JAXR | JAX-RPC 分别指什么，查看http://gceclub.sun.com.cn/staticcontent/html/xml/faq/#jaxr_）1、sax、dom是两种对xml文档进行分析的方法（没有具体的实现，只有...
2013-03-25 09:25:48
87
原创 浅谈CSRF攻击方式
一.CSRF是什么？ CSRF（Cross-site request forgery），中文名称：跨站请求伪造，也被称为：one click attack/session riding，缩写为：CSRF/XSRF。二.CSRF可以做什么？ 你这可以这么理解CSRF攻击：攻击者盗用了你的身份，以你的名义发送恶意请求。CSRF能够做的事情包括：以你名义发送邮件，发消息，盗取...
2013-03-18 15:03:05
129
原创 Java日志框架
Java日志框架Log4jApache的一个开放源代码项目，通过使用Log4j，我们可以控制日志信息输送的目的地是控制台、文件、GUI组件、甚至是套接口服务器、NT的事件记录器、UNIX Syslog守护进程等；用户也可以控制每一条日志的输出格式；通过定义每一条日志信息的级别，用户能够更加细致地控制日志的生成过程。这些可以通过一个配置文件来灵活地进行配置，而不需要修...
2013-03-17 17:17:41
99
原创 java nio Buffer 中 compact的作用
java nio Buffer 中 compact的作用该方法的作用是将 position 与 limit之间的数据复制到buffer的开始位置，复制后 position = limit -position,limit = capacity但如果position 与limit 之间没有数据的话发，就不会进行复制下面举个例子：将数据从一个channel 读取出来，然后...
2013-03-12 17:29:59
223
原创 Next-Key锁定
Next-Key锁定：避免幽灵问题在行级锁定中，InnoDB 使用一个名为next-key locking的算法。InnoDB以这样一种方式执行行级锁定：当它搜索或扫描表的索引之时，它对遇到的索引记录设置共享或独占锁定。因此，行级锁定事实上是索引记录锁定。 InnoDB对索引记录设置的锁定也映像索引记录之前的“间隙”。如果一个用户对一个索引上的记录R有...
2013-03-11 11:23:46
167
原创 java annotation 入门
一. 最常见的annotation@Override:用在方法之上，用来告诉别人这一个方法是改写父类的 @DePRecated:建议别人不要使用旧的API的时候用的,编译的时候会用产生警告信息,可以设定在程序里的所有的元素上. @SuppressWarnings:暂时把一些警告信息消息关闭 @Entity:表示该类是可持久化的类 二. 设计一个自己的Annotation 先看代码再讲话1...
2013-03-11 11:23:26
83
原创 MySQL优化GROUP BY－松散索引扫描与紧凑索引扫描
MySQL优化GROUP BY－松散索引扫描与紧凑索引扫描 满足GROUP BY子句的最一般的方法是扫描整个表并创建一个新的临时表，表中每个组的所有行应为连续的，然后使用该临时表来找到组并应用累积函数(如果有)。在某些情况中，MySQL能够做得更好，即通过索引访问而不用创建临时表。 为GROUP BY使用索引的最重要的前提条件是所有GROUP BY列引用同一...
2013-03-10 14:34:08
97
原创 MySQL Explain功能各种信息的解释
我们先看一下在MySQLExplain功能中给我们展示的各种信息的解释：◆ID：QueryOptimizer所选定的执行计划中查询的序列号；◆Select_type：所使用的查询类型，主要有以下这几种查询类型◇DEPENDENTSUBQUERY：子查询中内层的第一个SELECT，依赖于外部查询的结果集；◇DEPENDENTUNION：子查询中的UNION，且为UNION中从第二个SELECT开始的...
2013-03-10 13:21:33
118
原创 InnoDB锁定模式 意向锁，排他锁，共享锁
InnoDB锁定模式InnoDB实现标准行级锁定，在这里有两种类型的锁： locks: · 共享的(S)锁允许一个事务去读一行（tuple）。 · 独占的锁(X)允许一个事务更新或删除一行。 如果事务A 在tuple t上持有独占锁定，来自不同事务B的对t上任一类型的锁的请求不被马上许可，取而代之地，事务B 不得不等待事务t释放在tuple...
2013-03-10 10:32:18
313
原创 java对cookie的操作
java对cookie的操作java对cookie的操作比较简单，主要介绍下建立cookie和读取cookie，以及如何设定cookie的生命周期和cookie的路径问题。 建立一个无生命周期的cookie，即随着浏览器的关闭即消失的cookie，代码如下 HttpServletRequest request HttpServletResponse res...
2013-03-10 10:31:08
84
原创 MyBatis入门示例
说明：1，本文采用的Mybatis框架版本为： mybatis-3.0.4.jar2， 以持久化一个简单的User bean为例User实体类的代码如下：package bean; public class User { private String name; private Integer age; public...
2013-03-10 10:22:06
76
原创 mybatis与spring整合（基于配置文件）
本文主要介绍了如何将mybatis和spring整合在一起使用，本人使用的是mybatis3.05 + spring3.1.0M2 ，使用dbcp作为数据库连接池。1.编写数据访问接口（UserDao.java）package com.mybatis;publicinterface UserDao { publicint countAll();}2...
2013-03-09 09:39:27
120
原创 MyBatis的关于批量数据操作的体会
MyBatis的关于批量数据操作的体会 MyBatis的前身就是著名的Ibatis，不知何故脱离了Apache改名为MyBatis。 MyBatis所说是轻量级的ORM框架，在网上看过一个测试报告，感觉相比于Hibernate来说，优势并不明显。下面说一下比较有趣的现象，根据MyBatis的官方文档，在获得sqlSession时，它有为批量更新而专门准备的：session ...
2013-03-09 09:39:06
90
原创 mysql 主从复制
主从复制的原理：分为同步复制和异步复制，实际复制架构中大部分为异步复制。复制的基本过程如下：1)、Slave上面的IO进程连接上Master，并请求从指定日志文件的指定位置（或者从最开始的日志）之后的日志内容；2)、Master接收到来自Slave的IO进程的请求后，通过负责复制的IO进程根据请求信息读取制定日志指定位置之后的日志信息，返回给Slave 的IO进程。返回信息中除了日...
2013-03-09 09:38:43
61
原创 MySQL 各个版本介绍
第一个 MySQL Community Server，这个不要钱！第二个 MySQL Enterprise 这个要掏钱，不过可以打电话咨询问题，也就是电话技术支持。第三个 MySQL Cluster，这个单独是没法用的，要在1或2的基础上用。当然用来平衡多台数据库的。第四个 MySQL Workbench，这是个好东西，用来设计数据库的。erwin知道吗？他就是这个作用。 ...
2013-03-09 09:38:08
215
原创 MySql中的varchar类型
MySql中的varchar类型今天新开始的项目在做数据库设计，发现自己对MySql的varchar类型还不熟悉，故又上网收集资料整理如下。1.varchar类型的变化MySQL 数据库的varchar类型在4.1以下的版本中的最大长度限制为255，其数据范围可以是0~255或1~255（根据不同版本数据库来定）。在 MySQL5.0以上的版本中，varchar数据类型的长...
2013-03-09 09:37:50
68
原创 Java中assert关键字的实现
Java中assert关键字的实现 J2SE 1.4在语言上提供了一个新特性，就是assertion(断言)功能，它是该版本在Java语言方面最大的革新。在软件开发中，assertion是一种经典的调试、测试方式。assertion(断言)在软件开发中是一种常用的调试方式，很多开发语言中都支持这种机制，如C，C++和Eiffel等，但是支持的形式不尽相同，有的是通过语言本身、有的是通...
2013-03-08 17:12:10
155
原创 MySQL Query Profiler 介绍
MySQL Query Profiler查看MySQL语法详细执行时间与CPU/记忆体使用量: MySQL Query Profiler MySQL的SQL语法调整主要都是使用EXPLAIN,但是这个并没办法知道详细的Ram(Memory)/CPU等使用量. 于MySQL 5.0.37以上开始支援MySQL Query Profiler,可以查询到此SQL会执行多少时间,并看出C...
2013-03-08 09:59:38
126
原创 MyBatis+Spring 事务管理
实体类:Emp.java01package com.lixing.scm.entity;02 03public class Emp {04 private String id;05 private String name;06 private Str...
2013-03-07 08:46:46
93
原创 linux系统中scp命令的用法
Category: 网络应用, linux, Author: admin, Popularity: 42% scp是 secure copy的缩写, scp是linux系统下基于ssh登陆进行安全的远程文件拷贝命令。linux的scp命令可以在linux服务器之间复制文件和目录.scp命令的用处：scp在网络上不同的主机之间复制文件，它使用ssh安全协议传输数据，具有和ssh一样的验证机制，从...
2013-03-07 08:43:35
186
原创 svn 命令
1、将文件checkout到本地目录 svn checkout path（path是服务器上的目录） 例如：svn checkout svn://192.168.1.1/pro/domain 简写：svn co 2、往版本库中添加新的文件 svn add file 例如：svn add test.php(添加test.php) svn add *.php(添加当前目录下所有的php文件) 3、...
2013-03-07 08:43:12
76
原创 java正则表达式
众所周知，在程序开发中，难免会遇到需要匹配、查找、替换、判断字符串的情况发生，而这些情况有时又比较复杂，如果用纯编码方式解决，往往会浪费程序员的时间及精力。因此，学习及使用正则表达式，便成了解决这一矛盾的主要手段。 大 家都知道，正则表达式是一种可以用于模式匹配和替换的规范，一个正则表达式就是由普通的字符（例如字符a到z）以及特殊字符（元字符）组成的文字模式，它 用以描述在查找文字主体时待匹配...
2013-03-07 08:42:57
75
原创 innodb共享表空间vs独立表空间
使用过MySQL的同学，刚开始接触最多的莫过于MyISAM表引擎了，这种引擎的数据库会分别创建三个文件：表结构、表索引、表数据空间。我们可以将某个数据库目录直接迁移到其他数据库也可以正常工作。然而当你使用InnoDB的时候，一切都变了。 InnoDB 默认会将所有的数据库InnoDB引擎的表数据存储在一个共享空间中：ibdata1，这样就感觉不爽，增删数据库的时候，ibdata1文件不...
2013-03-07 08:42:40
74
原创 SqlSessionDaoSupport与SqlSessionTemplate对比
SqlSession(SqlSessionDaoSupport类) SqlSessionDaoSupportSqlSessionDaoSupport是一个抽象的支持类，用来为你提供SqlSession。调用getSqlSession()方法你会得到一个SqlSessionTemplate，这然后可以用于执行SQL方法，就像下面这样：Java代码 1. public cl...
2013-03-06 08:32:10
94
原创 spring与mybatis三种整合方法
1、采用数据映射器（MapperFactoryBean）的方式，不用写mybatis映射文件，采用注解方式提供相应的sql语句和输入参数。 （1）Spring配置文件： <!-- 引入jdbc配置文件 --> <context:property-placeholder location="jdbc.properties"/> <...
2013-03-06 08:31:57
70
原创 MyBatis-MapperScannerConfigurer配合
MyBatis MapperScannerConfigurer 配置 文档下载
2013-03-06 08:31:39
103
原创 MyBatis 配置
在定义sqlSessionFactory时需要指定MyBatis主配置文件： Xml代码 1. <bean id="sqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean"> 2. <property name="configLocation" valu...
2013-03-06 08:31:23
77
原创 Myisam引擎锁
Mysql的锁机制也分为三大类： page Lock页级锁 、 table LOCK 表锁 、行锁 page Lock页级锁:NDB事务引擎。 首先查看当前的锁状态-- mysql>show status like ‘table%’;+--------------------------------- +-------+| Variable_na...
2013-03-06 08:30:54
85
原创 说一说java的concurrent包-系列文章
说一说java的concurrent包-系列文章前面一个系列的文章都在围绕hash展开，今天准备先说下concurrent包，这个系列可能会以使用场景说明为主，concurrent包本身的代码分析可能比较少；我在这方面的实践经验较为有限，有错误欢迎批评指正 不过前一个系列并未结束，还有一些文章没有放出来，欢迎关注核桃博客 concurrent包是jdk1.5引入的重要的包，主要代码由大牛Do...
2013-03-05 09:47:30
90
原创 java并发编程：定制线程池的大小
java并发编程：定制线程池的大小 线程池合理的长度取决于将要提交的任务类型和所部署系统的特征。 为了正确的定制线程池的长度，你需要理解你的计算环境、资源预算和任务的自身特性。部署系统中安装了多少个CPU？多少内存？任务主要执行的是计算、I/O还是一些混合操作？它们是否需要像JDBC Connection这样的稀缺资源？如果你有不同类别的任务，它们拥有差别很大...
2013-03-05 09:44:56
194
原创 java.util.concurrent包应用1
java.util.concurrent包应用1 Executor ：具体Runnable任务的执行者。ExecutorService ：一个线程池管理者，其实现类有多种，我会介绍一部分。我们能把Runnable,Callable提交到池中让其调度。Semaphore ：一个计数信号量Reent...
2013-03-05 09:33:48
83
原创 ThreadPoolExecutor jdk1.5中的线程池使用简介
一、简介 线程池类为 java.util.concurrent.ThreadPoolExecutor，常用构造方法为：ThreadPoolExecutor(int corePoolSize, int maximumPoolSize,long keepAliveTime, TimeUnit unit,BlockingQueue workQueue,RejectedExecutionH...
2013-03-05 09:21:03
83
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人