- 博客(147)
- 收藏
- 关注
RSS订阅原创 Spring发送邮件。
Spring邮件抽象层的主要包为org.springframework.mail。它包括了发送电子邮件的主要接口MailSender，和值对象SimpleMailMessage，它封装了简单邮件的属性如from, to,cc, subject,text。 包里还包含一棵以MailException为根的checked Exception继承树，它们提供了对底层邮件系统异常的高级别抽象。 要获得关...
2013-06-04 15:15:01
172
原创 Windows编译Hadoop-eclipse-plugin-1.0.4.jar
1. 下载apache ant压缩包，解压到D盘 2. 配置ant环境变量ANT_HOME = D:\apache-ant-1.8.4在path环境变量后追加 %ANT_HOME%\bin3. 下载hadoop-1.0.4.tar.gz，解压到D盘 4. 修改%HADOOP_HOME%\src\contrib\下的build-contrib....
2013-03-21 14:39:15
310
原创 windows下开发hadoop的MR程序--AccessControlException
出现这个问题的主要原因是权限不足，所以只需要修改hdfs的目录权限即可： hadoop fs -chmod -R 777 /eone
2013-03-21 14:10:20
177
原创 如何缓存万亿级别的html小文件
最近接到一个需求，需要对后面.Net产生的html静态文件做缓存，因为数量巨大，所以放弃了基于文件目录的存储方案，也是对.Net优化的重点。常见于.Net开发的大型网站，应对高并发的情况。缓存需要持久化，服务器意外重启后，不需要重新cache；缓存在多台缓存服务器的内容是同步的，避免某台机器宕机造成的故障；方案一采用lvs＋两台Nginx＋多台MongoDB＋多台Memc...
2013-03-14 10:54:33
256
原创 节约内存：Instagram的Redis实践
节约内存：Instagram的Redis实践作者：nosqlfanInstagram可以说是网拍App的始祖级应用，也是当前最火热的拍照App之一，Instagram的照片数量已经达到3亿，而在Instagram里，我们需要知道每一张照片的作者是谁，下面就是Instagram团队如何使用Redis来解决这个问题并进行内存优化的。首先，这个通过图片ID反查用户UID的应用有以下几点需求...
2013-03-14 10:54:01
151
原创 Cloudera Impala：基于Hadoop的实时查询开源项目
正在纽约进行的大数据技术会议Strata Conference + Hadoop World传来消息，Cloudera发布了实时查询开源项目Impala 1.0 beta版，称比原来基于MapReduce的Hive SQL查询速度提升3～90倍（详情可以参考此文中的“How much faster are Impala queries than Hive ones, really?”部分），而且...
2013-03-08 15:20:30
151
原创 JNA—JNI终结者
JNA—http://blog.csdn.net/shendl/article/details/3589676JNI终结者 介绍给大家介绍一个最新的访问本机代码的Java框架—JNA。JNA(Java Native Access)框架是一个开源的Java框架，是SUN公司主导开发的，建立在经典的JNI的基础之上的一个框架。JNA项目地址：https://...
2013-03-04 14:08:29
97
原创 scribe，flume
flume Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。http://baike.baidu.com/view/9540485.htmhttp://baike.baidu.com/vie...
2013-02-26 17:23:07
161
原创 elasticsearch
http://baike.baidu.com/view/8005387.htmElasticSearch是一个基于Lucene构建的开源，分布式，RESTful搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。支持通过HTTP使用JSON进行数据索引。我们建立一个网站或应用程序，并要添加搜索功能，令我们受打击的是：搜索工作是很难的。我们希望我们的搜索解决方案要...
2013-02-26 17:06:23
99
原创 maven仓库不能访问的解决办法
<repositories> <repository> <id>central1111</id> <name>Central Repository111</name> <url>http://search.maven.org/remotecontent?fi
2013-02-25 22:03:26
1539
原创 Java 压缩实现
Java压缩技术（一） ZLib Java压缩技术（二） ZIP压缩——Java原生实现 Java压缩技术（三） ZIP解压缩——Java原生实现 Java压缩技术（四） GZIP——Java原生实现 Java压缩技术（五） GZIP相关——浏览器解析 Java压缩技术（六） BZIP2——Commons实现 Java压缩技术（七） TAR——Commons实现 ...
2013-01-29 10:51:38
131
原创 【引用】iPhone开发资源汇总(各种使用Demo)
原文：http://blog.csdn.net/favormm/article/details/6664970 如何用Facebook graphic api上传视频：http://developers.facebook.com/blog/post/532/Keychain保存数据封装：https://github.com/carlbrown/PDKeychainBindings...
2013-01-29 09:49:47
114
原创 深入理解JVM内幕：从基本结构到Java 7新特性
原文链接 http://www.importnew.com/1486.html 每个Java开发者都知道Java字节码是执行在JRE(（Java Runtime Environment Java运行时环境）上的。JRE中最重要的部分是Java虚拟机（JVM），JVM负责分析和执行Java字节码。Java开发人员并不需要去关心JVM是如何运行的。在没有深入理解JVM的情况下，许多开发者已经...
2013-01-26 22:57:01
90
原创 Protocal Buffers
欢迎来到protocol buffers的开发者文档，protocol buffers是语言中立，平台中立，易于扩展的结构化数据序列化方法，它可以用在通讯协议，数据存储等方面。这份文档的目标读者是试图在应用中使用protocol buffers的Java, C++或者Pytho开发者。这份概览告诉你如何开始-然后你可以去教程或者深入到protocol buffer编码。API参考文档同样以三...
2013-01-26 22:54:21
136
原创 使用logback轻松管理日志
最近才开始在项目中使用logback，有一种相见恨晚的感觉，因为它很轻易的满足了我的几个需求： 1. 配置简单，易于上手 2. 一个日志文件中只能某一个级别的日志 3. 一个类中可以指定多个不同的日志，并且生成的每个日志文件中只包含其本身的内容 4. 可以关闭或者打开某几个包的日志，并且可以设置不同的包使用不同的日志级...
2013-01-22 14:12:22
138
原创 使用Lucene-Spatial实现集成地理位置的全文检索
Lucene通过Spatial包提供了对基于地理位置的全文检索的支持，最典型的应用场景就是：“搜索中关村附近1公里内的火锅店，并按远近排序”。使用Lucene-Spatial添加对地理位置的支持，和之前普通文本搜索主要有两点区别： 1. 将坐标信息转化为笛卡尔层，建立索引 [java] view plaincopyprint? pri...
2013-01-22 13:54:15
100
原创 Spatial search with Lucene
At the Hadoop Hackathon this weekend at Sybit, we've worked on a getting tiled images into HDFS and HBase. A side-story was how to search for these tiles based on GPS coordinates. I took the task to...
2013-01-22 13:34:47
137
原创 SSL双向认证java实现
本文通过模拟场景，介绍SSL双向认证的java实现默认的情况下，我认为读者已经对SSL原理有一定的了解，所以文章中对SSL的原理，不做详细的介绍。如果有这个需要，那么通过GOOGLE，可以搜索到很多这样的文章。模拟场景：Server端和Client端通信，需要进行授权和身份的验证，即Client只能接受Server的消息，Server只能接受Client的消息。实现...
2013-01-09 13:58:58
96
原创 TOMCAT-SSL双向认证-配置实例
SSL (Secure Socket Layer - 安全套接字层)功能：保障在Internet上数据传输之安全，利用数据加密(Encryption)技术，确保数据在网络上之传输过程中不会被截取及～～窃～～听，防止篡改。 如何让我们的WEB应用程序应用SSL安全保障？经过几天摸索，终于实现 TOMCAT+SSL 双向认证，也就是说，首先，客户端将要认证服务器的安全性，确保访问的是正确的...
2013-01-09 13:54:42
153
原创 win7下安装setuptools
setuptools提供的exe安装程序不支持64位系统，因此需要下载一个python脚本来安装下载地址 http://peak.telecommunity.com/dist/ez_setup.py直接在命令行运行这个下载下来的程序就好了。...
2013-01-04 15:58:14
440
原创 Memcached无单点解决方案
一．Repcached （memcached同步补丁）下载地址：http://sourceforge.net/projects/repcached/files/repcached/2.2.1-1.2.8/版本号：memcached 1.2.8 repcached 2.2.11、repcached介绍repcached是日本人开发的实现memcached复制功能，它是一...
2012-12-25 19:24:56
109
原创 MySQL 系统架构 说明
说明：本文转自 简朝阳(MySQL ACE)的 《MySQL性能调优与架构设计》 一.逻辑模块组成总的来说，MySQL 可以看成是二层架构，第一层我们通常叫做SQL Layer，在MySQL 数据库系统处理底层数据之前的所有工作都是在这一层完成的，包括权限判断，sql 解析，执行计划优化，querycache 的处理等等；第二层就是存储引擎层，我们通常叫做Storage En...
2012-12-07 22:07:31
106
原创 MySQL技术内幕：InnoDB存储引擎读书笔记（下）
第六章、锁 锁是区别文件系统和数据库系统的一个关键特性。 6.1、什么是锁? 锁是用来管理对共享文件的并发访问。innodb会在行级别上对数据库上锁。不过innodb存储引擎会在数据库内部其他多个地方使用锁，从而允许对不同资源提供并发访问。例如操作缓冲池中的LRU列表，删除，添加，移动LRU列表中的元素，为了保证一致性，必须有锁的介入。 6.2、innodb存储引擎中...
2012-12-07 21:58:22
76
原创 MySQL技术内幕：InnoDB存储引擎读书笔记（中）
第四章、表 4.1、innodb存储引擎表类型 innodb表类似oracle的IOT表(索引聚集表-indexorganized table)，在innodb表中每张表都会有一个主键，如果在创建表时没有显示的定义主键则innodb如按照如下方式选择或者创建主键。 首先表中是否有唯一非空索引(unique not null)，如果有则该列即为主键。 不符合上述条件，i...
2012-12-07 21:54:32
81
原创 MySQL技术内幕：InnoDB存储引擎读书笔记（上）
第一章、mysql体系结构和存储引擎 1.1、数据库和实例的区别 数据库：物理操作系统或其他形式文件类型的集合。在mysql下数据库文件可以是frm，myd，myi，ibd结尾的文件。 数据库实例：由数据库后台进程/线程以及一个共享内存区组成。 mysql数据库是但进程多线程的程序。 1.2、mysql的体系结构 mysql由连接池组件、管理服务和工具组件...
2012-12-07 21:53:22
68
原创 Java入门-简单的RMI示例
RMI是一种分布式技术，使用RMI可以让一个虚拟机上的应用程序请求调用位于网络上另一处JVM上的对象方法。这是的以分布式方式部署应用成为了可能。RMI的两个核心所在分别为Skeleton和Stub：Skeleton只在位于服务器端的程序，负责接受客户端发来的请求数据，并交由服务器端业务处理程序处理，最后将处理结果返回给客户端。 Stub则负责在客户端向服务器端发送相关数据。开...
2012-12-06 11:11:05
148
原创 Java入门-BitSet的使用
在使用PAT-Tree的中文实现中需要用到大量的位运算，BitSet在效率上的表现可能尚待商榷，不过拿来做实验是没有问题的。 在Java的文档中说明了BitSet实现了Vector接口，是一个可按需增长的存储位的数据结构，位的值位布尔型，初始大小为64bit，初始值均为“false”。常用方法：void set(int bitIndex)、void set(int bitI...
2012-12-06 11:01:55
226
java利用class的load机制实现单例模式
先上代码public class Singleton { private static Singleton instance = null; public static Singleton getInstance() { if(instance == null) { instance = SingletonLazy....
2012-10-23 16:43:50
178
原创 由12306.cn谈谈网站性能技术
12306.cn网站挂了，被全国人民骂了。我这两天也在思考这个事，我想以这个事来粗略地和大家讨论一下网站性能的问题。因为仓促，而且完全基于本人有限的经验和了解，所以，如果有什么问题还请大家一起讨论和指正。（这又是一篇长文，只讨论性能问题，不讨论那些UI，用户体验，或是是否把支付和购票下单环节分开的功能性的东西）业务任何技术都离不开业务需求，所以，要说明性能问题，首先还是想先说说业务问...
2012-10-17 16:35:24
77
原创 mysql水平切分
在大中型项目中，在数据库设计的时候，考虑到数据库最大承受数据量，通常会把数据库或者数据表水平切分，以降低单个库，单个表的压力。我这里介绍两个我们项目中常用的数据表切分方法。当然这些方法都是在程序中使用一定的技巧来路由到具体的表的。首先我们要确认根据什么来水平切分？在我们的系统（SNS）中，用户的UID贯穿系统，唯一自增长，根据这个字段分表，再好不过。方法一：使用MD5哈希做法是对UI...
2012-10-17 13:22:01
99
原创 开源Paas平台
Open Source PaaSPlatform - OpenShift https://openshift.redhat.com
2012-09-20 15:08:03
450
原创 Server redirected too many times
我之前遇到过这种问题，有些网站是这样的，他判断cookie里面是否有某个值，如果没有就定向到另外一个页面去把COOKIE的值设置了，然后再跳转回来，但是如果我们通过HttpURLConnection去的话，cookie里面一直都没有那个值，所以他就一直在那里跳来跳去，所以我们就需要一个CookieManager,在使用URLConnection之前设置它，只需要设置一次。目前还不清楚这样...
2012-09-17 16:54:39
756
原创 CentOS下搭建Git服务器Gitosis
1.编译安装git 1$ wget http://kernel.org/pub/software/scm/git/git-1.7.3.tar.gz #目前最新版本2$ tar -xzvf git-1.7.3,tar.gz #解压出来3$ cd git-1.7.3 #进入目录4$ yum install -y gettext-devel expat-devel cu...
2012-08-29 16:47:48
98
原创 mysql主从复制（半同步方式）
一、半同步复制原理介绍如果还不了解Semi-sync可以阅读（Mannul | 概述） 1. 优点当事务返回客户端成功后，则日志一定在至少两台主机上存在。 MySQL在加载并开启Semi-sync插件后，每一个事务需等待备库接收日志后才返回给客户端。如果做的是小事务，两台主机的延迟又较小，则Semi-sync可以实现在性能很小损失的情况下的零数据丢失。 2. ...
2012-08-15 12:22:47
271
原创 克隆镜像文件
有时候需要创建多个虚拟机，配置基本上相同的，我使用的virtual box，为了省事，先使用原始方法创建一台虚拟机并安装操作系统，然后使用如下命令克隆出多个系统，并创建多个虚拟机配置文件，然后把虚拟硬盘挂载到虚拟机上即可，非常省事。VBoxManage clonehd D:/vdi/win2003_target.vdi D:/vdi/win2003_clone.vdi ...
2012-08-13 17:49:15
606
原创 在junit中使用open session in view
废话不多说直接上代码： jpa的import org.hibernate.Session;import org.hibernate.SessionFactory;import org.junit.After;import org.junit.Test;import org.junit.runner.RunWith;import org.junit.Before...
2012-08-07 11:22:20
116
原创 geohash：用字符串实现附近地点搜索
http://code.google.com/p/geospatialweb/https://github.com/kungfoo/geohash-javahttp://en.wikipedia.org/wiki/Geohashhttp://tech.idv2.com/2011/07/05/geohash-intro/
2012-07-17 15:02:48
109
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人