2014年04月_mrcuilidong163

原创 Key-Value Observing机制

知识点介绍Key-Value Observing (简写为KVO)：当指定的对象的属性被修改了，允许对象接受到通知的机制。每次指定的被观察对象的属性被修改的时候，KVO都会自动的去通知相应的观察者。KVO的优点：当有属性改变，KVO会提供自动的消息通知。这样的架构有很多好处。首先，开发人员不需要自己去实现这样的方案：每次属性改变了就发送消息通知。这是KVO 机制提供的最大的优点。因为这个方案...

2014-04-28 09:42:51 98

原创百万用户规模的系统如何扩展

系统扩展一直是个让人头疼的事情，MatinKleppmann通过本文分享了他自己的6条经验，外加网友的一条建议，这些经验对于扩展Twitter这样规模的系统或许帮助不大，但是对于百万用户级别的系统扩展就另当别论了。【编者按】面对系统扩展的难题，我们做过不少的经验分享，学习别人的系统扩展经验可以让我们少走很多弯路，今天给大家介绍的这篇文章来自High Scalability网站，MatinKle...

2014-04-28 09:41:45 169

原创 5个Linux命令学习站点推荐

这里，为大家推荐几个学习Linux命令的站点： 1. Commandlinefu.com 本站点汇聚了数以万计、由用户推荐的Shell命令，更新频率很高。每条Shell命令行的用法都有对应的解释。同时，该站点会根据用户投票情况推出每周最受欢迎的命令排行榜以及长期最受欢迎的命令排行榜，供大家参考。本站也提供了API和插件，供爱好者开发相关应用或将相关内容嵌入到到自己的博客和站点上。...

2014-04-25 17:31:30 348

原创 java自定义注解

1.1、@Retention: 定义注解的保留策略@Retention(RetentionPolicy.SOURCE) //注解仅存在于源码中，在class字节码文件中不包含@Retention(RetentionPolicy.CLASS) // 默认的保留策略，注解会在class字节码文件中存在，但运行时无法获得，@Retention(RetentionPolic...

2014-04-25 17:15:12 101

原创杀死 8080端口的Shell命令

kevins-Mac-mini:~ android2$ lsof -i:8080COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAMEjava 598 android2 238u IPv6 0xe418357a5efdeb19 0t0 TCP *:http-alt (LISTEN)...

2014-04-25 10:28:11 575

原创从程序员到CTO的Java技术路线图

从程序员到CTO的Java技术路线图在技术方面无论我们怎么学习，总感觉需要提升自已不知道自己处于什么水平了。但如果有清晰的指示图供参考还是非常不错的，这样我们清楚的知道我们大概处于那个阶段和水平。 Java程序员高级特性反射、泛型、注释符、自动装箱和拆箱、枚举类、可变参数、可变返回类型、增强...

2014-04-18 08:58:35 110

原创基于SpringMVC框架开发的项目构架

框架使用的技术主要是SpringMVC 在此基础上进行扩展1 Web前端使用 2 前段控制器采用SpringMVC零配置3 IOC容器Spring4 ORM使用 Mybites或者hibernate5 搜索引擎采用 Lucen或者 Solr或者内置搜索引擎 Compass6 认证采用SpringSecurity7 页面模版采用FreeMarker 或 Thymele...

2014-04-18 08:57:56 424

原创基于Nutch的站内搜索引擎搭建（二）

http://www.ahathinking.com/archives/151.html Windows下Nutch的安装配置，参见：基于Nutch的站内搜索引擎搭建（一）本节在上回基础上，对Nutch添加中文分词插件，进行二次开发，同时辅助Nutch分析工具了解Nutch的工作机制，并对其进行一些简单的优化配置。内容如下：===部件及安装======Nutch添加中文分词...

2014-04-18 08:48:30 193

原创基于Nutch的站内搜索引擎搭建

以前配置过一次Nutch，后来干脆忘干净了，最近又折腾一次，记录下来，方便以后查阅。现在Nutch的版本已经出到1.51了（截止到7月份），新版资料少，入门还是找经典的版本混个眼熟先，本文采用0.9版，在Windows下搭建一个简单的站内搜索引擎，内容如下：===所需装备======基本部件安装（从简述）======Nutch的安装与配置======Nutch部署到Eclips...

2014-04-18 08:34:24 436

原创 java提高篇(一)-----理解java的三大特性之封装

三大特性之---封装封装从字面上来理解就是包装的意思，专业点就是信息隐藏，是指利用抽象数据类型将数据和基于数据的操作封装在一起，使其构成一个不可分割的独立实体，数据被保护在抽象数据类型的内部，尽可能地隐藏内部的细节，只保留一些对外接口使之与外部发生联系。系统的其他对象只能通过包裹在数据外面的已经授权的操作来与这个封装的对象进行交流和交互。也就是说用户是无需知道对象内部的细节...

2014-04-17 14:43:49 184

原创国内首套免费的《Nutch相关框架视频教程》(1-20)

Nutch是一个Java开源项目，拥有十多年的历史，从一开始的搜索引擎演变为如今的网络爬虫。在Nutch的进化过程中，产生了Hadoop、Tika和Gora三个Java开源项目。如今这三个项目都发展迅速，极其火爆，尤其是Hadoop，其已成为大数据和云计算的代名词。本人拥有多年Nutch相关框架研发经验，顺应大数据云计算的浪潮，推出了国内首套免费的《Nutch相关框架视频教程》。 ...

2014-04-17 11:28:52 228

原创 Nutch相关框架安装使用最佳指南

国内首套免费的《Nutch相关框架视频教程》土豆在线观看地址：http://www.tudou.com/home/item_u106249539s0p1.html 超清原版下载地址： http://pan.baidu.com/share/home?uk=3157595467 下载 Nutch相关框架安装使用最佳指南.docx ...

2014-04-17 11:21:51 76

原创 [整理]Nutch的爬虫分析

1.创建一个新的WebDb (admin db -create)；2.将抓取起始URLs写入WebDB中 (inject)； 3.根据WebDB生成fetchlist并写入相应的segment(generate)； 4.根据fetchlist中的URL抓取网页 (fetch).；5.根据抓取网页更新WebDb (updatedb). 通过3—5这个循环就可以实现Nutch的深度抓取。...

2014-04-17 10:44:29 334

原创 Nutch读取网页字段

http://blog.163.com/bit_runner/blog/static/53242218201141393943980/ 一、Nutch的一些读取命令 1.查看crawldb数据库查看url地址总数和它的状态及评分：bin/nutch readdb url/crawldb/ -stats查看每个url地址的详细内容，导出数据：bin/nutch rea...

2014-04-17 10:39:33 231

原创说说 JavaEye 网站架构

偶然看到了Robbin的一篇文章，说到了一些JavaEye的一些实现解密，那就来看看有哪些有意思的东西。我正在参与做的一个项目，在某某地方上线，需要几十块单板集群；在某某地方上线，又需要怎样的一个集群组网。咋听起来兴许觉得能有怎样的业务逻辑处理和怎样的用户量呢？可是JavaEye让我很吃惊，我先前只知道与CSDN比起来，JavaEye确实是一个小规模一些的网站，专业一些的网站，可是服务...

2014-04-16 17:18:12 241

原创 Hadoop、Pig、Hive、Storm、NOSQL 学习资源收集【Updating】

（一）hadoop 相关安装部署（二）hive（三）pig（四）hadoop原理与编码（五）数据仓库与挖掘（六）Oozie工作流（七）HBase（八）flume（九）sqoop（十）ZooKeeper（十一）NOSQL（十二）Hadoop 监控与管理（十三）Storm（十四）YARN & Hadoop 2.0（十五）had...

2014-04-15 08:51:29 500

原创 final 用法

Java中的final关键字非常重要，它可以应用于类、方法以及变量。这篇文章中我将带你看看什么是final关键字？将变量，方法和类声明为final代表了什么？使用final的好处是什么？最后也有一些使用final关键字的实例。final经常和static一起使用来声明常量，你也会看到final是如何改善应用性能的。final关键字的含义?final在Java中是一个保留的关键字，可以...

2014-04-14 09:18:30 104

原创 Memcached笔记——（四）应对高并发攻击

[size=large]近半个月过得很痛苦，主要是产品上线后，引来无数机器用户恶意攻击，不停的刷新产品各个服务入口，制造垃圾数据，消耗资源。他们的最好成绩，1秒钟可以并发6次，赶在Database入库前，Cache进行Missing Loading前，强占这其中十几毫秒的时间，进行恶意攻击。为了应对上述情况，做了如下调整：更新数据时，先写Cache，然后写Database（双写）...

2014-04-03 14:12:40 112

原创 Memcached笔记——（三）Memcached使用总结

[size=large][size=large]为了将N个前端数据同步，通过Memcached完成数据打通，但带来了一些新问题：使用iBatis整合了Memcached，iBatis针对每台server生成了唯一标识，导致同一份数据sql会产生不同的key，造成重复缓存。——通过重写iBatis部分原码，终止了唯一标识的生成，同一个SQL产生同一个Key，同时对生成key做hash，控制长度...

2014-04-03 14:11:51 99

原创 Memcached笔记——（二）XMemcached&Spring集成

[size=large]一、Memcached Client简要介绍 Memcached Client目前有3种： Memcached Client for JavaSpyMemcachedXMemcached这三种Client一直存在各种争议： Memcached Client for Java 比 SpyMemcached更稳定、更早、更广泛；SpyMemcac...

2014-04-03 14:10:45 74

原创 Memcached笔记——（一）安装&常规错误&监控

[size=large]一、下载 1.Libevent 简单的说就是一个事件触发的网络库，Memcached离不开它。 Shell代码 wget http://cloud.github.com/downloads/libevent/libevent/libevent-2.0.17-stable.tar.gz 2.Memcached 今天的主角 Shell代码 ...

2014-04-03 14:09:49 137

原创 [Cache] Memcache缓存问题

[size=x-large]在大并发的场合，当cache失效时，大量并发同时取不到cache，会同一瞬间去访问db并回设cache，可能会给系统带来潜在的超负荷风险。解决方法方法一在load db之前先add一个mutex key, mutex key add成功之后再去做加载db, 如果add失败则sleep之后重试读取原cache数据。为了防止死锁，mutex key也需要设置过期...

2014-04-03 09:36:14 268

原创 JVM调优总结 -Xms -Xmx -Xmn -Xss

[size=small][size=medium]堆大小设置JVM 中最大堆大小有三方面限制：相关操作系统的数据模型（32-bt还是64-bit）限制；系统的可用虚拟内存限制；系统的可用物理内存限制。32位系统下，一般限制在1.5G~2G；64为操作系统对内存无限制。我在Windows Server 2003 系统，3.5G物理内存，JDK5.0下测试，最大可设置为1478m。典型设置：...

2014-04-02 09:04:22 113

李维