Michael Wing's workspace

转载 分布式架构的演进

作者：李小翀链接：https://www.zhihu.com/question/22764869/answer/31277656来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。分布式架构的演进系统架构演化历程-初始阶段架构初始阶段 的小型系统 应用程序、数据库、文件等所有的资源都在一台服务器上通俗称为LAMP特征：应用程序、数据库、文件等所有的资源都在一台服务器上。描...

转载 JVM运行原理详解+GC算法

1.JVM简析：     作为一名Java使用者，掌握JVM的体系结构也是很有必要的。     说起Java，我们首先想到的是Java编程语言，然而事实上，Java是一种技术，它由四方面组成：Java编程语言、Java类文件格式、Java虚拟机和Java应用程序接口(Java API)。它们的关系如下图所示：     Java平台由Java虚拟机和Java应用程序接口搭建，Java语言则是进入这个...

转载 tomcat启动报错too low setting for -Xss

tomcat启动报错too low setting for -Xss网上给的答案都是调整Xss参数，其实不是正确的做法，-Xss：每个线程的Stack大小，“-Xss 15120” 这使得tomcat每增加一个线程（thread)就会立即消耗15M内存，而最佳值应该是128K,默认值好像是512k. 具体报错如下Caused by: java.lang.IllegalStateException:...

转载 玩转JVM虚拟机：JVM内存结构

一，JVM内存结构（图片来自网络）1. 程序计数器程序计数器（Program Counter Register），也有称作为PC寄存器。在汇编语言中，程序计数器是指CPU中的寄存器，它保存的是程序当前执行的指令的地址，当CPU需要执行指令时，需要从程序计数器中得到当前需要执行的指令所在存储单元的地址，然后根据得到的地址获取到指令，在得到指令之后，程序

转载 ORA-22835:缓冲区对于CLOB到CHAR转换而言太小

错误发生场景在对视图中的CLOB进行to_char处理后，在CLOB字段录入字段信息小于4000字符时，查询正常，但当录入字符大于4000字符时，就会该错误。错误提示：ORA-22835:缓冲区对于CLOB到CHAR转换或BLOB到RAWZ转换而言太小。原因分析在对CLOB进行的TO_CHAR处理，可以理解为将CLOB中存储的信息转换成varchar

转载 selenium之操作ChromeDriver

selenium操作chrome浏览器需要有ChromeDriver驱动来协助。什么是ChromeDriver？ ChromeDriver是Chromium team开发维护的，它是实现WebDriver有线协议的一个单独的服务。ChromeDriver通过chrome的自动代理框架控制浏览器，ChromeDriver只与12.0.712.0以上版本的chrome浏览器兼容。那

原创 java语言把网页相对URL转换成绝对URL

利用java.net.URL :URL baseUri = new  URL("http://www.enet.com.cn/enews/inforcenter/designmore.jsp");URL absoluteUri = new URL( baseUri, "../test.html");absoluteUri.toString();

转载 Webmagic-定制组件

原文出自：http://webmagic.io/docs/zh 访问经常出错，于是把文档转到自己博客里在第一章里，我们提到了WebMagic的组件。WebMagic的一大特色就是可以灵活的定制组件功能，实现你自己想要的功能。在Spider类里，PageProcessor、Downloader、Scheduler和Pipeline四个组件都是Spider的字段。除了PageProcess

转载 使用Selenium来抓取动态加载的页面

原文：http://my.oschina.net/flashsword/blog/147334?p=1一般的爬虫都是直接使用http协议，下载指定url的html内容，并对内容进行分析和抽取。在我写的爬虫框架webmagic里也使用了HttpClient来完成这样的任务。但是有些页面是通过js以及ajax动态加载的，例如：花瓣网。这时如果我们直接分析原始页面的html，是得不到有效

转载 通过WebMagic认识正则表达式和XPATH

最近在自学JAVA的过程中，偶然想到了做个爬虫程序，经过简单的对比，发现了WebMagic这个库，在使用库的过程中因为涉及到正则表达式和XPATH，所以做个笔记，记录一下，否则稍微过段时间不看就忘记了。以内涵社区为例，打开内涵社区，然后右键“检查”（Chrome浏览器，得到如下html，这里只截取其中一部分作为示例）![](http://upload-images.jianshu.

转载 基于WebMagic写的一个csdn博客小爬虫

最近有点无聊，想研究一下爬虫，说到爬虫，很多人第一时间想到的是python。但是这次我选择了室友@antgan推荐的java爬虫框架WebMagic。该框架容易上手，可定制可扩展，非常适合想用java做爬虫的小伙伴们。先看一下官方教程，里面写得很详细，也有不少参考案例。暂时还想不到有什么数据值得爬取，先拿csdn博客来练练手。 小爬虫能抓取指定用户的所有文章的关键信息，包括文章id，标

原创 java多线程知识点

转载 java高级工程师线路图

转载 java工程师线路图

转载 Java中Volatile关键字详解

一、基本概念先补充一下概念：Java 内存模型中的可见性、原子性和有序性。可见性：　　可见性是一种复杂的属性，因为可见性中的错误总是会违背我们的直觉。通常，我们无法确保执行读操作的线程能适时地看到其他线程写入的值，有时甚至是根本不可能的事情。为了确保多个线程之间对内存写入操作的可见性，必须使用同步机制。　　可见性，是指线程之间的可见性，一个线程修改的状态对另一个线程是可见的。也

转载 No compiler is provided in this environment. Perhaps you are running on a JRE rather than a JDK

解决办法：　　1、eclipse菜单 - Window - Preferences- Java - Installed JREs 将配置的JRE定位到JDK，例如JRE home：D:\Program Files (x86)\Java\jdk1.6.0_45　　2、ALT+F5 进行 update project 。　　3、Debug or Run again.

转载 重写jquery的ajax方法

//首先备份下jquery的ajax方法 var _ajax=$.ajax; //重写jquery的ajax方法 $.ajax=function(opt){ //备份opt中error和success方法 var fn = { error:function(XMLHttpRequest

转载 跨域iframe高度计算

一、同域获取iframe内容 这里有两个细节：1. 取iframe内的文档对象，标准浏览器使用contentDocument属性，IE低版本(IE6,7,8)使用document属性。2. calcPageHeight函数计算页面的实际高度，标准浏览器使用document.documentElement，低版本IE使用document.body，默认取clientHeigh

转载 Apache Hadoop与第三方Hadoop-CDH,HDP,MapR的分析与比较

一、Hadoop版本综述目前Hadoop发行版非常多，有华为发行版、Intel发行版、Cloudera发行版（CDH）等，所有这些发行版均是基于Apache Hadoop衍生出来的，之所以有这么多的版本，完全是由Apache Hadoop的开源协议决定的：任何人可以对其进行修改，并作为开源或商业产品发布/销售。(http://www.apache.org/licenses/LICE

转载 编写灵活、稳定、高质量的 HTML 和 CSS 代码的规范。

黄金定律永远遵循同一套编码规范 -- 可以是这里列出的，也可以是你自己总结的。如果你发现本规范中有任何错误，敬请指正。通过 open an issue on GitHub 为本规范添加内容或贡献力量。不管有多少人共同参与同一项目，一定要确保每一行代码都像是同一个人编写的。HTML语法用两个空格来代替制表符（tab） -- 这是唯一

转载 自动动手写Tomcat

最近研究一方socket编程，由于想动手写关于socket方面的东西。然而我们知道通过URL去访问某网址，其实其底层用的就是socket，于是我就写了一个很简单的tomcat服务器，主要目地在于学习，在此分享给大家。同时提供下载源工程。 我写的工程用Maven管理的，但是我没有引入其它的JAR包，为此我就不列出pom.xml文件了。在此简要地说明每个类的作用： Server.j

转载 手写简易WEB服务器

今天我们来写一个类似于Tomcat的简易服务器。可供大家深入理解一下tomcat的工作原理，本文仅供新手参考，请各位大神指正！首先我们要准备的知识是：　　Socket编程　　HTML 　　HTTP协议 　　服务器编写　　反射　　XML解析有了上面的知识，我们可以开始写我们的代码了~~1、首先我们要应用Socket编程写一个简单的服务端用来接收服务器端发来的请求:

转载 纯手写SpringMVC架构，用注解实现springmvc过程（动脑学院Jack老师课后自己练习的体会）

标签：1、第一步，首先搭建如下架构，其中，annotation中放置自己编写的注解，主要包括service controller qualifier RequestMapping第二步：完成对应的annotation:package com.cn.annotation;import java.lang.annotation.Documented;import java.l

转载 纯手写SpringMVC框架，用注解实现springmvc过程

1、第一步，首先搭建如下架构，其中，annotation中放置自己编写的注解，主要包括service controller qualifier RequestMapping第二步：完成对应的annotation:[java] view plain copy package com.chaoyue.annotation;  im

转载 Tomcat部署Solr4.10.4

将下载到的tomcat与solr分别解压到电脑磁盘，位置自选拷贝solr-4.10.0\example\webapps\solr.war   到  apache-tomcat\webapps\目录中。而后可直接用解压软件解压该文件，或者启动tomcat，tomcat会自动解压该.war文件，而后可关闭tomcat并删除solr.war。此时在webapps文件夹

转载 spring security的原理及教程

版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]spring security使用分类：如何使用spring security，相信百度过的都知道，总共有四种用法，从简到深为：1、不用数据库，全部数据写在配置文件，这个也是官方文档里面的demo；2、使用数据库，根据spring security默认实现代码设计数据库，也就是说数据库已经固

转载 maven3默认settings.xml

Licensed to the Apache Software Foundation (ASF) under oneor more contributor license agreements.  See the NOTICE filedistributed with this work for additional informationregarding copyright own

转载 spring使用PropertyPlaceholderConfigurer扩展来满足不同环境的参数配置

spring使用PropertyPlaceholderConfigurer扩展来满足不同环境的参数配置，来自：http://www.javaarch.net/jiagoushi/548.htmPropertyPlaceholderConfigurer是spring提供我们来把一些环境变量（数据库连接相关参数，文件路径等）统一管理起来，然后在bean中指定对应的变量的。但

转载 R语言学习笔记(1)：R是什么

1. R初窥从CRAN（The Comprehensive R Archive Network）cran.r-project.org—mirrors.html中选择一个镜像，然后下载合适的安装包（R支持Linux、Mac OS X和Windows）。安装并运行R后，可以看到R的控制台（我的操作系统是Mac OS）：在R的控制台输入如下命令： > install.packages

转载 Solr4.6用csv文件导入数据

安装好了solr4.6，今天尝试了下给collection1核用csv文件批量导入数据。首先写好csv文件（book.csv），这个文件的路径随意放。我的路径是：E:/book.csv。并注意文件的编码，我的编码是GB2312，一会儿上传的时候要用，如果错了，中文会乱码。id;title;content16;"除夕";"某主席上台了，除夕就不放假了。"17;"钓鱼岛";"钓鱼岛是中

转载 XStream转换时忽略未知字段

XStream是一个用于将对象序列化为xml以及将xml生成对象的库，通过它可以非常方便的做对象与xml(json等其他格式)之间的转换。但是在使用XStream过程中，会遇到xml元素与对象元素并不是一一匹配的情况，而导致程序抛出异常。通过以下方法可以解决这个问题：XML转为对象时XML的要素比对象多public class LetterHolder {  private 

转载 深入浅出学Spring Data JPA

第一章：Spring Data JPA入门 Spring Data是什么 Spring Data是一个用于简化数据库访问，并支持云服务的开源框架。其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。 Spring Data 包含多个子项目：Commons - 提供共享的基础框架，适合各个子项目使用，支持跨数据库持久化 JPA - 简

转载 ThreadPoolExecutor使用和思考

工作中多处接触到了ThreadPoolExecutor。趁着现在还算空，学习总结一下。 前记： jdk官方文档（javadoc）是学习的最好，最权威的参考。文章分上中下。上篇中主要介绍ThreadPoolExecutor接受任务相关的两方面入参的意义和区别，池大小参数corePoolSize和maximumPoolSize，BlockingQueue选型（Synchronous

转载 Java并发编程：Callable、Future和FutureTask

在前面的文章中我们讲述了创建线程的2种方式，一种是直接继承Thread，另外一种就是实现Runnable接口。　　这2种方式都有一个缺陷就是：在执行完任务之后无法获取执行结果。　　如果需要获取执行结果，就必须通过共享变量或者使用线程通信的方式来达到效果，这样使用起来就比较麻烦。　　而自从Java 1.5开始，就提供了Callable和Future，通过它们可以在任务执行完毕之后得到任务

转载 正则表达式30分钟入门教程

首页 | 正则表达式30分钟入门教程 | 常用正则表达式| 正则表达式速查表 | 正则表达式测试工具 | 正则表达式 | JavaScript正则在线测试工具 | 正则练习器在线正则表达式30分钟入门教程版本：v2.33 (2013-1-10) 作者：deerchao 转载请注明来源目录跳过目录本文目标如何使用本教程正则表达式到底是什么东西？入门测试正则表达式元字符字符转义

转载 tomcat架构分析(概览)

出处：http://gearever.iteye.com Tomcat是目前应用比较多的servlet容器。关于tomcat本身的特点及介绍，网上已经有很多描述了，这里不再赘述。Tomcat除了 能够支撑通常的web  app外，其本身高度模块化的架构体系，也能带来最大限度的可扩展性。目前tomcat版本已经衍生到tomcat7，但是主流的版本还是 tomcat6。此系列架构体系介绍还是以

转载 Sitemesh与Freemarker

SiteMesh简介    sitemesh应用Decorator模式，用filter截取request和response,把页面组件head,content,banner结合为一个完整的视图。通常我们都是用include标签在每个jsp页面中来不断的包含各种header, stylesheet,         scripts and footer，现在，在sitemesh的帮助下，我们可以

转载 说说JSON和JSONP，也许你会豁然开朗

说说JSON和JSONP，也许你会豁然开朗作者: 随它去吧  来源: 博客园  发布时间: 2012-07-16 14:33  阅读: 23397 次  推荐: 114   原文链接   [收藏]  　　前言　　由于Sencha Touch 2这种开发模式的特性，基本决定了它原生的数据交互行为几乎只能通过AJAX来实现。　　当然了，通过调用强大的PhoneGap插件然后

转载 Bash快速入门指南

C语言入门模式的秘密---责任链模式Grunt-beginner前端自动化工具Android面试常客Handler详解 本文由 伯乐在线 - 巽离 翻译， 进林 校稿。未经许可，禁止转载！ 英文出处： panix。欢迎加入 翻译小组。简单shell脚本!/bin/bash这一行表明，不管用户选择的是那种交互式shell,该脚本需要使用bash shell来运行。由于

转载 深入分析Java ClassLoader原理

一、什么是ClassLoader?         大家都知道，当我们写好一个Java程序之后，不是管是CS还是BS应用，都是由若干个.class文件组织而成的一个完整的Java应用程序，当程序在运行时，即会调用该程序的一个入口函数来调用系统的相关功能，而这些功能都被封装在不同的class文件当中，所以经常要从这个class文件中要调用另外一个class文件中的方法，如果另外一个文件不存在的，