- 博客(40)
- 收藏
- 关注
RSS订阅转载 电商课题：对付秒杀器等恶意访问行为的简单梳理
201208 @郑昀-秒杀器爱好者的技能点-OCR识别掌握一般的验证码图片识别OCR技术，多数局限于英文和数字字符的OCR识别，随着背景干扰加大，识别率急剧降低表单提交提前准备好表单自动填写表单，自动提交自定义快捷键题库针对特定电商，提前收集秒杀问题的题库录制回放利用“按键精灵”软件录制鼠标键盘动作并进行回放变换IP每走完
2013-12-26 15:45:38
1268
转载 redis Linux的安装方法
原文地址：http://www.cnblogs.com/Qbright/archive/2012/07/05/2578346.html首先下载reids的压缩包 reidis-2.4.15.tar.gz,然后键入：# tar xf redis-2.4.45.tar.gz然后进入目录下键入如下命令：# make然后等待他安装完成.在目录中的redis.conf是其配置文
2013-12-20 10:44:36
497
转载 轻量级HTTP服务器Nginx(Nginx性能优化技巧)
原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://ixdba.blog.51cto.com/2895551/803475一、编译安装过程优化1.减小Nginx编译后的文件大小在编译Nginx时，默认以debug模式进行，而在debug模式下会插入很多跟踪和ASSERT之类的信息，编译完成后，一个Nginx要
2013-12-20 10:32:29
690
转载 linux内核TCP相关参数解释
tcp_syn_retries ：INTEGER默认值是5对于一个新建连接，内核要发送多少个 SYN 连接请求才决定放弃。不应该大于255，默认值是5，对应于180秒左右时间。(对于大负载而物理通信良好的网络而言,这个值偏高,可修改为2.这个值仅仅是针对对外的连接,对进来的连接,是由tcp_retries1 决定的)tcp_synack_retries ：INTEGER默认
2013-12-20 10:22:23
718
转载 Web性能压力测试工具之ApacheBench（ab）详解
原文：http://www.ha97.com/4617.html PS：网站性能压力测试是性能调优过程中必不可少的一环。只有让服务器处在高压情况下才能真正体现出各种设置所暴露的问题。Apache中有个自带的，名为ab的程序，可以对Apache或其它类型的服务器进行网站访问压力测试。ApacheBench命令原理：ab命令会创建很多的并发访问线程，模拟多个访问者同时对某一URL地
2013-12-17 10:15:29
1095
转载 并发数的计算
与并发用户数相关的概念还包括“并发用户数”、“系统用户数”和“同时在线用户数”，下面用一个实际的例子来说明它们之间的差别。 假设有一个OA系统，该系统有2000个使用用户——这就是说，可能使用该OA系统的用户总数是2000名，这个概念就是“系统用户数”，该系统有一个“在线统计”功能（系统用一个全局变量记数所有已登录的用户），从在线统计功能中可以得到，最高峰时有500人在线（这个5
2013-12-17 09:40:12
1083
1
转载 50行代码实现缓存，JAVA内存模型原理
摘自:http://www.oschina.net/code/snippet_55577_3887import java.util.Map;import java.util.WeakHashMap;import java.util.concurrent.ConcurrentHashMap;import java.util.concurrent.locks.Lock;impo
2013-11-05 16:32:03
595
转载 Java Collection总结
ArrayList和Vector是采用数组方式存储数据，此数组元素总数大于实际存储的数据个数以便增加和插入元素，二者都允许直接序号索引元素，但是插入数据要移动数组元素等内存操作，所以它们索引数据快、插入数据慢。ArrayList数组存储方式：[java] view plaincopyprint?private transient Ob
2013-10-25 10:12:16
755
转载 HashMap、HashTable、LinkedHashMap和TreeMap用法和区别
Java为数据结构中的映射定义了一个接口java.util.Map，它有四个实现类，分别是HashMap、HashTable、LinkedHashMap和TreeMap。本节实例主要介绍这4中实例的用法和区别。关键技术剖析：Map用于存储键值对，根据键得到值，因此不允许键重复，值可以重复。l （1）HashMap是一个最常用的Map，它根据键的hashCode值存储数据，根据键可以直
2013-10-25 10:01:05
667
转载 Velocity语法
一、基本语法1、"#"用来标识Velocity的脚本语句，包括#set、#if 、#else、#end、#foreach、#end、#iinclude、#parse、#macro等；如:#if($info.imgs)#else#end2、"$"用来标识一个对象(或理解为变量)；如如：$i、$msg、$TagUtil.optio
2013-10-17 10:43:40
494
转载 由12306.cn谈谈网站性能技术
12306.cn网站挂了，被全国人民骂了。我这两天也在思考这个事，我想以这个事来粗略地和大家讨论一下网站性能的问题。因为仓促，而且完全基于本人有限的经验和了解，所以，如果有什么问题还请大家一起讨论和指正。（这又是一篇长文，只讨论性能问题，不讨论那些UI，用户体验，或是是否把支付和购票下单环节分开的功能性的东西）业务任何技术都离不开业务需求，所以，要说明性能问题，首先还是想先说说业务
2013-10-04 11:13:22
772
转载 Java和PHP在Web开发方面的比较
比较PHP和JSP这两个Web开发技术，在目前的情况是实在是比较PHP和Java的Web开发。以下是我就几个主要方面进行的比较： 一、 语言比较 PHP是解释执行的服务器脚本语言，首先php有简单轻易上手的特点。语法和c语言比较象，所以学过c语言的程序员可以很快的熟悉php的开发。而java需要先学好java的语法和熟悉一些核心的类库，懂得面向对象的程序设计方法。所以java不如php
2013-09-29 11:50:46
886
转载 Java系统程序员修炼之道
一：Java语言学习对线程(thread)，串行化，反射，网络编程，JNI技术，容器(Map,List, Iterator), 类加载器(ClassLoader)，输入输出流，垃圾回收机制， 有比较深入的了解，最起码做过项目应用。有过Java项目的性能优化经验，最起码掌握一种性能监视工具的使用，熟悉JVM参数，最起码知道可以在JVM启动时指定不同垃圾回收机制
2013-09-13 17:24:12
715
原创 Hadoop生态系统以及版本衍化
Hadoop生态系统以及版本衍化hadoop生态系统特点 1、源代码开源(免费) 2、社区活跃、参与者众多 3、涉及分布式存储和计算的方方面面 4、已得到企业界验证Hadoop与云计算 一般认为，云计算由三层构成：IAAS、PAAS和ASSA IAAS：基础设施即服务，典型实现OpenStack、Cloudstack
2013-09-12 23:38:16
851
转载 JAVA基础：JVM监测&工具探究
JAVA基础：JVM监测&工具探究：提到的JVM参数的设置需要根据应用的特性来进行设置，每个参数的设置都需要对JVM进行长时间的监测，并不断进行调整才能找到最佳设置方案。本文将介绍如果通过工具及Java api来监测JVM的运行状态,并详细介绍各潜水泵工具的使用方法。需要监测的数据：(内存使用情况 谁使用了内存 GC的状况)内存使用情况--heap&PermGen@ 表示通
2013-09-04 14:20:30
817
转载 JDK6内存泄露定位方法 - jmap
编写java程序最为方便的地方就是我们不需要管理内存的分配和释放，一切由jvm来进行处理，当java对象不再被应用时，等到堆内存不够用时，jvm会进行垃圾回收，清除这些对象占用的堆内存空间，如果对象一直被应用，jvm无法对其进行回收，创建新的对象时，无法从Heap中获取足够的内存分配给对象，这时候就会导致内存溢出。而出现内存泄露的地方，一般是不断的往容器中存放对象，而容器没有相应的大小限制或清除机
2013-09-04 14:09:18
879
转载 Nginx优化教程 实现突破十万并发
nginx指令中的优化（配置文件）worker_processes 8; nginx进程数，建议按照cpu数目来指定，一般为它的倍数。worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000; 为每个进程分配cpu，上例中将8个进程分配到8个cpu，当然
2013-08-31 21:53:38
712
转载 JAVA线程dump的分析 --- jstack pid
Java 的线程线程是指能独立于程序的其它部分运行的执行单元。 JAVA语言能够很好的实现多线程的程序。我们在调试程序，或者在开发后期需要做性能调优的时候，往往也需要了解当前程序正在运行的线程的状态，正在执行的操作，从而分析系统可能存在的问题。 在阅读本文之间，应对 Java线程的编程原理，同步机制有一定了解 . 产生 JAVA线程 dumpJAVA 的线程 D
2013-08-27 16:23:28
666
转载 Class文件格式解析
一、Java Class文件是什么《The JavaTM Virtual Machine Specification》(Second Edtion)中有表述：Java Class文件由8位字节流组成，所有的16位、32位和64位数据分别通过读入2个、4个和8个字节来构造，多字节数据总是按照Big-endian顺序来存放，即高位字节在前(放在低地址)。每个Class文件都包含且仅包含一个Java
2013-08-23 22:01:05
725
转载 深入分析 Java 中的中文编码问题
几种常见的编码格式为什么要编码不知道大家有没有想过一个问题，那就是为什么要编码？我们能不能不编码？要回答这个问题必须要回到计算机是如何表示我们人类能够理解的符号的，这些符号也就是我们人类使用的语言。由于人类的语言有太多，因而表示这些语言的符号太多，无法用计算机中一个基本的存储单元—— byte 来表示，因而必须要经过拆分或一些翻译工作，才能让计算机能理解。我们可以把计算机能够理解的语言假定
2013-08-20 21:17:18
889
转载 Java线程查看工具——jstack
jdk1.6退出了一个查看线程CPU使用率的工具——jstack。其可以查看当前web应用中存在的线程，以帮助定位程序中那些线程对CPU的使用率过高。 其格式为 stack -l PID ，其他可以通过stack -h查看帮助文档。 今天发现项目工程启动后，在未作任何操作的情况下javaw的CPU使用率一直50%，直觉感觉项目工程有问题了。于是用jstack查看当前所有线
2013-08-19 23:37:07
2421
转载 JDK自带VM分析工具jps，jstat，jmap，jconsole
一、概述 SUN 的JDK中的几个工具，非常好用。秉承着有免费，不用商用的原则。以下简单介绍一下这几种工具。(注：本文章下的所有工具都存在JDK5.0以上版本的工具集里，同javac一样，不须特意安装) 。 我一共找到以下四个工具：重点看看jconsole和jmap。1.jps .:与unix上的ps类似，
2013-08-19 23:33:44
640
转载 限量抢购功能的实现
业务背景： 某公司开展活动，4个实体店，每天限量发放10个优惠券，供人们抢购。技术分析： 一旦涉及抢购，必然会引起并发问题，而且还尽量保证程序的并发性，这就要求或者在程序中做同步，或者在数据库层次做同步。一般来说，在程序端做同步(synchronize)，会导致阻塞得很厉害。使用数据库同步，可以选择有行级锁的数据库以及提高事务隔离等级，但提高事务等级会将事务
2013-08-18 23:13:19
1436
转载 常用排序算法小结
常用排序算法小记排序算法很多地方都会用到，近期又重新看了一遍算法，并自己简单地实现了一遍，特此记录下来，为以后复习留点材料。废话不多说，下面逐一看看经典的排序算法： 1. 选择排序选择排序的基本思想是遍历数组的过程中，以 i 代表当前需要排序的序号，则需要在剩余的 [i…n-1] 中找出其中的最小值，然后将找到的最小值与 i 指向的值进行交换。因为每一趟确定元素的过程中都会有一
2013-08-15 15:25:30
689
转载 Java IO流系统详解
相关读书笔记、心得文章列表 Java 流在处理上分为字符流和字节流。字符流处理的单元为 2 个字节的 Unicode 字符，分别操作字符、字符数组或字符串，而字节流处理单元为 1 个字节，操作字节和字节数组。Java 内用 Unicode 编码存储字符，字符流处理类负责将外部的其他编码的字符流和 java 内 Unicode 字符流之间的转换。而类 InputStreamReader
2013-08-14 21:16:43
670
转载 Hadoop源码分析笔记(十五)：名字节点--启动和停止
名字节点启动和停止安全模式 名字节点启动时，内存中一片空白，第一要紧的事情就是把命名空间镜像加载到内存，并应用镜像编辑日志，这个过程结束时，会创建一个新的检查点，包括新命名空间镜像和一个空的编辑日志。完成上诉工作后，名字节点开始监听IPC和HTTP请求，虽然这个时候名字节点已经对外提供服务，但它只是为客户端提供了一个只读视图，这种名字节点的只读模式为安全模式。
2013-06-27 22:56:51
1529
转载 Hadoop源码分析笔记(十四)：名字节点--远程接口ClientProtocol
远程接口ClientProtocol ClientProtocol的方法分为两组，实现Hadoop文件系统的远程方法和实现多功能工具dfsadmin的远程方法。实现文件系统的远程方法可以进一步区分，将读写文件数据和其他操作分开。文件和目录相关事务 在Java系统中，对文件数据的读写是通过输入/输出流实现的，其他的文件管理功能由java.io.File封装。在
2013-06-26 23:16:26
2457
转载 Hadoop源码分析笔记(十三)：名字节点--数据块和数据节点管理
数据块和节点管理 名字节点维护着HDFS文件系统中两个重要的关系： 一、HDFS文件系统的文件目录树，以及文件的数据块索引，即每个文件对应的数据块列表。 二、数据块与数据节点的对应关系，即某一数据块保存在哪些数据节点的信息。 在第二关系中，“fsimage”文件不会记录数据块保存在哪些数据节点的信息。而是在数据节点加
2013-06-24 23:10:16
2797
转载 Hadoop源码分析笔记(十二)：名字节点--文件系统目录树
名字节点简介 名字节点在Hadoop分布式文件系统中只有一个实例，却是最复杂的一个实例。名字节点维护着HDFS文件系统中两个最重要的关系： 1、HDFS文件系统的文件目录树，以及文件的数据块索引，即每个文件对应的数据块列表。 2、数据块和数据节点的对应关系，即某一个数据块保存在哪些数据及节点的信息。 其中，HDFS的目录树、元
2013-06-23 17:00:35
1667
转载 Hadoop源码分析笔记(十一)：数据节点--数据节点整体运行
数据节点整体运行 数据节点通过数据节点存储和文件系统数据集，管理着保存在Linux文件系统上的数据块，通过流式接口提供数据块的读、写、替换、复制和校验信息等功能。建立在上述基础上的数据节点，还需要维护和名字节点的关系，周期性地检查数据块，并作为一个整体保证文件系统的正常工作。数据节点与名字节点的交互 数据节点提供了对HDFS文件数据的读写支持，但是，客户端访问HD
2013-06-15 22:41:27
1280
转载 Hadoop源码分析笔记(十)：数据节点--流式接口的实现
流式接口的实现 数据节点通过数据节点存储DataStorage和文件系统数据集FSDataset，将数据块的物理存储抽象为对象上的服务，流式接口就是构建在这个服务之上、数据节点的另一基本功能。 为了保证HDFS的设计目标，提供高吞吐的数据访问，数据节点使用基于TCP流的数据访问接口，实现HDFS文件的读写。 数据节点的流式接口实现是典型的TCP服
2013-06-14 23:24:13
2192
转载 Hadoop源码分析笔记(九)：数据节点--数据块存储
数据节点简介 我们继续来了解Hadoop分布式文件系统各个实体内部的工作原理。首先是数据节点，它以数据块的形式在本地Linux文件系统上保存HDFS文件的内容，并对外提供文件数据访问功能。客户端读写HDFS文件时，必须根据名字节点提供的信息，进一步和数据节点交互；同时，数据节点还必须接受名字节点的管理，执行名字节点指令，并上报名字节点感兴趣的事件，以保证文件系统稳定、可靠、高效地
2013-06-13 23:46:02
3049
转载 Hadoop源码分析笔记(八)：HDFS主要流程
HDFS主要流程 本节介绍5个典型的HDFS流程：客户端到名字节点的元数据操作、客户端读文件、客户端写文件、数据节点到名字节点的注册和心跳、以及第二名字节点的合并数据。这些流程充分体现了HDFS实体间IPC接口和流式接口的配合。客户端到名字节点的文件与目录操作 客户端有到名字节点的大量元数据的操作，如更改文件名、在给定目录下创建一
2013-06-06 00:10:57
903
转载 Hadoop源码分析笔记(七)：HDFS非远程调用接口
HDFS非远程调用接口 在网络文件系统(NFS)是SUN公司在远程调用(RPC)之上开发的，它的所有文件操作，包括文件/目录API和用于读写文件数据，都通过远程过程调用实现。客户使用本地操作系统提供的系统调用访问文件系统，当虚拟文件系统发现系统调用需要访问NFS时，如在远程服务器上创建目录或对文件进行读操作，虚拟文件系统会将操作传递给NFS客户组件，由该组件通过RPC访问相应的N
2013-06-05 23:11:16
1879
2
转载 Hadoop源码分析笔记(六)：HDFS源代码结构和基于IPC调用接口
HDFS源代码结构 HDFS的源代码都在org.apche.hadoop.hdfs包下。HDFS的源代码分布16个目录下，它们可以分为如下四类。 1、基础包 包括工具和安全包。其中，hdfs.util包含了一些HDFS实现需要的辅助数据结构；hdfs.security.token.block和hdfs.sercurity.token.deleg
2013-06-04 23:19:25
1760
转载 Hadoop源码分析笔记(五)：HDFS特点和体系结构
HDFS Hadoop是一个能够让用户轻松架构和使用的分布式计算平台，用户可以在Hadoop上管理、开发和运行处理大规模数据的应用，其中，Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)扮演了非常基础的使用，它以文件系统的形式为应用提供海量数据存储服务。HDFS主要特点 HDFS作为一个分布式文件系统，具有
2013-06-03 22:21:02
1623
转载 Hadoop源码分析笔记(四)：Hadoop文件系统简介
Hadoop文件系统简介 Hadoop文件系统，包括Hadoop抽象文件系统以及基于该抽象文件系统的大量具体文件系统，以满足构建在Hadoop上的各类应用的各种数据访问需求，是文件系统发展的新阶段。 文件系统的实现 一、块管理 文件的物理结构指文件在存储设备(如磁盘)上的存取方式。为了便于管理，设备往往将存储空间组织成为具有一定结构的存
2013-05-30 23:33:40
936
转载 Hadoop源码分析笔记(三)：Hadoop远程过程调用
Hadoop远程过程调用远程过程调用（RPC） 作为分布式系统，Hadoop中各个实体间存在着大量的交互，远程过程调用（Remote Procedure Call，RPC）让用户可以像调用本地方法一样调用另外一个应用程序提供的服务，而不必设计和开发相关的信息发送、处理和接收等具体代码，它提高了程序的互操作性。 简要来说，RPC就是允许程序调用位于其他机器上的
2013-05-30 00:09:41
1333
转载 Hadoop源码分析笔记(二)：Hadoop序列化与压缩
Hadoop文件序列化 本文着重讲述Hadoop面向海量数据处理的输入输出。代码请见org.apache.hadoop.io包。序列化用途 对象的序列化是用于将对象编码成一个字节流，以及从字节流中重新够着对象。 一般来说，序列化有以下三种主要用途： 一、作为一种持久化格式：一个对象被序列化以后，它的编码可以被存储到磁盘中，
2013-05-28 22:13:15
1251
转载 Hadoop源码分析笔记(一)：Hadoop Configuration详解
Hadoop Conguration详解：本文着重讲述Hadoop配置模块的基础类：org.apache.hadoop.conf.Configuration。Java配置文件 JDK本身提供了java.util.Properties类，用户处理简单的配置文件。Properties类，它是继承自Hashtable，表示一个持久的属性集，该集可保存在流中，或者从流中加载。
2013-05-27 21:16:37
1803
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人