莫然-CSDN博客

原创解决高并发架构一些技术套路杂谈

http://download.csdn.net/detail/huwenfeng_2011/9589770

2016-07-29 15:08:04 1185

原创十九、Hbase shell命令操作

创建表create 'blog','article','author' 新增记录>put 'blog','1','article:title','HeadFirst HBase'>put 'blog','1','article:content','HBaseis the Hadoop database. Use it when you need random, realtime

2016-07-29 14:44:39 440

原创十八、HBASE安装

1、解压源码包进入root用户命令模式解压tar -zxvf hbase-0.92.21.tar.gz2、修改hbase-evn.sh文件3、修改hbase-site.xml文件，添加如下配置 hbase.master 192.168.0.245:60000 hbase.master.maxclock

2016-07-29 14:41:21 461

原创十七、Hadoop1.0伪集群安装(下)

Hadoop安装1、下载解压安装包tar –zxvf hadoop-1.0.0.tar.gz #解压"hadoop-1.0.0.tar.gz"安装包chown –Rhadoopm:hadoopm hadoop-1.0.0.#将文件夹"hadoop"读权限分配给hadoop用户rm –rf hadoop-1.0.0.tar.gz #删除"hadoop-

2016-07-29 14:32:42 405

原创十六、Hadoop1.0伪集群安装(上)

准备工作机器分布：Master: Ip 192.169.1.245 hostname: mtest SalveIp 192.169.1.251 hostname:stest1 挂载ISO镜像文件做yum1、创建文件目录2、修改yum配置文件3、禁用CentOS-Base.repo文件4、备份CentOS-Media.rep

2016-07-29 14:28:04 399

原创十五、HDFS在分布式系统中的应用(下)

HDFS 基本架构 v Active NameNode主Master 管理HDFS的名称空间管理数据块映射信息配置副本策略处理客户端读写请求v DataNode存储实际的数据块执行数据块的读写操作v Client 文件切分与NameNode交互获取文件位置信息；与DataNode交互读取或者写入数据；管理HDFS；访问HD

2016-07-29 14:22:19 380

原创十四、HDFS在分布式系统中的应用(上)

概述HDFS基本思想v 难以实现负载均衡文件大小不一，负载均衡实现不易用户自己控制文件大小，不大现实v 并行化处理困难只有一个节点资源处理一个文件无法使用集群处理同一个文件 Hdfs的诞生v 来自Google的GFS论文GFS发表与2003年 HDFS相当于从理论上克隆GFSv Hadoop Distrib

2016-07-29 14:20:07 434

原创十三、redis特性操作

Publish/SubscribeRedis支持这样一种特性，你可以将数据推到某个信息管道中，然后其它人可以通过订阅这些管道来获取推送过来的信息。订阅信息管道用一个客户端订阅管道redis 127.0.0.1:6379> SUBSCRIBEchannelone Reading messages... (press Ctrl-C to quit)1) "subscribe"

2016-07-27 16:47:23 338

原创十二、redis操作类型(下)

集合（Sets）类型Redis能够将一系列不重复的值存储成一个集合redis 127.0.0.1:6379> SADD birds crow(integer) 1redis 127.0.0.1:6379> SADD birds pigeon(integer) 1redis 127.0.0.1:6379> SADD birds bat(integer) 1redis

2016-07-27 16:46:09 323

原创十一、redis操作类型(上)

Redis支持二进Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作String类型Redis能存储二进制安全的字符串，最大长度为1GBredis 127.0.0.1:6379> SET name"John Doe" OK redis 127.0.0.1:6379> GET name "John Doe“

2016-07-27 16:45:29 329

原创十、NOSQL与缓存系统-Redis安装

Redis是一种高级key-value数据库。它跟memcached类似，不过数据可以持久化，而且支持的数据类型很丰富。有字符串，链表，集合和有序集合。支持在服务器端计算集合的并，交和补集(difference)等，还支持多种排序功能。所以Redis也可以被看成是一个数据结构服务器。 Redis的所有数据都是保存在内存中，然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”)

2016-07-27 16:43:57 413

原创九、NOSQL与缓存系统-Memcached

Memcached 是一个高性能的分布式内存对象缓存系统，现在很多的大型web应用程序包括Facebook， LiveJournal，mixi, Digg等等都在使用memcached来支持他们每天数亿级的页面访问。通过把cache层与他们的web架构集成，他们的应用程序在提高了性能的同时，还大大降低了数据库的负载。Memcached处理的原子是每一个（key，value）对（以下简称kv

2016-07-27 16:42:35 494

原创八、多WebApps与多mysql的集成

在高并发下，webApp、数据库服务通常由多台几点构成写的方式主要主节点，读取在从节点。然后通过代理服务器做转发。但是mysql存在单点故障问题。解决方案Spring + Ibatis 与mysql集成的方法1、准备多台mysql并配置好2、配置application-context.xml

2016-07-27 16:41:44 876

原创七、数据库优化(下)——搭建读写分离

准备条件：服务器三台： 1：安装二台Mysql数据库(已经安装) 2：安装mysql-proxy，mysql场景描述：数据库Master主服务器：192.168.1.112数据库Slave从服务器： 192.168.1.115MySQL-Proxy调度服务器：192.168.1.101以下操作，均是在192.168.1.101即MySQL-Pro

2016-07-27 16:37:29 399

原创六、数据库优化(上)——Mysql主从复制搭建

大数据处理任何企业都会经过的步骤1）单个数据库处理2）添加缓存3）读写分离4）分库分表主要为水平划分5）写库做节点冗余、读库做负载均衡一般解决方案读节点可以为多台，一般情况下写节点为一台，为考虑单点故障的问题，写节点也可以做容易。这个看条件把Mysql主从复制搭建

2016-07-27 16:36:00 459

原创五、Nginx反向代理

Nginx ("enginex")是一个高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP服务器。Nginx是由IgorSysoev为俄罗斯访问量第二的Rambler.ru站点开发的，第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。2011年6月1日，nginx1.0

2016-07-27 16:33:35 378

原创四、Piranha配置DR模式

从lvs的控制台设置global settings,如下： Primaryserver public ip:输入你公网IP。点击redundancy，这里是配置lvs服务器的冗余点击virtual servers,配置Virtual IP Address跟real server：然后将所有的配置激活。 Piranha相关配置参数说明Roundro

2016-07-27 16:32:42 466

原创三、LVS高可用搭建

LVS备机搭建global_defs { # notification_email { # [email protected]# }# notification_email_from [email protected]# smtp_serversmtp.exmail.q

2016-07-27 16:31:39 370

原创二、LVS负载均衡搭建

做测试搭建需要准备几个条件l 系统：Centos6 (三台) l 负载均衡：LVS + keepalived l 服务器1：Httpl 服务器2：Http ip配置 1、VIP（virtual ip）：用来提供virtual server服务的ip地址。分别绑定在Director一个物理网卡上（对外接收请求包）和RS的回环设备上（回环设备需要绑定两个i

2016-07-27 16:31:01 398

原创一、高并发架构设计杂写

解决企业搞并发的痛点，难在哪里？有套路吗？我想随便讲讲大数据高并发貌似很高大上的内容是否有套路瞅一眼大数据高并发架构所谓高并发，出现的问题。无非于数据量大、访问突增、流量大、响应慢等。看过很多解决的所谓高大上的方案。总归介于怎么做负载均衡、容灾、缓存、分布式等。从物理架构上来说，怎么做好负载、集群、转发或者就近代理。从软件的角度也无非怎么做缓存、动静分离、读写分离等。

2016-07-27 16:29:37 4557

首先Spring提供了多种connectionFactory，SingleConnectionFactory是其中的一种实现SingleConnectionFactory对于建立JMS服务器链接的请求会一直返回同一个链接，并且会忽略Connection的close方法调用。而CachingConnectionFactory继承了SingleConnectionFactory，它拥有SingleCo

2016-07-15 15:36:54 1933 1

原创 ActiveMQ的简单使用

ActiveMQ 是Apache出品，最流行的，能力强劲的开源消息总线。ActiveMQ是一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现，尽管JMS规范出台已经是很久的事情了，但是JMS在当今的J2EE应用中间仍然扮演着特殊的地位。应用的协议包括： OpenWire,Stomp REST,WS Notification,XMPP支持多种传送协议：in

2016-07-15 15:35:49 341

原创 Nginx+Tomcat+MemCached集群配置

一、Nginx是一款高性能的 HTTP 和反向代理二、tomcat是apache web应用服务器三、Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程(daemon )是用C写的，但是客户

2016-07-14 14:19:02 699 2

原创 Tomcat+jk集群配置

负载均衡服务器F5烧钱软件Apache是apache的http服务器,用于消息转发mod_jk也叫 JK，这是一款 Apache/IIS 用来连接后台Tomcat的连接器，支持集群和负载均衡。环境Windows安装步骤1. 安装Apache服务器版本：2.2.25下载地址:http://archive.apache.org/dist

2016-07-14 14:09:11 2310

原创五、锁应用

5.1、线程安全多线程访问ArrayList。代码：publicstatic List numberList =new ArrayList();publicstatic class AddToList implements Runnable{ int startnum=0; public AddToList(int startnumber){

2016-07-14 00:39:43 325

原创四、监控分析

4.1、系统监控4.1.1、Linux监控工具1）、uptime可查看系统时间、运行时间、用户连接数、系统平均负载2）top可查看程序所占cpu 3）vmstat 可以统计系统的CPU，内存，swap，io等情况 4) pidstat 可以更详细观察进程、监控cpu、io、内存 4.1.2、window监控工具1）任务管理器 2）Perf

2016-07-14 00:39:00 612

原创三、 GC算法

GarbageCollection 垃圾收集，GC的对象是堆空间和永久区GC算法– 引用计数法– 标记清除– 标记压缩– 复制算法 3.1、引用计算法引用计数器的实现很简单，对于一个对象A，只要有任何一个对象引用了A，则A的引用计数器就加1，当引用失效时，引用计数器就减1。只要对象A的引用计数器的值为0，则对象A就不可能

2016-07-14 00:37:09 321

原创二、 JVM参数调试

2.1、Trace跟踪参数n -verbose:gc -XX:+printGC 在运行的时候打印gc的简单信息如：[GC 4790K->374K(15872K), 0.0001606 secs][GC 4790K->374K(15872K), 0.0001474 secs][GC 4790K->374K(15872K), 0.0001563 secs][GC 4790K-

2016-07-14 00:33:20 394

原创一、 jvm运行机制

1、JVM的启动流程一个JAVA类运行，装载配置会根据当前路径找JVM.CFG。在配置文件中找到执行文件jvm.dll。然后初始化jvm获得JNIEny接口，该接口会找相应的类运行main方法。2、执行基本结构l PC寄存器在线程创建时创建，每个线程都拥有一个寄存器l 方法区保存装载类的信息(类型的常量池、字段、方法、方法字节码)和Perm永久区关联

2016-07-14 00:31:24 435

原创 java中的线程协调与线程间的数据交换

Java中提供多种方式协调线程的工作。CountDownLatch：当多个也就是具体的数量等于CountDownLatch初始化参数的时候。线程达到了预期状态或者完成了预期工作时触发事件，其他线程可以等待这个事件来触发自己的后续工作。等待的线程是多个。达到了预期状态的线程会调用CountDownLatch的countDown方法。等待的线程会调用CountDownLatch的await方法。

2015-03-04 19:36:52 3930

原创 java中的Volatile与Atomics

VolatileVolatile保证在变量在多线程的可见性。用于修饰变量。代码如下：public class VolatileDemo1 { volatile int a; public int getA() { return a; } public void setA(int a) { this.a = a; } public void testA1(f

2015-03-04 19:34:09 1350

原创 java中的ReentrantLock

ReentrantLock是JDK5加入的新类，它的用法和synchronized类似。比过它需要程序员手动添加加锁和解锁的代码。比起synchronized的好处。它添加了两个方法：l 提供了tryLock()，该方法调用的时候。如果锁被另一个对象持有，它会返回false。l 还一个就是公平锁。在构造ReentrantLock的时候。它拥有一个人boolean类型的参数。该参数就

2015-03-04 19:31:26 1987

原创 java中的synchronized

1、synchronized为互斥。该关键词可以申明方法也可以申明代码库。import java.util.concurrent.TimeUnit;public class SynchronizedDemo1 { public synchronized static void synchronizedDemo(){ try { TimeUnit.SECONDS.s

2015-03-04 19:26:36 1388

原创 java线程池介绍与使用

在同等数量级的操作下，使用线程池的效率要远远高于单线程。线程池可以降低创建线程带来的开销。而线程池中的线程结束后进行的是回收操作而不真的将线程销毁。而在这个过程过，线程池带来的内存消耗肯定会大于单线程。在使用线程池的时候要慎重这个问题。下面进行两个方法，分别来测试下。import java.util.LinkedList;import java.util.List;import java.

2015-03-04 19:20:30 1610

原创微信红包算法

2015年玩得最疯狂的应该是微信红包，在家无聊也抢了不少。闲来无事，顺便写了红包的随机算法，其实挺简单的public class WxAlgorithm{ /** * @param moneySum 输入总金额 * @param redNum 输入红包数量 */ private static void wxAlgorithm(double moneySum, int redN

2015-03-04 17:22:43 11837 3

翻译 Oracle Coherence中文教程二十六：使用Coherence Query语言

使用Coherence Query语言本章介绍如何使用连贯性的查询语言（CohQL）互动与连贯性高速缓存。 CohQL是一个重量轻语法（SQL的传统），用于执行高速缓存操作上的连贯群集。语言可用于以编程方式或从一个命令行工具。本章包含以下各节：了解连贯性查询语言语法使用命令行工具CohQL 大厦过滤器在Java程序其他相干查

2015-02-09 12:18:30 3384

翻译 Oracle Coherence中文教程二十五：Map管理操作触发器

Map管理操作触发器Map触发补充标准的Oracle Coherence的能力，以提供高度自定义的缓存管理系统。例如，地图触发器可以防止非法交易，执行复杂安全授权或复杂的业务规则，提供透明的事件日志和审计，并收集统计数据修改。触发器的其他可能用途，包括限制行动，打击一个缓存，在应用程序重新部署时间发出。例如，假设你有代码是与NamedCache工作，条目插入地图之前，你想改变一个条目的

2015-02-09 12:17:55 1787

翻译 Oracle Coherence中文教程二十四：在高速缓存中的数据处理

在高速缓存中的数据处理coherence提供了理想的基础设施建设数据网格服务和客户端和基于服务器的应用程序使用数据网格。在一个基本的层面上，相干可以在大量的服务器在网格管理一个巨大的数据量，它可以提供接近零延迟访问该数据，它支持跨数据的并行查询中的map-reduce方式;它支持数据库和EIS系统，作为该数据的记录系统的集成。此外，Coherence提供一些服务，这是建立有效的数据网格的理想选

2015-02-09 12:16:58 2604

翻译 Oracle Coherence中文教程二十三：使用连续查询缓存

使用连续查询缓存虽然有可能取得时间从连贯缓存查询结果中的一个点，并有可能以接收事件，将改变该查询的结果，连贯性提供了一个功能，它结合了与一个连续的数据流中的相关事件的查询结果在一个实时的方式保持一个最新的日期的查询结果。这种能力被称作连续查询，因为它具有相同的效果，如果想要查询的零延迟和查询被执行多次，每毫秒！点时间查询结果和事件的更多信息，请参见第22章，“查询缓存中的数据。”相干物

2015-02-09 12:15:56 2177