- 博客(29)
- 资源 (8)
- 收藏
- 关注
原创 十九、Hbase shell命令操作
创建表create 'blog','article','author' 新增记录>put 'blog','1','article:title','HeadFirst HBase'>put 'blog','1','article:content','HBaseis the Hadoop database. Use it when you need random, realtime
2016-07-29 14:44:39 471
原创 十八、HBASE安装
1、解压源码包进入root用户命令模式解压tar -zxvf hbase-0.92.21.tar.gz2、修改hbase-evn.sh文件3、修改hbase-site.xml文件,添加如下配置 hbase.master 192.168.0.245:60000 hbase.master.maxclock
2016-07-29 14:41:21 493
原创 十七、Hadoop1.0伪集群安装(下)
Hadoop安装1、下载解压安装包tar –zxvf hadoop-1.0.0.tar.gz #解压"hadoop-1.0.0.tar.gz"安装包chown –Rhadoopm:hadoopm hadoop-1.0.0.#将文件夹"hadoop"读权限分配给hadoop用户rm –rf hadoop-1.0.0.tar.gz #删除"hadoop-
2016-07-29 14:32:42 435
原创 十六、Hadoop1.0伪集群安装(上)
准备工作机器分布:Master: Ip 192.169.1.245 hostname: mtest SalveIp 192.169.1.251 hostname:stest1 挂载ISO镜像文件做yum1、创建文件目录2、修改yum配置文件3、禁用CentOS-Base.repo文件4、备份CentOS-Media.rep
2016-07-29 14:28:04 427
原创 十五、HDFS在分布式系统中的应用(下)
HDFS 基本架构 v Active NameNode主Master 管理HDFS的名称空间 管理数据块映射信息 配置副本策略 处理客户端读写请求v DataNode存储实际的数据块 执行数据块的读写操作v Client 文件切分 与NameNode交互 获取文件位置信息; 与DataNode交互 读取或者写入数据; 管理HDFS; 访问HD
2016-07-29 14:22:19 413
原创 十四、HDFS在分布式系统中的应用(上)
概述HDFS基本思想v 难以实现负载均衡文件大小不一,负载均衡实现不易 用户自己控制文件大小,不大现实v 并行化处理困难只有一个节点资源处理一个文件 无法使用集群处理同一个文件 Hdfs的诞生v 来自Google的GFS论文GFS发表与2003年 HDFS相当于从理论上克隆GFSv Hadoop Distrib
2016-07-29 14:20:07 448
原创 十三、redis特性操作
Publish/SubscribeRedis支持这样一种特性,你可以将数据推到某个信息管道中,然后其它人可以通过订阅这些管道来获取推送过来的信息。订阅信息管道用一个客户端订阅管道redis 127.0.0.1:6379> SUBSCRIBEchannelone Reading messages... (press Ctrl-C to quit)1) "subscribe"
2016-07-27 16:47:23 346
原创 十二、redis操作类型(下)
集合(Sets)类型Redis能够将一系列不重复的值存储成一个集合redis 127.0.0.1:6379> SADD birds crow(integer) 1redis 127.0.0.1:6379> SADD birds pigeon(integer) 1redis 127.0.0.1:6379> SADD birds bat(integer) 1redis
2016-07-27 16:46:09 333
原创 十一、redis操作类型(上)
Redis支持二进Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作String类型Redis能存储二进制安全的字符串,最大长度为1GBredis 127.0.0.1:6379> SET name"John Doe" OK redis 127.0.0.1:6379> GET name "John Doe“
2016-07-27 16:45:29 358
原创 十、NOSQL与缓存系统-Redis安装
Redis是一种高级key-value数据库。它跟memcached类似,不过数据可以持久化,而且支持的数据类型很丰富。有字符串,链表,集合和有序集合。支持在服务器端计算集合的并,交和补集(difference)等,还支持多种排序功能。所以Redis也可以被看成是一个数据结构服务器。 Redis的所有数据都是保存在内存中,然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”)
2016-07-27 16:43:57 437
原创 九、NOSQL与缓存系统-Memcached
Memcached 是一个高性能的分布式内存对象缓存系统,现在很多的大型web应用程序包括Facebook, LiveJournal,mixi, Digg等等都在使用memcached来支持他们每天数亿级的页面访问。通过把cache层与他们的web架构集成,他们的应用程序在提高了性能的同时,还大大降低了数据库的负载。Memcached处理的原子是每一个(key,value)对(以下简称kv
2016-07-27 16:42:35 526
原创 八、多WebApps与多mysql的集成
在高并发下,webApp、数据库服务通常由多台几点构成写的方式主要主节点,读取在从节点。然后通过代理服务器做转发。但是mysql存在单点故障问题。解决方案Spring + Ibatis 与mysql集成的方法1、 准备多台mysql并配置好2、 配置application-context.xml
2016-07-27 16:41:44 903
原创 七、数据库优化(下)——搭建读写分离
准备条件:服务器三台: 1:安装二台Mysql数据库(已经安装) 2:安装mysql-proxy,mysql场景描述:数据库Master主服务器:192.168.1.112数据库Slave从服务器: 192.168.1.115MySQL-Proxy调度服务器:192.168.1.101以下操作,均是在192.168.1.101即MySQL-Pro
2016-07-27 16:37:29 413
原创 六、数据库优化(上)——Mysql主从复制搭建
大数据处理任何企业都会经过的步骤1) 单个数据库处理2) 添加缓存3) 读写分离4) 分库分表主要为水平划分5) 写库做节点冗余、读库做负载均衡一般解决方案读节点可以为多台,一般情况下写节点为一台,为考虑单点故障的问题,写节点也可以做容易。这个看条件把Mysql主从复制搭建
2016-07-27 16:36:00 468
原创 五、Nginx反向代理
Nginx ("enginex")是一个高性能的HTTP和反向代理服务器,也是一个IMAP/POP3/SMTP服务器。Nginx是由IgorSysoev为俄罗斯访问量第二的Rambler.ru站点开发的,第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证的形式发布,因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。2011年6月1日,nginx1.0
2016-07-27 16:33:35 407
原创 四、Piranha配置DR模式
从lvs的控制台设置global settings,如下: Primaryserver public ip:输入你公网IP。点击redundancy,这里是配置lvs服务器的冗余点击virtual servers,配置Virtual IP Address跟real server:然后将所有的配置激活。 Piranha相关配置参数说明Roundro
2016-07-27 16:32:42 480
原创 三、LVS高可用搭建
LVS备机搭建global_defs { # notification_email { # admin@toxingwang.com# }# notification_email_from master@toxingwang.com# smtp_serversmtp.exmail.q
2016-07-27 16:31:39 382
原创 二、LVS负载均衡搭建
做测试搭建需要准备几个条件l 系统:Centos6 (三台) l 负载均衡:LVS + keepalived l 服务器1:Httpl 服务器2:Http ip配置 1、VIP(virtual ip):用来提供virtual server服务的ip地址。分别绑定在Director一个物理网卡上(对外接收请求包)和RS的回环设备上(回环设备需要绑定两个i
2016-07-27 16:31:01 436
原创 一、高并发架构设计杂写
解决企业搞并发的痛点,难在哪里?有套路吗?我想随便讲讲大数据高并发貌似很高大上的内容是否有套路 瞅一眼大数据高并发架构所谓高并发,出现的问题。无非于数据量大、访问突增、流量大、响应慢等。看过很多解决的所谓高大上的方案。总归介于怎么做负载均衡、容灾、缓存、分布式等。从物理架构上来说,怎么做好负载、集群、转发或者就近代理。从软件的角度也无非怎么做缓存、动静分离、读写分离等。
2016-07-27 16:29:37 4970
原创 ActiveQM与spring集成配置
首先Spring提供了多种connectionFactory,SingleConnectionFactory是其中的一种实现SingleConnectionFactory对于建立JMS服务器链接的请求会一直返回同一个链接,并且会忽略Connection的close方法调用。而CachingConnectionFactory继承了SingleConnectionFactory,它拥有SingleCo
2016-07-15 15:36:54 1961 1
原创 ActiveMQ的简单使用
ActiveMQ 是Apache出品,最流行的,能力强劲的开源消息总线。ActiveMQ是一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现,尽管JMS规范出台已经是很久的事情了,但是JMS在当今的J2EE应用中间仍然扮演着特殊的地位。应用的协议包括: OpenWire,Stomp REST,WS Notification,XMPP支持多种传送协议:in
2016-07-15 15:35:49 375
原创 Nginx+Tomcat+MemCached集群配置
一、Nginx是一款高性能的 HTTP 和 反向代理 二、tomcat是apache web应用服务器三、Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程(daemon )是用C写的,但是客户
2016-07-14 14:19:02 735 2
原创 Tomcat+jk集群配置
负载均衡服务器F5烧钱 软件Apache是apache的http服务器,用于消息转发mod_jk也叫 JK,这是一款 Apache/IIS 用来连接后台Tomcat的连接器,支持集群和负载均衡。环境Windows安装步骤1. 安装Apache服务器版本:2.2.25下载地址:http://archive.apache.org/dist
2016-07-14 14:09:11 2326
原创 五、 锁应用
5.1、线程安全多线程访问ArrayList。代码:publicstatic List numberList =new ArrayList();publicstatic class AddToList implements Runnable{ int startnum=0; public AddToList(int startnumber){
2016-07-14 00:39:43 341
原创 四、 监控分析
4.1、系统监控4.1.1、Linux监控工具1)、uptime可查看系统时间、运行时间、用户连接数、系统平均负载2)top可查看程序所占cpu 3)vmstat 可以统计系统的CPU,内存,swap,io等情况 4) pidstat 可以更详细观察进程、监控cpu、io、内存 4.1.2、window监控工具1)任务管理器 2)Perf
2016-07-14 00:39:00 628
原创 三、 GC算法
GarbageCollection 垃圾收集,GC的对象是堆空间和永久区GC算法– 引用计数法– 标记清除– 标记压缩– 复制算法 3.1、引用计算法引用计数器的实现很简单,对于一个对象A,只要有任何一个对象引用了A,则A的引用计数器就加1,当引用失效时,引用计数器就减1。只要对象A的引用计数器的值为0,则对象A就不可能
2016-07-14 00:37:09 357
原创 二、 JVM参数调试
2.1、Trace跟踪参数n -verbose:gc -XX:+printGC 在运行的时候打印gc的简单信息如:[GC 4790K->374K(15872K), 0.0001606 secs][GC 4790K->374K(15872K), 0.0001474 secs][GC 4790K->374K(15872K), 0.0001563 secs][GC 4790K-
2016-07-14 00:33:20 409
原创 一、 jvm运行机制
1、JVM的启动流程一个JAVA类运行,装载配置会根据当前路径找JVM.CFG。在配置文件中找到执行文件jvm.dll。然后初始化jvm获得JNIEny接口,该接口会找相应的类运行main方法。2、执行基本结构l PC寄存器在线程创建时创建,每个线程都拥有一个寄存器l 方法区保存装载类的信息(类型的常量池、字段、方法、方法字节码)和Perm永久区关联
2016-07-14 00:31:24 454
高并发架构一些技术套路杂谈
2016-08-01
高并发架构一些套路杂谈
2016-07-29
Spark源码解读迷你书
2015-01-31
基于SSH的真实项目—投递管理系统
2012-05-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人