- 博客(60)
- 收藏
- 关注
RSS订阅转载 JVM性能调优监控工具jps、jstack、jmap、jhat、jstat、hprof使用详解
现实企业级Java开发中，有时候我们会碰到下面这些问题：OutOfMemoryError，内存不足内存泄露线程死锁锁争用（Lock Contention）Java进程消耗CPU过高...... 这些问题在日常开发中可能被很多人忽视（比如有的人遇到上面的问题只是重启服务器或者调大内存，而不会深究问题根源），
2015-04-13 21:25:11
399
转载 Java性能优化学习-操作系统性能监控
关键: 找到性能极限的关键在于知道应该监控哪些数据、监控软件栈的哪些部分以及使用哪些工具.找到性能问题的第一步就是监控应用的行为。通过监控提供的线索，对性能问题进行归类。改善性能设计到3中不同的活动：1.性能监控。 以非侵入式方式手机或查看应用运行性能数据的活动。监控通常是值一种在生产、质量评估或开发环境中实施的带有预防或主动向的活动，在报出性能问题却没有定位到性能问题的
2015-04-13 20:21:24
604
转载 时钟周期、CPU周期、指令周期
通常为节拍脉冲或T周期，既主频的倒数，它是处理操作的最基本的单位。在微程序控制器中，时序信号比较简单，一般采用节拍电位——节拍脉冲二级体制。就是说它只要一个节拍电位，在节拍电位又包含若干个节拍脉冲（时钟周期）。节拍电位表示一个CPU周期的时间，而节拍脉冲把一个CPU周期划分为几个叫较小的时间间隔。根据需要这些时间间隔可以相等，也可以不等。指令周期是取出并执行一条指令的时间。
2015-04-13 20:16:46
3499
转载 ZooKeeper典型应用场景一览
转自:http://jm-blog.aliapp.com/?p=1232查看PDF版本ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类
2015-04-01 20:40:49
355
转载 Zookeeper Client简介
转自:http://jm-blog.aliapp.com/?p=1047直接使用zk的api实现业务功能比较繁琐。因为要处理session loss，session expire等异常，在发生这些异常后进行重连。又因为ZK的watcher是一次性的，如果要基于wather实现发布/订阅模式，还要自己包装一下，将一次性订阅包装成持久订阅。另外如果要使用抽象级别更高的功能，比如分布
2015-04-01 20:36:37
473
转载 zookeeper解惑
http://jm-blog.aliapp.com/?p=947最近针对ZK一些比较疑惑的问题，再看了一下相关代码，列举如下。这里只列官方文档中没有的，或者不清晰的。以zookeeper-3.3.3为基准。以下用ZK表示ZooKeeper。一个ZooKeeper对象，代表一个ZK Client。应用通过ZooKeeper对象中的读写API与ZK集群进行交互。一个简单
2015-04-01 20:34:13
1670
转载 ZooKeeper权限控制
转自:http://jm-blog.aliapp.com/?p=1241目前在公司内部使用ZooKeeper的地方越来越多，应用大多喜欢自己部署一套ZK集群来使用。考虑到ZK的高可用，并且一套ZK集群至少3台机器， 那么每个应用，尤其是一些非核心应用都自己去部署一套的话，对资源利用率很低。另外，随着ZK容灾的提出，单套ZK集群使用的机器量会更大，运维人员开始 对这个情况担忧，强烈希望能
2015-04-01 20:32:31
337
转载 ZooKeeper监控
转自:http://jm-blog.aliapp.com/?p=1450在公司内部，有不少应用已经强依赖zookeeper，zookeeper的工作状态直接影响它们的正常工作。目前开源世界中暂没有一个比较成熟的zookeeper-monitor, 于是开始zookeeper监控这块工作。目前zookeeper-monitor能做哪些事情，讲到这个，首先来看看哪些因素对zooke
2015-04-01 20:29:04
359
转载 ZooKeeper管理员指南——部署与管理ZooKeeper
转自:http://jm-blog.aliapp.com/?p=2318本文以ZooKeeper3.4.3版本的官方指南为基础：http://zookeeper.apache.org/doc/r3.4.3/zookeeperAdmin.html，补充一些作者运维实践中的要点，围绕ZK的部署和运维两个方面讲一些管理员需要知道的东西。本文并非一个ZK搭建的快速入门，关于这方面，可以查看《Z
2015-04-01 20:27:22
254
转载 zookeeper分布式锁避免羊群效应（Herd Effect）
转自:http://jm-blog.aliapp.com/?p=2554本文主要讲述在使用ZooKeeper进行分布式锁的实现过程中，如何有效的避免“羊群效应( herd effect)”的出现。一般的分布式锁实现这里简单的讲下一般的分布式锁如何实现。具体的代码实现可以在这里看到：https://svn.apache.org/repos/asf/zookeeper/tr
2015-04-01 20:25:37
457
转载 zookeeper使用和原理探究（一）
转自:http://jm-blog.aliapp.com/?p=665zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法。zookeeper安装和使用zookeeper的安装基本上可以按照
2015-04-01 20:20:45
301
转载 Zookeeper分布式锁(多进程竞争)实现的代码示例分享
转自:http://blog.csdn.net/yangbutao/article/details/11669609zookeeper分布式锁在实际的场景中应用很多，比如集群中多个节点的leader选举，数据库master-slave模式的主库的选择等等解决方案依然很简单，需要加锁的进程先尝试在zookeeper上创建一个临时节点L，如果创建成功则加锁成功，如果不成功（已存在）则在
2015-04-01 20:12:45
473
原创 mongodb学习1-安装、部署、shell
1.下载mongodb wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.6.7.tgz?_ga=1.61439151.2035670845.1415171196解压缩mongodb-linux-x86_64-2.6.7.tgztar -zxvf mongodb-linux-x86_64-2.6.7.tgz m
2015-02-05 15:44:58
449
原创 Redis学习3--列表键List
列表list一个列表可以包含一个或多个数量的项item。每个项按照他们被push到列表的位置来排列每个列表项所在的位置决定了这个像的索引值index，索引从0开始，从列表的左端到右端一次递增，位于列表最左端表头位置的项的索引为0，而位于列表最右端表尾的索引为N-1,N为列表的长度。列表包含的项可以出现重复，不必唯一。从列表的左端push将一个或以上数
2015-02-02 15:46:41
1759
原创 Redis学习2--散列hash
定义散列的基本操作HSET key field value在散列中key关联给定的域值对field 和value果果field之前没有关联值，那么返回1，如果已经有那么直接覆盖旧值，并返回0
2015-02-02 14:23:45
381
原创 Redis学习1--字符串学习
Redis存储数据格式有6中，首先来学习字符串String1.字符串存储为字符串键设置值SET key value将字符串键key的值设置为value，命令返回ok设置成功如果字符串键key已经存在，那么将会覆盖原来的旧值
2015-02-02 10:50:59
318
原创 python学习1-基础
Tab键补全设置:使用ubuntu12.03中的python2.7在/usr/lib/python.27/dist-packages/ 下新建 vi tab.pyroot@meng-VirtualBox:/usr/lib/python2.7/dist-packages# vi tab.py# python startup fileimport sysimport rea
2014-12-16 17:33:31
306
转载 Storm starter - SingleJoinExample 【转】
转自:http://www.51studyit.com/html/notes/20140403/52.htmlTopology 1.定义两个spout, 分别是genderSpout, ageSpout Fields, ("id", "gender"), ("id", "age"), 最终join的结果应该是("id", "gender", "ag
2014-12-12 16:38:57
417
转载 Twitter Storm的新利器Pluggable Scheduler 【转】
转自:http://www.51studyit.com/html/notes/20140403/51.html版本：storm0.9.1 kafka0.8.1可插拔式的任务分配器(Pluggable Scheduler)给实现了，将在0.8.0版本里面跟大家见面。这篇文章先给大家尝尝鲜，介绍下这个新特性。在Pluggable Sched
2014-12-12 16:38:17
416
转载 Storm 实现滑动窗口计数和TopN排序 【转】
转自:http://www.51studyit.com/html/notes/20140329/49.html计算top N words的topology, 用于比如trending topics or trending images on Twitter. 实现了滑动窗口计数和TopN排序, 比较有意思, 具体分析一下代码 Topolo
2014-12-12 16:35:53
694
转载 storm学习-Storm DRPC实战 【转】
转自:http://www.51studyit.com/html/notes/20140329/47.htmlDRPC ,Distributed Remote Procedure Call RPC本身是个成熟和古老的概念, Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU intensive的计算 DRPC, 只是storm应用
2014-12-12 16:32:06
350
转载 storm学习-Storm消息机制【转】
转自:http://www.51studyit.com/html/notes/20140329/46.html messaging semantics for most computations. Read more about transactional topologies here. How does Storm implement reliab
2014-12-12 16:29:14
482
转载 storm学习-Storm Topology的并发度（转）
转自:http://www.51studyit.com/html/notes/20140329/45.html概念 一个Topology可以包含一个或多个worker(并行的跑在不同的machine上), 所以worker process就是执行一个topology的子集, 并且worker只能对应于一个topology 一个worker
2014-12-12 16:27:53
368
转载 storm学习 相关API介绍（转）
转自：http://www.51studyit.com/html/notes/20140329/44.htmlStreams, 流流作为storm的核心概念, 定义为无限的tuple序列. 什么是tuple? 命名的value序列, 可以理解成Key/value序列, 每个value可以是任何类型, 动态类型不需要
2014-12-12 16:16:19
445
原创 storm学习2-storm生命周以及相关配置详解
将代码拷贝到/home执行 ./storm jar /home/lifeCycle.jar cn.itcast.storm.topology.TopoMain 使用./storm jar来执行jar包，后面跟上 jar目录 以及jar中对应的main文件查看启动情况，./storm list同时在slave节点jps会发现，多出来worker进程，每个Supervisor上运行若干个w
2014-12-11 14:33:32
395
原创 Storm学习1-环境安装
学习storm安装过程1.首先安装jdk配置jdk环境rpm -ivh jdk1.7.0_71.rpm配置环境变量JAVA_HOME=/usr/java/jdk1.7.0_71PATH=$PATH:$JAVA_HOME/binCLASSPATH=.:JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jarexpot PATH J
2014-12-11 10:00:01
413
原创 SequenceFile与MapFile
public static String uri ="hdfs://192.168.1.201:9100"; public static String []data ={ "one, two", "three,four", "five,six", "seven,eight", "nine,ten"
2014-12-10 16:39:37
428
转载 HDFS简介
http://www.cnblogs.com/forfuture1978/archive/2010/03/14/1685351.html1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是
2014-12-10 15:19:57
307
转载 MapReduce关键流程代码分析
http://blog.csdn.net/zhangxinfa/article/details/7477501我这里主要是结合代码来介绍MapR的一些关键流程，咱们需要将XXX系统移植到hadoop系统，虽然之前也对Hadoop的工作原理及使用方法有了一些了解，但真正开工的时候，还是会出现一些大大小小的问题，主要是对Hadoop的一些关键流程的实现不够清楚，因此将MapR的某些代码又粗
2014-12-10 15:14:23
353
转载 Hadoop HDFS之SequenceFile和MapFile
来源:http://blog.csdn.net/keda8997110/article/details/8514908Hadoop的HDFS和MapReduce子框架主要是针对大数据文件来设计的，在小文件的处理上不但效率低下，而且十分消耗磁盘空间(每一个小文件占用一个Block,HDFS默认block大小为64M)。解决办法通常是选择一个容器，将这些小文件组织起来统一存
2014-12-10 15:12:38
299
原创 hadoop8-序列化
序列化1)序列化和反序列化的概念序列化是将结构化对象转换成为字节流以便于进行网络传输或写入持久存储的过错反序列化是将字节流转换成为一系列结构化对象的过程序列化的用途1)作为一种数据持久化格式2)作为一种通信的数据格式3)作为一种数据拷贝或者克隆机制序列化的特征:紧凑/快速/可扩展/互操作java的序列化和反序列化1）创建一个对象实现Serializable
2014-12-10 13:03:17
274
原创 hadoop学习7-
总结:1）常见的数据压缩算法DEFLATE bzip2 gzip snappy2）使用native压缩库算法snappy 安装 libsnappy.so libhadoop.sogzip deflate 安装zlib libhadoop.so3）CompressCodec进行操作压缩: createOutputStream 来获得 CompreesionOutputS
2014-12-10 12:23:48
304
原创 hadoop6-常见压缩算法
常见的数据压缩算法Deflategzipbzip2LZOLZ4SnappyLZO和LZ4算法已经不再hadoop1.x1)DEFLATW是同时使用LZ77算法和哈夫曼编码的一个无损数据压缩算法，源代码可以在zlib库中找到gzip是以DEFLATW算法为基础扩展出来的一种算法2)压缩算法都是空间和时间的转换，更快的压缩时间还是更小的压缩比，可以通过参数来制定
2014-12-10 10:20:05
757
原创 hadoop学习5-HDFS API学习
复习上一次课总结1）HDFS读过程DistributedFileSystem =>FSDataInputStream =>DFSClient.open（RPC通信机制)=>NN.open2)HDFS写过程DistributeFileSystem => FSDataOutputStream => DFSClient.create（RPC通信机制)=>NN.create
2014-12-06 22:40:36
361
原创 Hadoop学习4-HDFS详解1(SNN、副本放置策略)
总结上一次学习:1)搭建hdfs集群可能会出现namenode 、datanode进程会挂掉？需要查看logs的异常信息在来看如果namenode没有正常启动，原因可能是没有正确的格式化如果datanode没有启动，原因可能是namespaceId不一样正确步骤:rm -rf 本地hdfs存储目录执行 ./hadoop namenode -format执行./sta
2014-12-06 15:08:27
796
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人