- 博客(22)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 Java多线程-工具篇-BlockingQueue
前言： 在新增的Concurrent包中，BlockingQueue很好的解决了多线程中，如何高效安全“传输”数据的问题。通过这些高效并且线程安全的队列类，为我们快速搭建高质量的多线程程序带来极大的便利。本文详细介绍了BlockingQueue家庭中的所有成员，包括他们各自的功能以及常见使用场景。认识BlockingQueue阻塞队列，顾名思义，首先它是一个队列，而一个
2015-04-24 15:53:43
493
转载 Java日志 Log4j+slf4j使用
Java日志 Log4j+slf4j使用发表回复1 Slf4j简介SLF4J，即简单日志门面（Simple Logging Facade for Java），不是具体的日志解决方案，它只服务于各种各样的日志系统。按照官方的说法，SLF4J是一个用于日志系统的简单Facade，允许最终用户在部署其应用时使用其所希望的日志系统。 实际上，SLF4J所提供的核心API
2015-04-21 17:04:15
565
转载 Log4j、Log4j 2、Logback、SFL4J、JUL、JCL的比较
之前就知道有好几种日志框架，但是一直都是听别人讲，在什么时候该用何种logger，哪种logger比较好……一直对Log4j、Jakarta Commons-Logging、java.util.logging、SLF4J、Logback它们之间的区别已经各自的优势不是很了解，这个周末决定沉下心来好好研究一下。一下这篇文章，就是我在对比了这几种日志框架之后的一些收获，希望能给大家带来一点收获。 Lo
2015-04-21 13:26:20
731
转载 为什么要使用SLF4J而不是Log4J
每一个Java程序员都知道日志对于任何一个Java应用程序，尤其是服务端程序是至关重要的，而很多程序员也已经熟悉各种不同的日志库如java.util.logging、Apache log4j、logback。但如果你还不知道SLF4J（Simple logging facade for Java）的话，那么是时候去在你项目中学习使用SLF4J了。在这篇文章中，我们将学习为什么使用SLF4J比l
2015-04-21 11:48:53
557
转载 加载jar
asynchbase-1.6.0.jar在c/s结构的应用中，很多时候我们都需要在启动时指定很多jar文件的路径，jar包少点还好，多了就很麻烦，还要维护他。为方便起见，程序启动时，由main函数动态去加载指定路径下的jar文件到jvm，这样启动命令就干净了很多。加载jar包的代码：[java] view plaincopyprint?private s
2015-04-20 16:16:02
479
转载 Spark开发环境的配置
软件版本：Spark 0.9配置Spark开发环境，其实分为三个层次，一种是针对运维人员，把Spark安装部署到集群；一种是针对普通开发者，引入Spark的jar包，调用Spark提供的接口，编写分布式程序，写好后编译成jar，就可以提交到Spark集群去运行了；第三种是针对Spark开发者，为了给Spark贡献代码，需要git clone Spark的代码，然后导入IDE，为Spark开发代
2015-04-20 09:25:08
1158
原创 java 多线程 CountDownLatch用法
CountDownLatch，一个同步辅助类，在完成一组正在其他线程中执行的操作之前，它允许一个或多个线程一直等待。主要方法 public CountDownLatch(int count); public void countDown(); public void await() throws InterruptedException 构造方法参数指定
2015-04-17 10:46:07
394
转载 curator 例子
Curator框架是最好用，最流行的zookeeper的客户端。它有以下三个优点1.提供了一套非常友好的操作API;2. 提供一些高级特性（包括但不仅限于前篇文章中提到的）的封装3.易测试 maven依赖如下 Xml代码 dependency> groupId>org.apache.curatorg
2015-04-16 21:18:42
994
转载 curator选举实现之一，二
ZooKeeper官方给出了使用zookeeper的几种用途。Leader ElectionBarriersQueuesLocksTwo-phased Commit其它应用如Name Service, Configuration, Group Membership在实际使用ZooKeeper开发中，我们最常用的是Apache Curator。 它由Netflix公司贡献给A
2015-04-16 21:18:29
2037
转载 spark ha with curator
如果Spark的部署方式选择Standalone，一个采用Master/Slaves的典型架构，那么Master是有SPOF（单点故障，Single Point of Failure）。Spark可以选用ZooKeeper来实现HA。ZooKeeper提供了一个Leader Election机制，利用这个机制可以保证虽然集群存在多个Master但是只有一个是Active的，其他的都是Sta
2015-04-16 21:01:02
571
转载 leader election with zookeeper
http://techblog.outbrain.com/2011/07/leader-election-with-zookeeper/Recently we had to implement an active-passive redundancy of a singleton service in our production environment where the gener
2015-04-16 20:44:31
751
转载 ZooKeeper典型应用场景一览
查看PDF版本转载请用注明 @ni掌柜 nileader@gmail.comZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的介绍。
2015-04-16 20:06:07
579
原创 jdk升级
1. 将jdk放到 /opt/java/ 下，为/opt/java/jdk_***2. sudo ln -s ./jdk1.7.0_60/ default3. sudo vim /etc/profile4.export JAVA_HOME=/opt/java/defaultexport PATH=$JAVA_HOME/bin:$PATH:/sbin:/usr/
2015-04-16 15:49:47
587
转载 调试
hbase学习记录 参考http://abloz.com/hbase/book.html#d613e75 Step 1:修改conf/hbase-site.xml （单机版） Java代码 hbase.rootdir /usr/local/product/hbase-0.90.5/hbasedata
2015-04-13 15:53:07
638
转载 org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: org.apache.hadoop.hdfs.server.namenode
1.最近hbase的rgion经常挂掉一个，查看该节点日志发现如下错误：2014-02-22 01:52:02,194 ERROR org.apache.Hadoop.hbase.regionserver.HRegionServer: Close and delete failedorg.apache.hadoop.hdfs.server.namenode.LeaseExpired
2015-04-13 15:51:57
4358
转载 copy data from difrent version hadoop
I had to copy data from one Hadoop cluster to another recently. However, the two clusters ran different versions of Hadoop, which made using distcp a little tricky.Some notes of distcp: By default
2015-04-09 18:27:17
989
转载 Cannot Start HBase Master: SplitLogManager: Error Splitting
I could not start HBase within Cloudera Manager, the service reported errors. I was initially confused because I could start the Master when the RegionServers were stopped, but as soon as I started a
2015-04-09 18:19:47
1480
转载 实时系统HBase读写优化--大量写入无障碍
在使用hbase过程中发现在写入hbase的数据量很大时，经常发生写不进去的情况。而我们基于hbase的应用是对实时性要求很高的，一旦hbase不能读写则会大大影响系统的使用。下面将记录hbase写优化的过程。1.禁止Major Compaction在hbase进行Major Compaction时，该region将合并所有的storefile，因此整个region都不
2015-04-09 13:58:18
768
转载 java.lang.OutOfMemoryError: PermGen space及其解决方法
这个问题是我的工程中加入了Birt报表在Linux环境下运行出现的问题，从网上搜索了一下看到这文章发现并不是由于Birt的原因造成的 引用1、 PermGen space的全称是Permanent Generation space,是指内存的永久保存区域OutOfMemoryError: PermGen space从表面上看就是内存益出，解决方法也一定是加大内存。说
2015-04-07 15:08:04
566
转载 mac brew install
概述MacPorts和Homebrew都是Mac OS X上的软件包管理工具,同时它们之间是不兼容的，通过这两个软件包管理工具都可以很方便的管理Mac OS X上软件及应用库的安装。但是据说MacPorts有个缺点就是会重复安装一些系统本省自带的库或软件，而Homebrew则会优先采用系统自带的库或软件不做重复安装，比如安装Python，对于系统已经有的依赖库，Homebrew不做安装。
2015-04-07 10:36:02
826
转载 hdfs介绍
【使用QJM构建HDFS HA架构(2.2+)】 本文主要介绍HDFS HA特性，以及如何使用QJM(Quorum Journal Manager)特性实现HDFS HA。 一、背景 HDFS集群中只有一个Namenode，这就会引入单点问题；即如果Namenode故障，那么这个集群将不可用，直到Namenode重启或者其他Namenode接入。 有两种方式会
2015-04-07 10:16:00
1486
原创 hbase how to use zk
http://wiki.apache.org/hadoop/ZooKeeper/HBaseUseCases
2015-04-01 11:11:56
488
json以及json依赖的包
2013-12-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人