xiaolang85的专栏

转载 如何利用多核CPU来加速你的Linux命令 — awk, sed, bzip2, grep, wc等

你是否曾经有过要计算一个非常大的数据(几百GB)的需求？或在里面搜索，或其它操作——一些无法并行的操作。数据专家们，我是在对你们说。你可能有一个4核或更多核的CPU，但我们合适的工具，例如 grep, bzip2, wc, awk, sed等等，都是单线程的，只能使用一个CPU内核。借用卡通人物Cartman的话，“如何我能使用这些内核”?要想让Linux命令使用所有的CPU内核，我们需要

转载 趣文：如何向外行解释机器学习和数据挖掘

买点芒果去假设有一天你准备去买点芒果。有个小贩摆放了一车。你可以一个一个挑，然后小贩根据你挑的芒果的斤两来算钱（在印度的典型情况）。显然，你想挑最甜最熟的芒果对吧（因为小贩是按芒果的重量来算钱，而不是按芒果的品质来算钱的）。可是你准备怎么挑呢？你记得奶奶和你说过， 嫩黄的芒果比暗黄的甜。 所以你有了一个简单的判断标准：只挑嫩黄的芒果。你检查各个芒果的颜色， 挑了些嫩黄的，买单，走人，爽不？

转载 Hive并发情况下报DELETEME表不存在的异常

在每天运行的Hive脚本中，偶尔会抛出以下错误：123456782013-09-03 01:39:00,973 ERROR parse.SemanticAnalyzer (SemanticAnalyzer.java:getMetaData(1128)) - org.apache.hadoop.hive.ql.metadata.HiveExcept

转载 [hadoop云计算实战]hadoop的Avatar机制

Hadoop云计算实战读书笔记：第3章，p87~p991. 简介：        Avatar机制是FaceBook提供的一个应用在Hadoop上的补丁程序，是作为NameNode解决故障的方案。        打过补丁后，Hadoop目录$HADOOP_HOME/src/contrib下面会出现一个highavailability包，其中主要有继承于NameNode，Data

转载 ZooKeeper系列之二:Zookeeper常用命令

ZooKeeper服务命令:     在准备好相应的配置之后，可以直接通过zkServer.sh 这个脚本进行服务的相关操作1. 启动ZK服务:       sh bin/zkServer.sh start 2. 查看ZK服务状态: sh bin/zkServer.sh status 3. 停止ZK服务:       sh bin/zkServer.sh stop 4. 重启ZK服务:

转载 Java命令行运行参数说明大全

Java在运行已编译完成的类时，是通过java虚拟机来装载和执行的，java虚拟机通过操作系统命令JAVA_HOME"bin"java –option 来启动，-option为虚拟机参数，JAVA_HOME为JDK安装路径，通过这些参数可对虚拟机的运行状态进行调整，掌握参数的含义可对虚拟机的运行模式有更深入理解。一、         查看参数列表:虚拟机参数分为基本和扩展两类，在命令行中输

转载 数据库连接池为什么要建立多个连接

一般程序在访问数据库的时候，都是使用数据库连接池，比如：DBCP，C3P0等等。至于为什么使用连接池，大家都知道，就是为了避免频繁的与数据库建立连接，因为建立连接是一个比较耗时的操作。而连接池的配置基本差不多，都会设置一个最大连接数。现在就有一个疑问，为什么最大连接数要设置成多个？只建立1个连接，一直都不关闭可以吗？1个的话岂不是占用系统资源更少吗（排除掉使用transaction的情况，

转载 redis主从配置

在redis包的utils目录中有安装程序install_server.sh脚本，执行脚本可以方便的安装多个redis服务端 值得注意的是再centos6.2中使用该脚本生成的/etc/init.d/redis_[6379]管理脚本中的\n并没有被转义，因此导致无法启动redis服务问题是有由于脚本中echo 无法解析\n 需要echo -e，可以修改脚本，也可以定义echo 的ali

转载 redis 的6种过期策略

redis 官方提供的 confhttps://raw.github.com/antirez/redis/2.2/redis.conf中6中过期策略的具体方式。redis 中的默认的过期策略是volatile-lru 。设置方式   config set maxmemory-policy volatile-lrumaxmemory-policy 六种方式vo

转载 使用daemontools监控服务

#!/bin/sh exec 2>&1exec /Data/apps/memcached/bin/memcached -u root -m 3000 -p 23934 -d -t 4 -f 1.1 -c 2048 -b 2048daemontools是sendmail的一个组件，单独使用它来监控服务，比如memcache，可以有效的保证服务的可用性。 http://cr.yp.

转载 使用daemontools监控Zookeeper服务

daemontools(http://cr.yp.to/daemontools.html)是一个管理UNIX下服务的工具集。supervise监视一个服务。它启动一个服务、当服务停掉时它会重起服务。Zookeeper在运行过程中，如果出现一些无法处理的异常，会直接退出进程，也就是所谓的快速失败（fail fast）模式。daemontools 能够帮助你监控ZK进程，一旦进程退出后，能够自动重

转载 Redis经验谈

新浪作为全世界最大的Redis用户，在开发和运维方面有非常多的经验。本文作者来自新浪，希望能为业界提供一些亲身经历，让大家少走弯路。使用初衷从2010年上半年起，我们就开始尝试使用Redis，主要出于以下几方面的考虑。性能比MySQL好。因为业务的发展对性能的需求越来越强烈。丰富的数据类型。在速度就是市场的互联网时代，快速开发是一个不变的需求。Cache宕机让人纠结，Redis有半

转载 Runnable、Callable、Executor、Future、FutureTask关系解读

在再度温习Java5的并发编程的知识点时发现，首要的就是把Runnable、Callable、Executor、Future等的关系搞明白，遂有了下述小测试程序，通过这个例子上述三者的关系就一目了然了。在java5以后，一个可以调度执行的线程单元可以有三种方式定义：Thread、Runnable、Callable，其中Runnable实现的是void run()方法，Callable实现的

转载 架构设计：一种远程调用服务的设计构思（zookeeper的一种应用实践）

在深入学习zookeeper我想先给大家介绍一个和zookeeper相关的应用实例，我把这个实例命名为远程调用服务。通过对这种应用实例的描述，我们会对zookeeper应用场景会有深入的了解。　　远程调用是系统与系统之间的通信机制，它的另一种理解就是进程间的通信。做分布式系统的开发，远程调用技术是其核心技术。远程调用技术可以将一组计算机系统形成一个网络系统，对外提供整体服务，那么这一群的计算机

转载 Jedis动态分片实现

原文： Dynamic sharding implementation 请你看一下下面的建议然后告诉我你觉着怎么样。 当前，Jedis不支持动态分片。 如果我们从可用片中去添加/移除一个Redis Server，只有停止程序，改变分片的配置然后重启，才能实现。 这个实现允许一系列的事情，就像： 添加/移除服务器不需要停机 外部Redis连通性检测和调整伪实时分片配置

转载 jedis基本介绍(3)

1.定义分片1List shards = newArrayList();2JedisShardInfo si = newJedisShardInfo("localhost",6379);3si.setPassword("foobared");

转载 jedis基本介绍(2)

原文：https://github.com/xetorthio/jedis/wiki/AdvancedUsage事务在Jedis中使用事务，需要在一个事务块中包装一系列的操作，非常像pipelining： 1jedis.watch (key1, key2, ...);2BinaryTransaction t = j

转载 jedis基本介绍(1)

原文https://github.com/xetorthio/jedis/wiki/Getting-started在多线程下使用Jedis在不同的线程中使用相同的Jedis实例会发生奇怪的错误。但是创建太多的实现也不好因为这意味着会建立很多sokcet连接，也会导致奇怪的错误发生。单一Jedis实例不是线程安全的。为了避免这些问题，可以使用JedisPool, JedisPool是一个线程

转载 netty 使用注意事项

最近在使用netty的时候突然碰到这样的一个警告: Java代码  2010-8-11 12:20:28 org.jboss.netty.util.internal.SharedResourceMisuseDetector  警告: You are creating too many MemoryAwareThreadPoolExecutor instances.  M

转载 关于netty的MemoryAwareThreadPoolExecutor

转载 Netty长连接的事件处理顺序问题

最近的一个线上项目（认证服务器）老是出现服务延迟的情况。具体的问题描述：（1）客户端发送一个请求A（长连接），在服务器端的业务层需要20秒以上才能接收到。（2）客户端发送一个请求B（端连接），在服务器端的业务层可以迅速接收到。从现象大致知道问题出在服务器端的网络接收层，大量通过长连接发送过来的请求都堵塞在网络层得不到处理（在网络层排队，还没到应用层）。（友情提示：本博文章欢迎转载，

转载 netty源码分析之ChannelHandler

netty里面最重要的应该是ChannelHandler，这个里面也是用户编程直接打交道的接口，也是串行于ChannelPipeLine里面执行相应的业务逻辑。        从类结构来看，一个handler应该有一个ChannelHandlerContext，ChannelHandler是处在上层的一个标识接口，下面有两个接口分别来处理Upstream event和一个Downstr

转载 netty源码分析之ChannelPipeline

看了ChannelHandler我们就来看ChannelPipeline，这个类实现了责任链模式，我们就直接来看这个类的实现吧，看完后我们再看看javadoc的，这个写的很详细。       Java代码  static final InternalLogger logger = InternalLoggerFactory.getInstance(DefaultChan

转载 netty源码分析之ChannelFuture

在netty里面所有的nio相关的操作都是异步的，返回一个channelfuture对象，这个里面可以添加一些listener，然后再相关操作完成后进行触发，最主要的是通过这个对象可以查询相关操作的执行情况，是成功了，还是失败了。         我们来就来看看DefaultChannelFuture的实现就好，我们应该能猜到netty的思想，里面有一个listener的集合，addLis

转载 Netty笔记：FrameDecoder

我们接下来就看和业务息息相关的解码器，首先我们来看FrameDecoder，这个东西应该是所有的解码器都会实现这个，所以我们来重点看一下。        FrameDecoder产生的根源就是TCP/IP数据包的传输方式决定的，包在传输的过程中会分片和重组，正如javadoc里面所说的：    客户端在发送的时候的序列如下：+-----+-----+-----+| ABC |

转载 Hadoop学习笔记（六）：Hadoop读写文件时内部工作机制

读文件 　　读文件时内部工作机制参看下图：　　客户端通过调用FileSystem对象（对应于HDFS文件系统，调用DistributedFileSystem对象）的open()方法来打开文件（也即图中的第一步），DistributedFileSystem通过RPC（Remote Procedure Call）调用询问NameNode来得到此文件最开始几个block的文件位置（第二步）。

转载 理解 Linux 配置文件

介绍每个 Linux 程序都是一个可执行文件，它含有操作码列表，CPU 将执行这些操作码来完成特定的操作。例如，ls 命令是由 /bin/ls 文件提供的，该文件含有机器指令的列表，在屏幕上显示当前目录中文件的列表时需要使用这些机器指令。 几乎每个程序的行为都可以通过修改其配置文件来按照您的偏好或需要去定制。Linux 中有没有一个标准的配置文件格式？一句话，没有。不熟悉

转载 Map/reduce 输出格式化

在运行mapTask 或者reduceTask，输出的结果可能需要进行格式化才能满足我们的需求.hadoop 提供了OutputFormat 供我们转换使用。org.apache.hadoop.mapreduce.lib.output.OutputFormatK, V>//在Job中可以通过setOutputFormatClass 方法来设置格式化,SortedOutputFormat.c