2015年08月_qianshanding0708

原创 Memcached之缓存雪崩，缓存穿透，缓存预热，缓存算法(7)

缓存雪崩缓存雪崩可能是因为数据未加载到缓存中，或者缓存同一时间大面积的失效，从而导致所有请求都去查数据库，导致数据库CPU和内存负载过高，甚至宕机。解决思路：1，采用加锁计数，或者使用合理的队列数量来避免缓存失效时对数据库造成太大的压力。这种办法虽然能缓解数据库的压力，但是同时又降低了系统的吞吐量。2，分析用户行为，尽量让失效时间点均匀分布。避免缓存雪崩的出现。3，如果是因为某...

2015-08-27 20:37:08 8699 2

原创 Hadoop之命令集合（全）

Hadoop命令系列文章共5篇，链接地址如下： Hadoop之文件系统Shell Hadoop之命令指南 Hadoop之HDFS命令 Hadoop之MapReduce命令 Hadoop之YARN命令希望对大家能有所帮助，不正确的地方希望留言讨论。...

2015-08-19 23:59:06 2855

原创 Hadoop之SequenceFile

Hadoop序列化文件SequenceFile可以用于解决大量小文件（所谓小文件：泛指小于black大小的文件）问题，SequenceFile是Hadoop API提供的一种二进制文件支持。这种二进制文件直接将<key,value>对序列化到文件中，一般对小文件可以使用这种文件合并，即将文件名作为key，文件内容作为value序列化到大文件中。 hadoop A...

2015-08-14 19:50:48 8504 3

原创 Hadoop之推测执行

最近在测试环境跑任务，有一部分任务出现如下情况：推测执行(Speculative Execution)是指在集群环境下运行MapReduce，可能是程序Bug，负载不均或者其他的一些问题，导致在一个JOB下的多个TASK速度不一致，比如有的任务已经完成，但是有些任务可能只跑了10%，根据木桶原理，这些任务将成为整个JOB的短板，如果集群启动了推测执行，这时为了最大限度的提高短板，Hadoo...

2015-08-13 16:55:32 10887 1

原创 Hadoop之机架感知

在分布式集群下，由于机架的的槽位和交换机网口数量的限制，使得集群上的机器不得不跨越机架，通常一个大型的集群会跨越很多机架。一般情况机架内机器的通讯会快于跨机架机器之间的通讯，并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。通过机架感知，可以带来性能和安全性的提升，例如：HDFS块为了故障容错，采用机架感知按到一定的策略将某些块放置在不同的机架上，这样就算一个机架瘫痪也不会影...

2015-08-05 17:19:06 6025

简介Flume是一个分布式，可靠的，可以用来有效的收集，聚合和移动大的日志数据的可用服务。它是一个基于数据流的简单且灵活的框架。采用可调可靠性机制和多种故障转移及恢复机制保证很好的稳健性和容错性。它使用了一个简单的可扩展的数据模型，允许在线分析应用。data flow（数据流）是Flume最重要的抽象，data flow描述了从数据产生，传输、处理并最终写入目标路径。下图描述了Flume重要的...

2015-08-31 21:37:30 5522

原创 Flume - 重新编译源码

Flume是一个分布式日志收集系统系统，具体的后面的文章会详细介绍。因为在使用Flame的过程中自定义了一些功能，所以需求重新打包，本篇只讲述如果编译，打包，导入eclipse阅读源码。编译过程中遇到些问题，网上找了好多资料，都无法解决。记录下来，希望能对需要的人有所帮助。

2015-08-31 21:36:25 8507 1

原创 BitSet和布隆过滤器(Bloom Filter)

布隆过滤器Bloom Filter 是由Howard Bloom 在 1970 年提出的二进制向量数据结构，它具有很好的空间和时间效率，被用来检测一个元素是不是集合中的一个成员。如果检测结果为是，该元素不一定在集合中；但如果检测结果为否，该元素一定不在集合中。因此Bloom filter具有100%的召回率。这样每个检测请求返回有“在集合内（可能错误）”和“不在集合内（绝对不在集合内）”两种情...

2015-08-27 20:33:03 5639

转载生产服务器环境最小化安装后 Centos 6.5优化配置备忘

转载地址：http://www.lvtao.net/server/centos-server-setup.html启动网卡#centos6.x最小化安装后，网卡默认不是启动状态ifup eth0SSH链接 ifconfig 查看IP后SSH终端连接。更新源最小化安装是没有wget工具的，必须先安装在修改源)yum install wget备份原系统更新源...

2015-08-26 18:04:28 2367

原创 Memcached之原子性(6)

Memcached所有单个命令都是原子性的。如果针对同一个Item发送一个set命令和一个get命令，这两个命令之间是不会有影响的。即使是在多线程环境下，所有的命令也都是原子性的，但是我们要注意单个命令是原子性的，但是命令和命令之间的序列不是原子性的。例如使用get命令获取一个Item，然后通过set命令修改该Item，这个时候Memcached是无法保证该Item的值或其他属性不会被其他的进...

2015-08-26 18:03:41 3422

原创 Memcached之客户端-xmemcached(5)

高性能Java memcached客户端——Xmemcached发布2.0.0版本，主要改进如下：性能优化，在测试中文本协议实现有接近10%的性能提升。批量获取key如果包含相同的key，会缓存反序列化后的对象，减少重复反序列化的CPU开销。修复getStats没办法获取cache dump的Bug，感谢machao9email。修复ONE_AT...

2015-08-26 09:38:51 3602

原创 Memcached之你真正理解LRU吗(4)

众所周知，Memcached使用的是LRU（Least Recently Used最近最少使用）算法来回收缓存，将那些属于LRU的数据移出内存，从而腾出空间来加载另外的数据。那么Memcached的最近最少使用算法是怎么实现的呢？也许很多人都会回答：不就是在内存满了的情况下，把最近最少使用的Key替换掉，然后插入新的Key-Value键值对吗？其实不然，下面我们来深入的分析Memcached的LR...

2015-08-25 21:58:46 6452

原创 Memcached之stats命令(3)

telnet连接到Memcached服务器以后，可以使用很多命令，比如：get，gets，set，touch，delete，add，replace，append，prepend，incr，decr，cas，flush_all，version，quit等等还有就是该篇要讲的stats命令，该命令可以获取到memcached服务器的相关信息。stats [root@bicloud75...

2015-08-25 16:44:10 3622

原创 Memcached之存储命令(2)

telnet连接到Memcached服务器以后，可以使用很多命令，比如：get，gets，set，touch，delete，add，replace，append，prepend，incr，decr，cas，flush_all，version，quit等等Memcached存储命令的格式： <command name> <key> <flags> &...

2015-08-25 11:51:18 3546

原创 Memcached之Window和Linux安装（1）

Window安装Memecachedwindows下使用memcached，直接在网上下载memcached.exe即可。 Linux安装Memecached1，首先下载Memached安装包：http://www.memcached.org/files/memcached-1.4.22.tar.gz 2，另外，Memcache用到了libevent这个库用于Socket的...

2015-08-25 11:49:57 2551

原创 Maven构建真正的J2EE项目

今天同事问起我目前用Maven构建的多模块项目架构和以前用Eclipse创建的Web项目的问题，下面将讲一下使用maven搭建多模块的J2ee项目，以及采用这种方式搭建项目对日后项目的水平拆分和垂直拆分的好处，最后会给一个示例项目供大家下载。1，安装MavenMaven安装很简单。首先下载Maven，下载地址：http://maven.apache.org/download.cgi...

2015-08-21 10:55:28 4543

原创 Hadoop之HDFS命令

概述所有的HDFS命令都调用bin/hdfs脚本文件，如果运行hdfs脚本没有带任何参数的话，则打印所有命令的描述。使用: hdfs [SHELL_OPTIONS] COMMAND [GENERIC_OPTIONS] [COMMAND_OPTIONS]Hadoop是一个参数解析框架，采用解析泛型选项以及运行类。命令参数描述 --config--loglevel ...

2015-08-19 13:46:56 5756

原创 Win7 VNC远程连接Centos桌面

一，安装Linux桌面：yum -y groupinstall Desktop yum -y groupinstall "X Window System" yum -y groupinstall chinese-support vi /etc/sysconfig/i18n 将en_US改成zh_CN二，安装VNCServer服务包： 1，安装VNCServer服务端...

2015-08-18 09:23:06 4792

原创文件锁-FileLock

最近在看flume部分功能的源码，关于FileLock的使用，其实在很多开源框架都有涉及，我所看过的有lucene，zookeeper，hadoop，es等开源框架都有用到，下面简单的介绍下FileLock。 1，FileLock是独占锁，控制不同程序（JVM）对同一文件的并发访问。 2，可以对写文件(w)加锁，而且必须是可写文件，不然回报：java.nio.cha...

2015-08-17 21:49:03 3857

原创 Hadoop之机房down机后...

由于公司机房异常断电，导致测试环境的hadoop集群数据全部down掉。重启hadoop集群后，访问：http://xxx.xxx.xxx.xx:50070/dfshealth.html提示：NameNode is still loading. Redirecting to the Startup Progress page.如图：这个不是错误。因为hadoop启动时，会进入安全模式进...

2015-08-17 12:33:07 6473

原创 Hadoop之MapReduce的两种任务模式

MapReduce按照任务大小和设置的不同，提供了两种任务模式：客户端通过org.apache.hadoop.mapreduce.protocol.ClientProtocol与服务端通信，ClientProtocol的继承关系：老一些的版本还有一个JobTracker的实现类，即：classic。用于和MapReduce1.X兼容用的，高一些的版本已经没有这个实现类了。一，...

2015-08-16 14:11:51 7453 1

原创 Hadoop之Linux源码编译

Hadoop开篇，按惯例，先编译源码，导入到Eclipse，这样以后要了解那块，或者那块出问题了，直接找源码。

2015-08-15 10:53:26 3180 1

原创并行编程(2) - sum.msic.Unsafe 二

整理了几个以前从网上记录sum.msic.Unsafe类的示例，供大家参考： package com.fish.unsafe;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;import java...

2015-08-14 09:08:21 2226

原创并行编程(1) - sum.msic.Unsafe 一

相信看过java源码的同学，对 sum.msic.Unsafe 这个类并不陌生，特别是在java.util.concurrent包有很多的使用。 sum.msic.Unsafe源码： http://www.docjar.com/html/api/sun/misc/Unsafe.java.html ...

2015-08-14 09:05:40 3003

原创 Hadoop之MapReduce命令

概述所有的Hadoop命令都通过bin/mapred脚本调用。在没有任何参数的情况下，运行mapred脚本将打印该命令描述。使用：mapred [--config confdir] COMMAND[hadoop@hadoopcluster78 bin]$ mapredUsage: mapred [--config confdir] COMMAND where C...

2015-08-13 16:26:43 8062

原创 Hadoop之YARN命令

概述YARN命令是调用bin/yarn脚本文件，如果运行yarn脚本没有带任何参数，则会打印yarn所有命令的描述。使用: yarn [--config confdir] COMMAND [--loglevel loglevel] [GENERIC_OPTIONS] [COMMAND_OPTIONS]YARN有一个参数解析框架，采用解析泛型参数以及运行类。命令参数描述...

2015-08-11 09:41:46 27026

原创 Python之Window环境搭建

一，安装Python我下载的版本是：Python 3.4.3，下载地址是：https://www.python.org/downloads/windows/选择：Latest Python 3 Release - Python 3.4.3然后下载你所需要的安装包：下载后，下一步下一步安装即可。安装过程中，会自动的将Python添加到系统的环境变量中。打开cm

2015-08-10 09:24:58 2211

原创 Hadoop之文件系统Shell

概述：文件系统（FS）Shell包含各种类-Shell的命令，直接和Hadoop分布式文件系统（HDFS）交互，也支持对其他文件系统的支持，例如：本地文件系统FS，HFTP FS，S3 FS，和其他。FS Shell的调用： bin/hadoop fs <args> 所有的FS shell命令都要带URI路径作为参数，URI的格式是：scheme://au...

2015-08-08 14:17:40 4059 1

原创 Hadoop之命令指南

概述所有的Hadoop命令都通过bin/hadoop脚本调用。在没有任何参数的情况下，运行Hadoop脚本将打印该命令描述。 [hduser@hadoop3 hadoop-2.4.1]$ bin/hadoopUsage: hadoop [--config confdir] COMMAND where COMMAND is one of: fs ...

2015-08-07 10:43:30 5101

翻译 Hadoop之集群设置

一，目的如何配置Hadoop集群，如果只是简单的玩玩hadoop(看 Single Node Setup)。该篇不包含Hadoop的一些高级特别，如安全和高可用等。二，安装参考： Hadoop2.2.0分布式安装（详细）三，非安全模式配置Hadoophadoop的配置是由下列两种类型的配置文件驱动的： 1，只读默认配置core-default.xml，...

2015-08-04 20:50:56 3174

qianshanding0708的博客