liangliyin-CSDN博客

原创解决eclipse “unbound classpath variable M2_REPO”问题

对于一个maven管理的java工程来说，zhi'x'n

2014-07-25 17:49:40 606

原创 Hadoop2启用cgroup

NodeManager启用cgroup资源隔离（Hadoop2.3）1、准备container-executor.cfg文件$ cat ${HADOOP_HOME}/etc/hadoop/container-executor.cfgyarn.nodemanager.linux-container-executor.group=users 注意：'users'来自$ groups 返

2014-03-19 20:16:26 1157

原创 Hadoop2中启用snappy

Snappy是一个压缩/解压缩库。它的压缩率并非最高，但是它在保证一定压缩率情况下，压缩及解压缩速度非常快。基于以上特点，Snappy非常适合用于Hadoop MapReduce中间数据压缩。Snappy详情参见：http://code.google.com/p/snappy/。本文将介绍如何在Hadoop2中启用Snappy压缩。1、下载Snappy的rpm包：http://www.r

2014-03-19 20:07:32 1244 1

原创 Uber模式参数（客户端配置）

Uber模式是Hadoop2.0中实现的一种针对MR小作业的优化机制。即如果作业足够小，则所有task在一个jvm（mrappmaster）中完成要比为每个task启动一个container更划算。下面是该机制的相关参数，这些参数均为客户端配置。总开关mapreduce.job.ubertask.enable 默认值：false作业规模条件mapreduce.job.u

2014-03-10 16:10:06 1218

原创 MR作业Container资源计算方式

Container for taskmemory单位：mega bytes默认值：1024首选"mapreduce.map|reduce.memory.mb" 默认值：0其次获取-Xmx配置的heapsize配置项首选 "mapreduce.map|reduce.java.opts"其次 "mapred.child.java.opts" 默认值：-Xmx200mxm

2014-03-07 19:35:43 1381

原创 Apache Hadoop YARN：背景及概述

从2012年8月开始Apache Hadoop YARN（YARN = Yet Another Resource Negotiator）成了Apache Hadoop的一项子工程。自此Apache Hadoop由下面四个子工程组成：Hadoop Comon：核心库，为其他部分服务Hadoop HDFS：分布式存储系统Hadoop MapReduce：MapReduce模型的开源实现Hado

2014-03-07 19:31:50 677

翻译 NFS配置详解

概述：NFS是Netword File System的缩写，是Unix和Linux原生的文件及目录共享机制。从概念上将NFS非常简单。在服务端（允许其他电脑使用其磁盘空间的电脑）的/etc/exports文件中增加一行来允许它被客户使用，这称为共享。例如，为了将/home/myself共享给子网192.168.100，掩码255.255.255.0的机器来读和写，需要将以下行加入到服务端的

2012-05-27 21:59:24 139

原创 Hadoop的TaskTracker黑名单机制

Note：这里描述的黑名单是指jobtracker网页summary表格中显示的”Blacklisted Nodes"，称之为集群黑名单. 在HADOOP-4305之前，Hadoop中每个job会维护一个TaskTracker黑名单，这里称之为job黑名单。简单来讲就是当一个job中有4个task曾经在某个tasktracker上失败过，则该job就将这个tasktracker加入自己的

2012-05-27 13:06:35 3408 1

原创 JobTracker dump内存记录

1、dump命令行：jmap -dump:live,format=b,file=heap.bin 93592、dump时机：CMS GC结束后，这时heap最小，Full GC也最快2012-05-02T22:08:11.226+0800: 470959.079: [GC [1 CMS-initial-mark: 103404048K(121634816K)] 10379784

2012-05-02 22:54:42 1611

原创 Hadoop实现Secondary Sort

在hadoop中每个reduce的输入的key都是有序的，而value则是无序的。而且同一个job运行多次，由于map完成顺序不同，reduce收到的value顺序是不固定的。那如何才能实现reduce收到有序的value呢？这就需要Secondary Sort。Secondary Sort要解决的问题：reduce收到的value有序。这里举一个场景，来说明Secondary Sort是

2012-04-18 20:06:13 4134 3

转载 Linux inotify example

#include #include #include #include #include #include #include void get_event (int fd, const char * target);void handle_error (int error);/* ------------------------------------------------

2012-03-28 18:54:07 836

原创 Java String性能提示

不用使用String的构造函数，可能的话直接使用字符串。两个特例：1）想把char []转换为一个String, 2) 使用一个大的String对象的substring()方法；String.equals() 比String.equalsIgnoreCase()要快；尽量使用StringBuilder来构造一个String，而不是“+”操作符和String.concat()（除非是一个表达

2012-03-06 23:44:35 1345

翻译如何中止Java线程

使用Java内置支持的线程写多线程程序是很常见的事情。然而，多线程给开发人员带来了一些新的挑战。如果处理不好就会导致超出预期的行为以及难于定位的错误。这篇文章解读了其中一个挑战：如何中止一个正在运行的线程。背景中止一个线程意味着在线程处理完任务之前停掉正在做的操作，特别是放弃当前的操作。之后无论线程死掉，等待新的任务，或者执行下一步取决于应用程序的逻辑。虽然这看起

2012-03-02 21:13:36 3107

翻译优化Java性能的十三条建议

1、使用带缓冲的 I/O 使用不带缓冲的I/O，一些方法会引发大量的系统调用，如InputStream.read()。在解析输入时，这是很常见的代码，例如从网络传递的命令或者从磁盘读取的配置数据。2、尽量避免new 垃圾回收通常不是一个严重的性能开销。但是new操作引发的Java虚拟机内部的同步机制会使得多线程的应用程序出现竞争锁现象。有些时候通过重用byte数组，或

2011-11-22 23:22:46 157

原创用protobuf替换hadoop中rpc的返回值

protobuf是谷歌开发的一套序列化结构化数据用以通讯协议，存储数据等的框架，支持c++、java、python等语言。Hadoop 0.23及之后版本将使用protobuf实现rpc的序列化及反序列化。这里做了一个实验，在hadoop 0.19上实现用protobuf序列化/

2011-10-06 16:15:13 1938

原创用protobuf替换hadoop中rpc的返回值

protobuf是谷歌开发的一套序列化结构化数据用以通讯协议，存储数据等的框架，支持c++、java、python等语言。

2011-10-06 14:19:59 134

翻译可读的JVM GC时间戳

当我们诊断Java应用程序的问题时，能够查到垃圾回收的状况是非常有帮助的。一个基本的最基础的方法是开启垃圾回收日志。也许你已经知道了，如果我们把下面的参数加到java启动命令行中，-Xloggc: –XX:+PrintGCDetails -XX:+PrintGCDateS

2011-08-22 23:16:20 2405

原创 Hadoop 0.21如何运行单个test case

研究Hadoop 0.21代码时，很多情况下需要运行单个test case，如果新增了功能要测试case能否通过或者自己写的test case需要测试等。而把test case全部运行一遍是很耗时的，严重影响开发效率。这里提供一个0.21 mapreduce的一个diff文件，用

2011-07-30 16:34:07 1183

原创动态调整配置

对于Hadoop集群这样的分布式系统，有些参数是需要经常调整的，但是又不想重启daemon进程。原因很明显，重启任何一个daemon进程都是要付出代价的。例如重启master相当于停服务，集群直接不可用；重启TaskTracker会导致部分task失败重跑，延长job运行时间等。因此动态调整配置是迫切需要的。总结起来，要实现动态调整配置，大概有以下几种方法：1、通过命令行方式手工刷新配置这

2011-06-20 21:58:00 3082 1

Reduce task启动后第一个阶段是shuffle，即向map端fetch数据。每次fetch都可能因为connect超时，read超时，checksum错误等原因而失败。Reduce task为每个map设置了一个计数器，用以记录fetch该map输出时失败的次数。当失败次数达到一定阈值时，会通知JobTracker fetch该map输出操作失败次数太多了，并打印如下log： Failed to fetch map-output from attempt_201105261254_1027

2011-05-30 22:22:00 6774 2

原创 svn 常用命令

1、创建branchsvn copy http://svn.dev.your/repo/trunk/ http://svn.dev.your/repo/branch/ -m "SVN MESSAGE"2、重命名brachsvn move http://svn.dev.your/repo/branch/ http://svn.dev.your/repo/branch-new/ -m "SVN MESSAGE"3、从trunk中merge改动到branch在branch的本地目录下

2011-05-19 13:44:00 1668

原创使用sudo及tee保存vi编辑的文件

None

2011-05-17 10:10:00 2160

原创 NameNode启动中image文件处理流程

NameNode时与image文件相关的大概有下面三步操作：第一步加载imageNameNode启动后时首先加载硬盘上的fsimage文件（保持了整个命名空间）和edits文件（保持了命名空间的操作日志），在内存中merge后将新的fsimage写到磁盘上，即做一次checkpoint。其中加载过程如图1所示：图1 加载image文件流程对于云梯1来说，Nam

2011-04-28 22:47:00 1372

原创如何挂载只读的Linux文件系统

mount命令用来挂载一个设备上发现的文件系统。例如，我们在/dev/sdb3(磁盘"b": scsi/sata的第3个分区)上有一个ext3文件系统，想挂载在/media/otherdisk上。则完整的命令是：$mount –t ext3 /dev/sdb3 /media/otherdisk通常可以省去文件系统类型（命令中的"-t ext3"）。如果关系已经定义在/etc/fstab，则设备名也可以省去，因为从那个文件中可以获取这些信息：$mount /media/otherdisk现在

2011-01-23 15:33:00 6080 1

原创如何用Shell逐行读取文件

在学习Linux shell scripts时，一个最常见的错误就是用for（for line in $(cat file.txt) do …）循环逐行读取文件。下面的例子可以看出这样做的结果。文件file.txt内容：cat file.txt This is the row No 1;This is the row No 2;This is the row No 3. 用for循环的例子：for line in $(cat file.txt); do echo $line;

2010-12-29 21:54:00 5180

原创 Linux Shell：字符串长度

当在Linux上写shell脚本时，可能需要知道一个字符串的长度。方法之一是用expr命令： expr length STRING例如显示字符串"alibaba"的长度： expr length "alibaba"输出： 7另一种方法是使用echo命令，同样显示"alibaba"的长度： myVar="alibaba"echo ${#myVar}输出： 7

2010-12-16 22:51:00 1894

原创 Java中User Thread和Daemon Thread的区别

Java将线程分为User线程和Daemon线程两种。通常Daemon线程用来为User线程提供某些服务。程序的main()方法线程是一个User进程。User进程创建的进程为User进程。当所有的User线程结束后，JVM才会结束。通过在一个线程对象上调用setDaemon(true)，可以将user线程创建的线程明确地设置成Daemon线程。例如，时钟处理线程、idle线程、垃圾回收线程、屏幕更新线程等，都是Daemon线程。通常新创建的线程会从创建它的进程哪里继承daemon状态，除非

2010-12-14 22:52:00 5141 1

原创 StringBuffer和StringBuilder的性能比较

None

2010-11-04 22:00:00 127

原创查看文件的block size

当向HDFS上写文件时，可以通过设置dfs.block.size配置项来设置文件的block size，这导致HDFS上不同文件的block size是不同的。有时候我们需要知道HDFS上某个文件的block size，比如想知道该该文件作为job的输入会创建几个map等。Hadoop FS Shell提供了一个-stat选项可以达到目的。官方文档描述这个选项时遗漏了可选参数。-stat选项的使用格式是：{HADOOP_HOME}/bin/hadoop fs –stat [format] 其中可选的

2010-11-03 10:49:00 4590 1

原创 Linux的sed工具

你可以用sed命令像文本处理器的查找替换功能一样，用一个字符串替换文件中的某个字符串。sed命令还可以从文件中删除连续的行。因为sed是一个流编辑器，它把给定的文件作为输入，将输出打印到屏幕，除非将输出重定向到一个文件。换句话说，sed不改变输入文件。 sed命令的一个形式如下：替换：sed 's///g' 删除：sed ',d' 我们先看下替换的例子。如果想把文件poem.txt中出现的所有lamb替换成ham，命令如下： cat poem.txt Mary had a l

2010-11-02 23:21:00 894

原创 Python的range和xrange

在Python中range和xrange是不同的，你正确使用了吗？两者的区别是微妙的。为了简单起见，这里省略两个函数的可选参数start和step。range返回值和想象的一样：一个从0开始指定长度的连续整数序列。然而，xrange返回一个"xrange 对象"，该对象非常类似于迭代器。如果你曾经研究过迭代器，则两者的区别就很明显了。下面是个例子： range(1000000)xrange(1000000)range(1000000)会返回一个100万个整数的序列，而xrange(100000

2010-11-01 21:48:00 2767 1

原创如何从文件中选择列

cut命令可以从文件中提取一个垂直的切片，并打印出指定的列或字段。同sort命令一样，cut命令将空格隔开的单词定义为字段，除非指定了自己的分隔符。而列是指每一行的第n个字符。也就是说，第5列包含了每一个的第5个字符。下面是文件company.data的内容： 406378:Sales:Itorre:Jan031762:Marketing:Nasium:Jim636496:Research:Ancholie:Mel396082:Sales:Jucacion:Ed如果要打印每

2010-09-11 20:04:00 910

原创 Hadoop的fsck工具

HDFS支持fsck命令用以检查各种不一致。fsck用以报告各种文件问题，如block丢失或缺少block等。fack命令用法如下：bin/hadoop fsck [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]] 检查的起始目录-move 将损坏的文件移动到/lost+found下面-delete 删除损坏的文件-openforwrite

2010-09-08 23:50:00 4913 1

原创参加Hadoop中国2010感受

上周末有幸以出差的形式参加了Hadoop中国2010大会，第一次参加带着几分兴奋。进入会场后第一感觉是人很多，会议开始后更是座无虚席。这从一个侧面表明Hadoop在国内关注度已经很高了。从与会专家的身份来看，基本上可以分为三类：学术界、互联网公司一线工程师、互联网公司服务商。其中学术界大多来自中科院研究所，从他们的演讲来看，已经与业界相脱离。他们自身基本没有大规模集群和数据，所提出的问题也没有针对性，因此这些人不会对Hadoop社区和业界做出贡献。而诸如IBM、EMC，INTEL等公司，他们研究H

2010-09-07 14:20:00 1540

原创用Word2007发布CSDN博客

搞了半天终于可以用word2007发布CSDN博客了，特分享出来，以方便其他用户。 启动word2007后，点击左上角的office按钮，并将鼠标指向“发布”，得到如图1所示的界面。 图1 office按钮 然后点击“博客”，此时如果没有注册账号会弹出注册账号对话框，如果已经有账号直接进入博客文章页面，点击图2所示的管理账号，然后点击“新建”也可以进入图3所示的注册账号对话框。 图2 博客文

2010-09-07 13:16:00 591

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

glut 头文件 dll文件 lib文件

平面反射 openGL实例

支付宝API接口开发相关文档以及 C# .net php实例

支付宝API接口开发相关文档 jsp 程序实例

支付宝API接口开发相关文档 asp 程序实例

支付宝网上快速付款技术集成文档

DDS_Viewer

空空如也