- 博客(22)
- 收藏
- 关注
RSS订阅转载 hadoop 里执行 MapReduce 任务的几种常见方式
说明： 测试文件： 1echo -e "aa\tbb \tcc\nbb\tcc\tdd" > 3.txt1hadoop fs -put 3.txt /tmp/3.txt全文的例子均以该文件做测试用例，统计单词出现的次数（WordCount）。 1、原生态的
2013-07-04 10:48:48
1131
转载 ActiveMQ详细笔记（一）
ActiveMQ的安装安装要求：部署需要jdk1.5及以上，编译需要jdk1.5（java5）及以上Java的环境变量（JAVA_HOME）必须设置，即jdk安装的目录，比如c:\Program Files\jsdk.1.6下载ActiveMQ：http://activemq.apache.org/download.html解压，如图：运行bin文件夹下的act
2013-06-19 11:20:50
2109
转载 SSH 原理与运用
SSH 是每一台 Linux 电脑的标准配置。 随着 Linux 设备从电脑逐渐扩展到手机、外设和家用电器，SSH 的使用范围也越来越广。不仅程序员离不开它，很多普通用户也每天使用。 SSH 具备多种功能，可以用于很多场合。有些事情，没有它就是办不成。本文是我的学习笔记，总结和解释了 SSH 的常见用法，希望对大家有用。 虽然本文内容只涉及初级应用，较为简单，但是需要读者具备最基
2013-06-18 11:43:32
418
转载 hadoop编译
在YARN自带的软件包中有关于编译的说明，具体参见：BUILDING.txt。在RetHat中编译YARN，Jdk为1.6.0_23.1.下载YARN源码包下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.0.2-alpha/（这里下载的版本为2.0.2），下载hadoop-2.0.2-alpha-src
2013-06-14 17:07:57
1023
转载 Spring与JMX集成
Spring与JMX集成，实现方式灵活而且简单，主要体现在：1、可以自动探测实现MBean接口的MBean对象，而且可以将一个普通的Spring Bean注册为MBean；2、定制管理MBean的接口，根据需要暴露特定管理MBean的操作；3、使用注解定义MBean管理接口；4、可以实现对本地和远程MBean的代理。 标准MBean管理对于实现标准MBean接口MBea
2013-06-04 16:35:05
572
转载 JMX 与系统监控管理
前言在 Java 程序的运行过程中，对 JVM 和系统的监测一直是 Java 开发人员在开发过程所需要的。一直以来，Java 开发人员必须通过一些底层的 JVM API，比如 JVMPI 和 JVMTI 等，才能监测 Java 程序运行过程中的 JVM 和系统的一系列情况，这种方式一直以来被人所诟病，因为这需要大量的 C 程序和 JNI 调用，开发效率十分低下。于是出现了各种不同的专门做资源管
2013-06-04 15:52:49
764
转载 hadoop系统的端口
hadoop系统的端口hadoop系统部署时用到不少端口。有的是Web UI所使用的，有的是内部通信所使用的，有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。1.系统8080，80 用于tomcat和apache的端口。22 ssh的端口 2.Web UI用于访问和监控Hadoop系统运行状态
2013-05-17 16:19:58
1675
转载 Hadoop MapReduceV2(Yarn) 框架简介
Hadoop MapReduceV2(Yarn) 框架简介原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考Hadoop 官方简介。使用和学习过老 Hadoop 框架（0.20.0 及之前版本）的同仁应该很熟悉如下的原 MapRe
2013-05-17 14:54:22
1237
1
转载 hadoop三个配置文件的参数含义说明
1 获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到co
2013-05-07 09:48:33
741
转载 Hadoop本地库与系统版本不一致引起的错误解决方法
部署Hadoop的集群环境为 操作系统 CentOS 5.8 hadoop版本为cloudera hadoop-0.20.2-cdh3u3集群中设置支持gzip lzo压缩后，在对压缩文件进行读取或者对输入文件压缩的时候要使用到hadoop的本地库，本地库的默认位置在$HADOOP_HOME/lib/native/Linux-amd64-64 (64位操作系统
2013-05-07 09:21:05
589
转载 Hadoop 2.0集群配置详细教程
Hadoop 2.0集群配置详细教程前言Hadoop2.0介绍Hadoop是 apache 的开源 项目，开发的主要目的是为了构建可靠，可拓展 scalable ，分布式的系 统， hadoop 是一系列的子工程的 总和，其中包含1. hadoop common ： 为其他项目提供基础设施2. HDFS ：分布式的文件系 统3. MapReduce ： A software
2013-05-02 17:04:01
622
转载 linux(centos5.8)环境下Hadoop 2.0.2单机部署以及Eclipse环境搭建
Hadoop 2.0.2-alpha单机部署（1）新建hadoop用户以及hadoop用户组首先取得root权限新 $ su -建用户hadoop组 # groupadd hadoop新建用户hadoop，放入hadoop组中，并设置主目录为/home/hadoop # useradd -g hadoop -d /home/
2013-05-02 16:47:35
1071
转载 GC实践
首先感谢阿宝同学的帮助，我才对这个gc算法的调整有了一定的认识，而不是停留在过去仅仅了解的阶段。在读过sun的文档和跟阿宝讨论之后，做个小小的总结。 CMS，全称Concurrent Low Pause Collector，是jdk1.4后期版本开始引入的新gc算法，在jdk5和jdk6中得到了进一步改进，它的主要适合场景是对响应时间的重要性需求大于对吞吐量的要求，能够承受垃圾回收线程和
2013-04-12 14:50:54
549
转载 Java程序员常用工具集
我发现很多人没办法高效地解决问题的关键原因是不熟悉工具，不熟悉工具也还罢了，甚至还不知道怎么去找工具，这个问题就大条了。我想列下我能想到的一个Java程序员会用到的常用工具。一、编码工具1.IDE：Eclipse或者IDEA，熟悉尽可能多的快捷键，《Eclipse常见快捷键列表》2.插件： (1) Findbugs，在release之前进行一次静态代码检查是必须的(2)
2013-04-12 14:46:34
498
转载 top命令：实时显示进程资源
top命令是Linux系统常用的工具，它可以显示系统当前的进程占用CPU的占用情况，并根据CPU的处理情况不断地进行实时刷新，在默认情况下，top每隔五秒钟就刷新一次屏幕。如果在前台执行该命令，它将独占前台，直到用户终止该程序为止。top命令提供了实时的对系统处理器的状态监视。该命令可以按CPU使用、内存使用和执行时间对任务进行排序；而且该命令的很多特性都可以通过交互式命令或者在个人定制文件中进行
2013-04-10 16:14:59
1479
转载 jstat使用方法
jstat 1. jstat -gc pid 可以显示gc的信息，查看gc的次数，及时间。 其中最后五项，分别是young gc的次数，young gc的时间，full gc的次数，full gc的时间，gc的总时间。 2.jstat -gccapacity pid
2013-04-10 16:12:37
614
转载 Linux procfs详解
Linux procfs详解1.0 proc文件系统总览在类Unix系统中体现了一种良好的抽象哲学，就是几乎所有的数据实体都被抽象成一个统一的接口--文件来看待，这样我们就可以用一些简单的基本工具完成大量复杂的操作。在Linux中存在着一类特殊的伪文件系统，用于使用与文件接口统一的操作来完成各种功能，例如ptyfs、devfs、sysfs和procfs。而procfs就是其中应用最广泛
2013-03-20 10:41:09
985
转载 Linux-proc
proc 文件系统 在Linux中有额外的机制可以为内核和内核模块将信息发送给进程-- /proc 文件系统。最初设计的目的是允许更方便的对进程信息进行访问（因此得名），现在它被每一个有有趣的东西报告的内核使用，例如/proc/modules 有模块的列表/proc/meminfo 有内存使用的统计表。 使用proc 文件系统的方法和使用设备驱动程序非常相似--创建一个/pro
2013-03-20 09:46:52
832
转载 Apache ActiveMQ学习笔记【mq的方式有两种：点到点和发布/订阅】
Apache ActiveMQ学习笔记【mq的方式有两种：点到点和发布/订阅】一.简介ActiveMQActiveMQ 是最流行的，能力强劲的开源消息总线。ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的JMS Provider实现二.下载ActiveMQ首先去http://activemq.apache.org/download.html 下载稳定版本4.
2013-03-01 14:38:53
1228
转载 Apache_ActiveMQ教程
一、特性及优势1、实现JMS1.1规范，支持J2EE1.4以上2、可运行于任何jvm和大部分web容器（ActiveMQ works great in any JVM）3、支持多种语言客户端（java, C, C++, AJAX, ACTIONSCRIPT等等）4、支持多种协议（stomp，openwire，REST）5、良好的spring支持（ActiveMQ hasgrea
2013-03-01 14:37:57
466
转载 JMS和ActiveMQ学习笔记
[1]在介绍ActiveMQ之前，首先简要介绍一下JMS规范。JMS的简介:(1)JMS（Java Message Service，Java消息服务）是一组Java应用程序接口(Java API)，它提供创建、发送、接收、读取消息的服务。JMS 使您能够通过消息收发服务从一个 JMS 客户机向另一个 JML 客户机交流消息。JMS是一种与厂商无关的 API，用来访问消息收发
2013-02-04 12:22:55
1816
转载 MINA学习
工作中遇到了MINA，以前没接触过，所以就想搞搞明白这东西干嘛的，怎么玩起来的。最近花了几天时间去学习，这里做个小结以整理知识加深理解。 Apache MINA是一个网络应用框架框架，用来帮助用户简单地开发高性能和高可靠性的网络应用程序。它提供了一个通过Java NIO在不同的传输例如TCP/IP和UDP/IP上抽象的事件驱动的异步API。（至少知道是搞网络的框架了~~~）
2013-02-04 11:29:57
975
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人