smn3255-CSDN博客

转载 HDFS分析

这里将给出HDFS一些主要类的关系图： NameNode背后的类图： DataNode存储相关的类图： Block：HDFS内部以Block的形式保存数据，Block的大小比较大，默认64M。BlockInfo：继承了Block，额外包含INodeFile信息，这个在namenode是持久化在磁盘里面的，

2013-02-24 15:38:18 379

原创 hadoop源码找不到org.apache.test.ant

去apache官网，下载ant包。http://ant.apache.org/解压后把ant.jar导入项目中。

2013-01-20 16:56:43 408

转载 Runtime学习

1 JDK中Runtime的定义http://blog.csdn.net/lysnow_oss/archive/2007/05/12/1606349.aspx那就首先说点Runtime类吧，他是一个与JVM运行时环境有关的类，这个类是Singleton的。我说几个自己觉得重要的地方。1、Runtime.getRuntime()可以取

2012-12-03 15:23:58 483

转载 hadoop作业调度详解之TaskTracker

6. TaskTracker TaskTracker是在网络环境中开始和跟踪任务的核心位置。与Jobtracker连接请求执行任务而后报告任务状态6.0 TaskTracker的启动 1. 与JobTracker一样，里面包含一个main()方法，在hadoop启动的时候启动此进程。 Main()方法最主要的一句话 TaskTracker(

2012-12-02 19:21:33 992

转载 hadoop作业调度详解之JobTracker

5.JobTracker JobTracker是在网络环境中提交及运行MR任务的核心位置。5.0 JobTracker启动 JobTracker类中有一个main()函数，hadoop启动的时候执行此main()函数启动JobTracker进程，main()中生成一个JobTracker的对象，然后通过tracker.offerService()语句启

2012-12-01 22:28:10 3819

转载 hadoop作业调度详解之JobClient

4.Jobclient 4.0 配置一个作业在编写MapReduce程序时通常是上是这样写的: Job job=new Job(conf,"ClosedDataCube"); //指定作业代码 job.setJarByClass(ClosedDataCube.class);

2012-12-01 16:07:01 3447

转载 hadoop作业调度详解

本文：参考了网上的博文。出处也不知是哪里，不好意思。最近整理磁盘文档发现的好资料所以整理补充了一下供大家学习参考一下吧。1.主要组成部分： Hadoop包括hdfs与mapreduce两部分，hdfs则为底层的分布式存储系统、mapreduce则为用于处理存储在hdfs中的数据的编程模型。 mapreduce作业提交执行主要涉及到这几个主要的类：jobclient，JobTra

2012-12-01 10:49:23 910

转载让rm–rf 不那么危险

“命令敲得多了，常在河边走，难免会湿鞋”前几天，一手误，敲错了命令，把在线的ORACLE数据文件给rm -rf掉了，当时大脑翁的一下，彻底蒙了，10分钟内我什么也没有坐，让自己的情绪平和下来。想了下要怎么办，还好数据库是做了定时rman备份，直接将所有的数据库文件进行了restore和recover，索性比较顺利，如果不是备份的数据库文件被删除，那可能就得用到ext3grep工具来做恢

2012-11-30 11:42:46 539

转载 Linux查看网络流量

在GUI下面，有一大把的工具可以显示网络流量，那么，命令行下面怎么办？显然办法是有的，比如，ifconfig，会有这样的输出：RX bytes:1224128649 (1.1 GiB) TX bytes:34114947 (32.5 MiB)过一会再看，数值有所变化，两者的差值就是过去一段时间的流量。可是，这也太不人性化了……正所谓自己动手，丰衣足食，我们自己来写一个

2012-11-29 11:17:54 488

转载 Hadoop的TaskTracker黑名单机制

Note：这里描述的黑名单是指jobtracker网页summary表格中显示的”Blacklisted Nodes"，称之为集群黑名单. 在HADOOP-4305之前，Hadoop中每个job会维护一个TaskTracker黑名单，这里称之为job黑名单。简单来讲就是当一个job中有4个task曾经在某个tasktracker上失败过，则该job就将这个tasktracker加入自

2012-11-28 11:29:35 448

转载 Linux服务器性能评估与优化

一、影响Linux服务器性能的因素 1. 操作系统级 Ø CPUØ 内存Ø 磁盘I/O带宽Ø 网络I/O带宽 2. 程序应用级二、系统性能评估标准影响性能因素评判标准好坏糟糕CPUuser

2012-11-22 18:02:13 541

转载 Hadoop 解除 "Name node is in safe mode"

运行hadoop程序时，中途我把它终止了，然后再向hdfs加文件或删除文件时，出现Name node is in safe mode错误：rmr: org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode解决的命令：bin/hadoo

2012-11-22 15:47:22 525

转载 linux iostat命令详解

Linux系统出现了性能问题，一般我们可以通过top、iostat、free、vmstat等命令来查看初步定位问题。其中iostat可以给我们提供丰富的IO状态数据。基本使用$iostat -d -k 1 10参数 -d 表示，显示设备（磁盘）使用状态；-k某些使用block为单位的列强制使用Kilobytes为单位；1 10表示，数据显示每隔1秒刷新一次，共显示10次。

2012-11-21 17:36:58 509

转载检测linux IO系统性能

dd其实是工作于比较低层的一个数据拷贝和转换的linix平台的工具，但是因为dd命令支持linix平台的一些特殊设备，因此我们可以利用dd命令的这个特性来简单的测试磁盘的性能。　　dd命令　　先说一下两个相关的特殊设备　　/dev/null 　　空设备，通常用作输出设备，这个是*nix系统上面的黑洞，所有送到这个空设备上的内容都会凭空消失。　　/de

2012-11-21 17:28:35 420

转载 Linux常用性能检测命令

一、uptime Uptime命令的显示结果包括服务器已经运行了多长时间，有多少登陆用户和对服务器性能的总体评估（load average）。load average值分别记录了上个1分钟，5分钟和15分钟间隔的负载情况，load average不是一个百分比，而是在队列中等待执行的进程的数量。如果进程要求CPU时间被阻塞（意味着CPU没有时间处理它），load average值将增加

2012-11-21 17:23:44 432

原创 ubuntu新添加用户无法sudo问题的解决

Ubuntu新添加的hadoop用户无法通过sudo执行命令，提示：hadoop is not in the sudoers file... 解决这个问题只需要修改/etc/sudoers文件即可，但是这个文件的修改要很小心，它默认的权限为440，所以要改权限，修改完文件再把权限改回去。解决步骤： 1. su root 2. chmod a+w /etc/

2012-10-13 23:11:08 1304

转载 String类的split方法引起的内存泄漏

原帖：http://www.iteye.com/topic/626801一直赞叹Sun对待技术的严谨和优雅（可怜的Sun）。Sun JDK中Java库的源代码，连注释都清清楚楚、规规范范，javadoc注解的使用也一丝不苟，读起来很熟舒服。因此，在日常工作和学习中，经常读读 Java库的源代码，不亦乐乎？如果遇到诡异问题，源代码的帮助就更大了。闲话少说，回归正题。这几天，一直

2012-05-25 20:39:32 843

原创 strom实战--在Bolt中传递对象

有时我们需要在一个Bolt(FirBolt)中将一个对象emit到下一个Bolt(SecBolt)后，将其保存起来，等其它触发条件发生时，修改这个对象的值，然后再将其emit到下一个Bolt，这是我发现如果在上一个对象没有被SecBolt处理的时候，将更新后的这个对象emit给SecBolt的话，第一次emit的值会变得和第二次emit的值一样。不知道这是不是Storm的一个Bug。我开始以为

2012-04-13 21:16:26 1671

原创 storm实战--TimeCacheMap的使用

经过实践发现，原文对TimeCacheMap的使用是错误的（#线下方是原文章），实现TimeCacheMap的序列化后，TimeCacheMap的自动删除的功能将失效。原因应该是在序列化过程中TimeCacheMap的自动删除线程将会对原集合进行深度拷贝，然后每次的清理将在新的集合上进行，原集合的数据将不会被清理。正确的使用方法是：在你的bolt的开头声明你用于保存信息的集合，然后在p

2012-04-13 20:49:54 3281 2

smn3255的专栏