2013年09月_迷途小码

12月 11月 10月 09月 08月 07月 04月

转载 bytes of a string in java?

Question:In java if i have a String x how can i calculate the number of bytes in that string?As such, your question doesn't make any sense, since a string is a list of characters (i.e. code poin

2013-09-29 15:50:16 718

转载 hadoop配置 - using the other hard disks

I've got a small cluster of 3 nodes with 5 x 2 TB hard drives in each computer.All are running Ubuntu, have the same hardware specs, and are using Apache Hadoop 1.0.4.The hard disks are mounted as

2013-09-29 15:42:58 691

转载 hadoop命令 - Hadoop Non DFS Used concept

使用hadoop dfadmin –report,结果如下：[grid@h1 hadoop]$ bin/hadoop dfsadmin-reportConfigured Capacity: 33518518272 (31.22 GB)Present Capacity: 17089126400 (15.92 GB)DFS Remaining:17088819200 (15.9

2013-09-27 15:40:14 3382

转载 hadoop介绍 - Hadoop secondarynamenode concept

On hadoop0.23.0 release there is no conf/masters file where we used to specify the host address where secondary name node needs to start.The documentation for 0.23 is a bit sparse and I had to dig

2013-09-27 15:33:18 956

转载 Incompatible namespaceIDs

发生的场景：本机上启动一个namenode和一个datanode ，然后datanode无法启动。错误：namespaceIDs不一致。原因：每次namenode format会重新创建一个namenodeId,而tmp/dfs/data下包含了上次format下的id,namenode format清空了namenode下的数据,但是没有晴空datanode下的数据,导致启动时失败

2013-09-27 11:45:24 745

转载 Java IO性能分析

IO操作几乎对于所有的应用都是非常重要的，因为IO操作非常容易导致性能瓶颈。在Java的世界里存在两大类IO，传统IO（TIO）和新IO(NIO)。外加一个即将到来的增强版的NIO——NIO2（JDK7）。 NIO（以及NIO2）主要用于在一些特定情况下增强性能、提供更好的操作系统层次IO功 IO操作几乎对于所有的应用都是非常重要的，因为IO操作非

2013-09-26 18:01:59 1254

转载 Crontab的格式

第1列分钟1～59第2列小时1～23（0表示子夜）第3列日1～31第4列月1～12第5列星期0～6（0表示星期天）第6列要运行的命令下面是crontab的格式：分时日月星期要运行的命令这里有crontab文件条目的一些例子：30 21 * * * /usr/local/apache/bin/apachectl restart上面的例子表示每晚的21

2013-09-26 10:24:15 573

转载 Linux系统信息查看命令大全

系统# uname -a # 查看内核/操作系统/CPU信息# head -n 1 /etc/issue # 查看操作系统版本# cat /proc/cpuinfo # 查看CPU信息# hostname # 查看计算机名# lspci -tv # 列出所有PCI设备# lsusb -tv

2013-09-24 10:54:42 504

转载获取前一天日期的方法

linux下前一天的日期date -d"1 day ago" +"%y%m%d"前一个月的日期date -d"1 month ago" +"%y%m%d"类似的还有date -d"-1 day ago 1 month ago" +"%y%m%d"date -d"1 day ago -1 year ago 1 month ago" +"%y%m%d"

2013-09-23 17:10:47 1173

转载使用Hadoop har归档历史文件(小文件)

应用场景我们的hdfs中保存大量小文件（当然不产生小文件是最佳实践），这样会把namenode的namespace搞的很大。namespace保存着hdfs文件的inode信息，文件越多需要的namenode内存越大，但内存毕竟是有限的（这个是目前hadoop的硬伤）。下面图片展示了，har文档的结构。har文件是通过mapreduce生成的，job结束后源文件不会删除。

2013-09-17 15:12:38 3049

转载 Unable to load native-hadoop library 和 Snappy native library not loaded 的解决

日志中总会看到这两句话：13/05/03 11:58:57 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable13/05/03 11:58:57 WARN snappy.Load

2013-09-16 09:01:26 2730

转载把Job分割成map和reduce

合理地选择Job中 Tasks数的大小能显著的改善Hadoop执行的性能。增加task的个数会增加系统框架的开销，但同时也会增强负载均衡并降低任务失败的开销。一个极端是1个map、1个reduce的情况，这样没有任务并行。另一个极端是1,000,000个map、1,000,000个reduce的情况，会由于框架的开销过大而使得系统资源耗尽。Map任务的数量Map的数量经常是由输入数据中

2013-09-10 17:47:06 876

转载文件复制示例

指定map输出类型作者: woodbow日期: 2013 年 2 月 25 日发表评论 (0)查看评论在hadoop中写map/reduce的时候如果不指定map的输出类型，那么map的输出类型和reduce的输出类型一样，通过setOutputKeyClass，setOutputValueClass指定map和reduce的输出，如果要单独指定map的输出可以通过setMapOut

2013-09-09 10:01:24 632

转载 java.lang.RuntimeException: java.lang.ClassNotFoundException: xxxxMapper

解决方法最近做hadoop集群试验，用的hadoop1.0.2，遇到这么个问题，将写好的jar包，放到linux上后，执行hadoop jar hadoopTest.jar test.XXXCount input output 后，运行时，会报下面的警告WARN mapred.JobClient: No job jar file set. User classes may

2013-09-06 16:02:21 1357

转载 Hadoop Map-Reduce 天气示例

我们照着Hadoop教程简单的写了一个例子，它可以用于分析天气数据然后找到某年的最高气温。我们是用hadoop 0.20的新的API写的，具体代码如下：Mapper类：/* */ package com.charles.parseweather; import java.io.IOException; import org.apache.hadoop.io.IntWritabl

2013-09-06 10:34:42 1456

转载 Hadoop Map-Reduce 天气示例(压缩格式输出)

Hadoop 可以在作业的Configuration对象中通过设定一系列参数来改变作业的行为，比如，我们需要进行一个map-reduce作业，并且吧最终作业reduce过程的结果输出为压缩的格式，我们可以在一般的map-reduce上进行一些定制。实现还是以以前做的删选最高气温的例子为参照：以前的例子可以见这个博文：http://supercharles888.blog.51

2013-09-06 10:32:33 1109

转载 ldconfig的使用

linux之ldconfig工具的使用ldconfig命令的作用是：ldconfig creates the necessary links and cache to the most recent shared libraries found in the directories specified on the command line, in the file /etc/ld.s

2013-09-04 17:41:31 858

转载 TooManyOpenFiles

http://wiki.apache.org/hadoop/CouldOnlyBeReplicatedToToo Many Open FilesYou can see this on Linux machines in client-side applications, server code or even in test runs.It is caused by p

2013-09-04 17:39:49 867

原创 hadoop配置 - ssh-copy-id with port

使用下例中ssky-keygen和ssh-copy-id，仅需通过3个步骤的简单设置而无需输入密码就能登录远程Linux主机。 ssh-keygen 创建公钥和密钥。 ssh-copy-id 把本地主机的公钥复制到远程主机的authorized_keys文件上。ssh-copy-id 也会给远程主机的用户主目录（home）和~/.ssh, 和~/.ssh/authorized_keys

2013-09-04 09:19:47 2256

转载 linux service命令

linux service命令service命令，顾名思义，就是用于管理Linux操作系统中服务的命令。1.声明：这个命令不是在所有的linux发行版本中都有。主要是在redhat、fedora、mandriva和centos中。2. 此命令位于/sbin目录下，用file命令查看此命令会发现它是一个脚本命令。3. 分析脚本可知此命令的作用是去/etc/init

2013-09-03 11:30:02 550