苦逼坑爹Hadoop
大数学家拉格朗日
苦逼从windows转到搞linux又苦逼的从C转到搞JAVA
展开
-
Hadoop分布式模式下几个需要配置的重要参数
1. core-site.xml===========hadoop.tmp.dir是要配的,不然就给你写到/tmp里面你生没脾气原创 2013-07-18 23:04:00 · 119 阅读 · 0 评论 -
ubuntu 12.04 LTS 伪分布式搭建
怎么搭建伪分布式的hadoop不是一个问题,问题是配好了让这玩意启动真是头疼了。1. 创建那几个配置xml=================这个网页:传送门上面是怎么在独立模式和伪分布式模式下创建hadoop要用的站点,hdfs和mapred的简单配置文件2. 格式化一个hdfs namenode出来=================用hadoo原创 2013-07-18 17:08:30 · 288 阅读 · 0 评论 -
Haoop运行jar包的时候,jar参数和-jar参数的区别!
-jar 会启动java运行jar包,这时候会报各种类没有定义的异常打开 haoop在bin的脚本文件hadoop.shexec "$JAVA" -Dproc_$COMMAND $JAVA_HEAP_MAX $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "$@"这句话实际上就是最终执行你haoop指令的东西,看到没,都是用java启动的如果原创 2013-07-19 16:46:38 · 498 阅读 · 0 评论 -
第一个Map-Reduce程序
1. 开发环境=========hadoop:Hadoop 1.1.2Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.1 -r 1440782Compiled by hortonfo on Thu Jan 31 02:08:44 UTC 2013From source wi原创 2013-07-18 13:05:08 · 423 阅读 · 0 评论 -
Hadoop RawFileSystem 和 CheckSumFileSystem
Hadoop中支持广泛的文件系统,从本地文件系统到HDFS。在这些文件系统的底层,由checksumfilesystem和rawfilesystem提供了基础支持rawfilesystem是所有文件系统最底层的组件,其功能就是用最接近操作系统本身的方式生成和处理文件checksumfilesystem是hadoop数据完整性保证的核心,其工作于rawfilesystem之上,使用raw原创 2013-07-23 20:25:03 · 502 阅读 · 0 评论