- 博客(15)
- 资源 (8)
- 收藏
- 关注
原创 hadoop运行命令
在本地文件上运行:hadoop Maxtemperature -fs file:// -jt local input/ncdc/micro max-output使用两个reducer,生成两个输出顺序文件hadoop jar Maxtemperature.jar Maxtemperature -conf conf/hadoop-localhost.xml -D mapred.red
2012-08-30 10:05:26 448
原创 正则表达式
^ 匹配输入字符串的开始位置。要匹配 "^" 字符本身,请使用 "\^"$ 匹配输入字符串的结尾位置。要匹配 "$" 字符本身,请使用 "\$". 匹配除了换行符(\n)以外的任意一个字符。要匹配小数点本身,请使用 "\."? 修饰匹配次数为 0 次或 1 次。要匹配 "?" 字符本身,请使用 "\?"+ 修饰匹配次数为至少 1 次。要匹配 "+"
2012-08-29 16:17:10 324
原创 用md5sum检验文件的一致性
检验文件一致性hadoop fs -copyFromLocal quangle.txt quangle.txthadoop fs -copyToLocal quangle.txt quangle.copy.txtmd5sum quangle.txt quangle.copy.txt输出结果:b33c4dbc86d45236a14f24b643a1f6f9
2012-08-28 19:49:42 748
原创 hadoop常用的命令大全
cat使用方法:hadoop fs -cat URI [URI …]将路径指定文件的内容输出chgrp使用方法:hadoop fs -chgrp [-R] GROUP URI [URI …]改变文件所属的组。使用-R将使改变在目录结构下递归进行。chmod使用方法:hadoop fs -chmod [-R] URI [URI …]改变文件的权限。使用-R将使改变在
2012-08-28 19:23:55 662
原创 MapReduce的Web界面
Hadoop的Web界面用来浏览作业信息,对于跟踪作业运行进度,查找作业完成后的统计信息和日志非常有用。浏览NameNode和JobTracker的网络接口,它们的地址默认为:NameNode :http://localhost:50070/JobTracker :http://localhost:50030/
2012-08-28 18:53:08 4087
原创 hadoop伪分布模式配置
hadoop伪分布模式配置如下:进入/home/tom/hadoop/conf,配置hadoop配置文件配置hadoop-env.sh文件export JAVA_HOME=/home/tom/jdk1.7.0_05export PATH=$PATH:/home/tom/hadoop/binexport HADOOP_CLASSPATH=/home/tom/had
2012-08-28 18:33:44 600
原创 hadoop伪分布模式下的编程步骤
haoop工作在伪分布模式下,以MaxTemperature.java为例:1.javac -classpath /home/tom/hadoop/hadoop-core-1.0.3.jar -d maxtemperature_classes MaxTemperature.java2.jar -cvf maxtemperature.jar -Cmaxtemperatur
2012-08-28 18:16:56 533
原创 hadoop里的MaxTemperature程序
hadoop工作在伪分布模式。统计最高气温。import java.io.IOException; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apa
2012-08-28 18:08:19 1819
原创 hadoop自带的WordCount程序
hadoop工作在伪分布模式。统计一篇文章中每个单词出现的次数。代码如下:import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import
2012-08-28 17:54:44 1088
原创 java更改文件名
将files文件夹下的所有文件名后加个.zip的后缀。代码如下:import java.io.File;public class RenameFile { public static void main(String args[]) { File f = new File("/home/tom/test/files"); if (f.exists()) {
2012-08-28 16:43:49 8818 1
原创 java读取zip文件和压缩zip文件
java读取名为T11.zip的文件,解压后再生成名为T22.zip的文件。代码如下:import java.io.*;import java.util.zip.*;public class ReadWriteZip { public static void main(String[] args) throws Exception { FileInputStream fi
2012-08-28 16:34:52 913
转载 如何在新浪后台绑定回调地址以及Oauth2 error:redirect_uri_mismatch的解决方法
如何在新浪后台绑定回调地址以及Oauth2 error:redirect_uri_mismatch的解决方法进入http://open.weibo.com并登录,网页右上方找到“我的应用”选项进入后台。选择需要修改回调地址的应用进入应用管理界面后,在左侧选择“应用信息”>“基本信息”在右侧点击编辑后,在“
2012-08-28 10:08:37 17393 2
原创 linux下的java环境变量配置
环境变量的系统配置文件/etc/profilevim ~/.bashrcexport JAVA_HOME=/home/tom/software/jdk1.7.0_05export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$PATH:$JAVA_HOME/binsour
2012-08-28 08:59:44 797
原创 hadoop问题Type mismatch in value from map解决方法
12/08/27 15:49:40 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable12/08/27 15:49:40 WARN mapred.JobClient: No job jar
2012-08-27 18:27:42 26637 9
原创 java读取文件和写入文件的简单代码
程序首先将一个字符串写入指定文件,然后从另一个文件读出文件内容输出在屏幕。程序代码如下: import java.io.*;public class ReadWrite { public void writeFile() { String str = "this is a program"; // 要写入的内容 try { FileOutputStream ou
2012-08-27 09:28:58 15696
EndNoteX6_User_Guide简体中文版
2012-10-13
hadoop_the_definitive_guide_3nd_edition.pdf
2012-08-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人