Hadoop上路_09-在Win7中操作Ubuntu的HDFS

最新推荐文章于 2024-09-15 01:19:00 发布
最新推荐文章于 2024-09-15 01:19:00 发布
阅读量127 收藏
点赞数
文章标签： 大数据 java 开发工具

目录[-]

和在Ubuntu中的操作雷同。

1.查询：

1）方式一-指定HDFS的URI：

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
package com.cuiweiyou.hdfs;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class TestQueryHdfs1 {
private static FileSystem hdfs;
public static void main(String[] args) throws Exception {
// 1.创建配置器
Configuration conf = new Configuration();
// 2.创建文件系统（手动指定HDFS的URI）
hdfs = FileSystem.get(URI.create( "hdfs://192.168.1.251:9000/" ), conf);
// 3.遍历HDFS上的文件和目录
FileStatus[] fs = hdfs.listStatus( new Path( "/" ));
if (fs.length > 0 ) {
for (FileStatus f : fs) {
showDir(f);
}
}
}
private static void showDir(FileStatus fs) throws Exception {
Path path = fs.getPath();
System.out.println(path);
// 如果是目录
if (fs.isDir()) {
FileStatus[] f = hdfs.listStatus(path);
if (f.length > 0 ) {
for (FileStatus file : f) {
showDir(file);
}
}
}
}
}

2）方式二-指定HDFS的配置文件：

（1）在Win7系统中创建一个core-site.xml文件：

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
<? xml version = "1.0" ?>
<? xml-stylesheet type = "text/xsl" href = "configuration.xsl" ?>
<!-- Put site-specific property overrides in this file. -->
< configuration >
< property >
< name >fs.default.name</ name >
<!-- 指定Ubuntu的IP -->
< value >hdfs://192.168.1.251:9000</ value >
</ property >
< property >
< name >hadoop.tmp.dir</ name >
< value >/home/hm/hadoop-${user.name}</ value >
</ property >
</ configuration >

（2）使用Java遍历Ubuntu中HDFS上的目录和文件：

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
package com.cuiweiyou.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class TestQueryHdfs2 {
private static FileSystem hdfs;
public static void main(String[] args) throws Exception {
// 1.创建配置器
Configuration conf = new Configuration();
// 2.加载指定的配置文件
conf.addResource( new Path( "c:/core-site.xml" ));
// 3.创建文件系统
hdfs = FileSystem.get(conf);
// 4.遍历HDFS上的文件和目录
FileStatus[] fs = hdfs.listStatus( new Path( "/" ));
if (fs.length > 0 ) {
for (FileStatus f : fs) {
showDir(f);
}
}
}
private static void showDir(FileStatus fs) throws Exception {
Path path = fs.getPath();
System.out.println(path);
// 如果是目录
if (fs.isDir()) {
FileStatus[] f = hdfs.listStatus(path);
if (f.length > 0 ) {
for (FileStatus file : f) {
showDir(file);
}
}
}
}
}

3）判断HDFS中指定名称的目录或文件：

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
package com.cuiweiyou.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class TestQueryHdfs3 {
private static FileSystem hdfs;
public static void main(String[] args) throws Exception {
// 1.配置器
Configuration conf = new Configuration();
conf.addResource( new Path( "c:/core-site.xml" ));
// 2.文件系统
hdfs = FileSystem.get(conf);
// 3.遍历HDFS目录和文件
FileStatus[] fs = hdfs.listStatus( new Path( "/" ));
if (fs.length > 0 ) {
for (FileStatus f : fs) {
showDir(f);
}
}
}
private static void showDir(FileStatus fs) throws Exception {
Path path = fs.getPath();
// 如果是目录
if (fs.isDir()) {
if (path.getName().equals( "system" )) {
System.out.println(path + "是目录" );
}
FileStatus[] f = hdfs.listStatus(path);
if (f.length > 0 ) {
for (FileStatus file : f) {
showDir(file);
}
}
} else {
if (path.getName().equals( "test.txt" )) {
System.out.println(path + "是文件" );
}
}
}
}

4）查看HDFS文件的最后修改时间：

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
package com.cuiweiyou.hdfs;
import java.net.URI;
import java.util.Date;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class TestQueryHdfs4 {
private static FileSystem hdfs;
public static void main(String[] args) throws Exception {
// 1.配置器
Configuration conf = new Configuration();
conf.addResource( new Path( "c:/core-site.xml" ));
// 2.文件系统
hdfs = FileSystem.get(conf);
// 3.遍历HDFS目录和文件
FileStatus[] fs = hdfs.listStatus( new Path( "/" ));
if (fs.length> 0 ){
for (FileStatus f : fs) {
showDir(f);
}
}
}
private static void showDir(FileStatus fs) throws Exception {
Path path = fs.getPath();
//获取最后修改时间
long time = fs.getModificationTime();
System.out.println( "HDFS文件的最后修改时间:" + new Date(time));
System.out.println(path);
if (fs.isDir()) {
FileStatus[] f = hdfs.listStatus(path);
if (f.length> 0 ){
for (FileStatus file : f) {
showDir(file);
}
}
}
}
}

5）查看HDFS中指定文件的状态：

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
package com.cuiweiyou.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class TestQueryHdfs5 {
public static void main(String[] args) throws Exception {
//1.配置器
Configuration conf = new Configuration();
conf.addResource( new Path( "c:/core-site.xml" ));
//2.文件系统
FileSystem fs = FileSystem.get(conf);
//3.已存在的文件
Path path = new Path( "/test.txt" );
//4.文件状态
FileStatus status = fs.getFileStatus(path);
//5.文件块
BlockLocation[] blockLocations = fs.getFileBlockLocations(status, 0 , status.getLen());
int blockLen = blockLocations.length;
System.err.println( "块数量：" +blockLen);
for ( int i = 0 ; i < blockLen; i++) {
// 主机名
String[] hosts = blockLocations[i].getHosts();
for (String host : hosts) {
System.err.println( "主机：" +host);
}
}
}
}

6）读取HDFS中txt文件的内容：

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
package com.cuiweiyou.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class TestQueryHdfs6 {
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
conf.addResource( new Path( "c:/core-site.xml" ));
FileSystem fs = FileSystem.get(conf);
Path path = new Path( "/test.txt" );
　　 // 使用HDFS数据输入流（读）对象 读取HDSF的文件
FSDataInputStream is = fs.open(path);
FileStatus status = fs.getFileStatus(path);
byte [] buffer = new byte [Integer.parseInt(String.valueOf(status.getLen()))];
is.readFully( 0 , buffer);
is.close();
fs.close();
System.out.println( new String(buffer));
}
}

2.上传：

1）从Win7上传文件到Ubuntu的HDFS：

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
package com.cuiweiyou.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class TestQueryHdfs7 {
private static FileSystem hdfs;
public static void main(String[] args) throws Exception {
// 1.创建配置器
Configuration conf = new Configuration();
// 2.加载指定的配置文件
conf.addResource( new Path( "c:/core-site.xml" ));
// 3.创建文件系统
hdfs = FileSystem.get(conf);
// 4. 本地文件
Path src = new Path( "f:/民间秘方.txt" );
// 5. 目标路径
Path dst = new Path( "/home" );
// 6. 上传文件
if (!hdfs.exists( new Path( "/home/民间秘方.txt" ))) {
hdfs.copyFromLocalFile(src, dst);
System.err.println( "文件上传成功至: " + conf.get( "fs.default.name" ) + dst);
} else {
System.err.println(conf.get( "fs.default.name" ) + dst + " 中已经存在 test.txt" );
}
// 7.遍历HDFS上的文件和目录
FileStatus[] fs = hdfs.listStatus( new Path( "/" ));
if (fs.length > 0 ) {
for (FileStatus f : fs) {
showDir(f);
}
}
}
private static void showDir(FileStatus fs) throws Exception {
Path path = fs.getPath();
System.out.println(path);
// 如果是目录
if (fs.isDir()) {
FileStatus[] f = hdfs.listStatus(path);
if (f.length > 0 ) {
for (FileStatus file : f) {
showDir(file);
}
}
}
}
}

2）从Win7在Ubuntu的HDFS远程创建目录和文件：

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
package com.cuiweiyou.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class TestQueryHdfs8 {
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
conf.addResource( new Path( "c:/core-site.xml" ));
FileSystem hdfs = FileSystem.get(conf);
// 使用HDFS数据输出流（写）对象 在HDSF的根目录创建一个文件夹，其内再创建文件
FSDataOutputStream out = hdfs.create( new Path( "/eminem/hip-hop.txt" ));
// 在文件中写入一行数据，必须使用UTF-8
// out.writeUTF("Hell使用UTF-8"); //不能用？
out.write( "痞子阿姆 Hello !" .getBytes( "UTF-8" ));
out = hdfs.create( new Path( "/alizee.txt" ));
out.write( "艾莉婕 Hello !" .getBytes( "UTF-8" ));
out.close();
hdfs.close();
hdfs = FileSystem.get(conf);
FileStatus[] fileStatus = hdfs.listStatus( new Path( "/" ));
//命名外层循环，遍历前两层目录
outside: for (FileStatus file : fileStatus) {
Path filePath = file.getPath();
System.out.println(filePath);
if (file.isDir()) {
FileStatus[] fs = hdfs.listStatus(filePath);
for (FileStatus f : fs) {
Path fp= f.getPath();
System.out.println(fp);
//读取hip-hop.txt文件
if (fp.getName().equals( "hip-hop.txt" )){
FSDataInputStream fsis = hdfs.open(fp);
FileStatus status = hdfs.getFileStatus(fp);
byte [] buffer = new byte [Integer.parseInt(String.valueOf(status.getLen()))];
fsis.readFully( 0 , buffer);
fsis.close();
hdfs.close();
System.out.println( new String(buffer));
break outside; //跳出外循环
}
}
}
}
}
}

3.修改：

1）重命名文件：

?
1
2
3
4
5
6
7
8
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
conf.addResource( new Path( "c:/core-site.xml" ));
FileSystem fs = FileSystem.get(conf);
//重命名：fs.rename(源文件，新文件)
boolean rename = fs.rename( new Path( "/alizee.txt" ), new Path( "/adele.txt" ));
System.out.println(rename);
}

2）删除文件：

?
1
2
3
4
5
6
7
8
9
10
11
12
13
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
conf.addResource( new Path( "c:/core-site.xml" ));
FileSystem fs = FileSystem.get(conf);
//删除
//fs.delete(new Path("/new_test.txt")); //已过时
//程序结束时执行
boolean exit = fs.deleteOnExit( new Path( "/eminem/hip-hop.txt" ));
System.out.println( "删除执行：" +exit);
//判断删除（路径，true。false=非空时不删除，抛RemoteException、IOException异常）
boolean delete = fs.delete( new Path( "/eminem" ), true );
System.out.println( "执行删除：" +delete);
}


4.WordCount示例：

1）代码：

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
package com.cuiweiyou.hdfs;
import java.io.IOException;
import java.util.StringTokenizer; //分词器
import org.apache.hadoop.conf.Configuration; //配置器
import org.apache.hadoop.fs.Path; //路径
import org.apache.hadoop.io.IntWritable; //整型写手
import org.apache.hadoop.io.Text; //文本写手
import org.apache.hadoop.mapreduce.Job; //工头
import org.apache.hadoop.mapreduce.Mapper; //映射器
import org.apache.hadoop.mapreduce.Reducer; //拆分器
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; //文件格式化读取器
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; //文件格式化创建器
public class TestQueryHdfs11 {
/**
* 内部类：映射器
* Mapper<KEY_IN, VALUE_IN, KEY_OUT, VALUE_OUT>
*/
public static class MyMapper extends Mapper<Object, Text, Text, IntWritable> {
private final static IntWritable one = new IntWritable( 1 ); // 类似于int类型
private Text word = new Text(); // 可以理解成String类型
/**
* 重新map方法
*/
public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
System.err.println(key + "," + value);
// 分词器：默认根据空格拆分字符串
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
}
};
}
/**
* 内部类：拆分器
* Reducer<KEY_IN, VALUE_IN, KEY_OUT, VALUE_OUT>
*/
public static class MyReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
private IntWritable result = new IntWritable();
/**
* 重新reduce方法
*/
protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
System.err.println(key + "," + values);
int sum = 0 ;
for (IntWritable val : values) {
sum += val.get();
}
result.set(sum);
context.write(key, result); // 这是最后结果
};
}
public static void main(String[] args) throws Exception {
// 声明配置信息
Configuration conf = new Configuration();
conf.addResource( new Path( "c:/core-site.xml" ));
// 声明Job
Job job = new Job(conf, "Word Count" );
// 设置工作类
job.setJarByClass(TestQueryHdfs11. class );
// 设置mapper类
job.setMapperClass(MyMapper. class );
// 可选
job.setCombinerClass(MyReducer. class );
// 设置合并计算类
job.setReducerClass(MyReducer. class );
// 设置key为String类型
job.setOutputKeyClass(Text. class );
// 设置value为int类型
job.setOutputValueClass(IntWritable. class );
// 设置接收输入或是输出
FileInputFormat.setInputPaths(job, new Path( "/test.txt" ));
FileOutputFormat.setOutputPath(job, new Path( "/out" ));
// 执行
System.exit(job.waitForCompletion( true ) ? 0 : 1 );
}
}

2）RunonHadoop：

错误1：Unabletoloadnative-hadooplibrary

无法为你的平台加载本地hadoop类库...程序使用了内部类
安全相关的用户组信息：权限执行异常：hm：许可无效：

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
13 /05/20 16:48:34 WARN util.NativeCodeLoader:
　　Unable to load native-hadoop library for your platform... using builtin -java classes where applicable
13 /05/20 16:48:34 ERROR security.UserGroupInformation:
　　PriviledgedActionException as:hm cause:java.io.IOException:
　　Failed to set permissions of path:
　　\home\hm\hadoop-hm\mapred\staging\hm-975542536\.staging to 0700
　　Exception in thread "main" java.io.IOException:
　　Failed to set permissions of path:
　　\home\hm\hadoop-hm\mapred\staging\hm-975542536\.staging to 0700
at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:689)
at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:662)
at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:509)
at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:344)
at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:189)
at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:116)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:918)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:912)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:912)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:500)
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:530)
at cn.cvu.hdfs.TestQueryHdfs11.main(TestQueryHdfs11.java:69)

解决：

方法一：修改源码%hadoop%/src/core/org/apache/hadoop/fs/FileUtil.java手动制作hadoop-core-1.1.2.jar

1.注释662、665、670、673、678、681行，并注释checkReturnValue方法


2.编译hadoop源码包

没有成功，待续。

方法二：直接替换hadoop-core-1.1.2.jar/org/apache/hadoop/fs/FileUtil.class文件

文件下载：http://download.csdn.net/detail/vigiles/5422251
1.使用winrar打开jar包的hadoop-1.1.2\hadoop-core-1.1.2.jar\org\apache\hadoop\fs目录
2.将已修改的FileUtil.class文件拖入
 3.替换，保存
 4.放入Ubuntu中%hadoop%目录，替换原有的jar包
 5.放入Win7中eclipse引用的hadoop解压根目录，替换原有的jar包
 6.stop-all.sh，start-all.sh
 7.从win7访问:Run on Hadoop ：

方法三：在src下创建目录org.apache.hadoop.fs，在其中放入FileUtil.java文件，注释checkReturnValue方法体：
同上图。

错误2：Namenodeisinsafemode

安全模式异常。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
13 /05/21 15:27:55 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin -java classes where applicable
13 /05/21 15:27:55 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
13 /05/21 15:27:55 WARN mapred.JobClient: No job jar file set . User classes may not be found. See JobConf(Class) or JobConf #setJar(String).
13 /05/21 15:27:55 INFO input.FileInputFormat: Total input paths to process : 1
13 /05/21 15:27:55 WARN snappy.LoadSnappy: Snappy native library not loaded
13 /05/21 15:27:55 INFO mapred.JobClient: Running job: job_local_0001
13 /05/21 15:27:55 WARN mapred.LocalJobRunner: job_local_0001
org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /out/_temporary . Name node is in safe mode.
Use "hadoop dfsadmin -safemode leave" to turn safe mode off.
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:2204)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:2178)
at org.apache.hadoop.hdfs.server.namenode.NameNode.mkdirs(NameNode.java:857)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:601)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:578)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1393)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1389)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1387)
at org.apache.hadoop.ipc.Client.call(Client.java:1107)
at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:229)
at $Proxy1.mkdirs(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:601)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:85)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:62)
at $Proxy1.mkdirs(Unknown Source)
at org.apache.hadoop.hdfs.DFSClient.mkdirs(DFSClient.java:1426)
at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirs(DistributedFileSystem.java:332)
at org.apache.hadoop.fs.FileSystem.mkdirs(FileSystem.java:1126)
at org.apache.hadoop.mapred.FileOutputCommitter.setupJob(FileOutputCommitter.java:52)
at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:186)
13 /05/21 15:27:56 INFO mapred.JobClient: map 0% reduce 0%
13 /05/21 15:27:56 INFO mapred.JobClient: Job complete: job_local_0001
13 /05/21 15:27:56 INFO mapred.JobClient: Counters: 0

解决：

关闭hadoop的安全模式：

?
1
hm@hm-ubuntu:~$ hadoop dfsadmin -safemode leave

3）RunonHadoop：



- end

小飞侠-2
关注
hadoop基础----hadoop实战(二)-----hadoop操作hdfs---hdfs文件系统常用命令
直到世界的尽头
08-18 6925
我们在前面已经介绍过了 hadoop 1.0是由2大部分组成的:hdfs + mapreduce也对hdfs做了相关介绍。hadoop基础----hadoop理论(三)-----hadoop分布式文件系统HDFS详解因为上一章我们已经安装好了hadoop1.0的环境hadoop基础----hadoop实战(一)-----hadoop环境安装---手动安装官方1.0版本本章就来尝试实际操作 hdfs
hdfs 备份数配置_备份-hadoop HDFS常用文件操作命令
weixin_28867413的博客
01-14 1822
命令基本格式:hadoop fs -cmd < args >1.lshadoop fs -ls /列出hdfs文件系统根目录下的目录和文件hadoop fs -ls -R /列出hdfs文件系统所有的目录和文件2.puthadoop fs -put < local file > < hdfs file >hdfs file的父目录一定要存在，否则命令不会执行h...
Hadoop上路_08-在win7中配置eclipse连接Ubuntu内的hadoop
小飞侠的博客
02-16 453
目录[-] 1.设置Ubuntu静态IP：           1）配置网卡参数到interfaces文件：           2）重启网卡：    2.配置Ubuntu的hosts：   3.配置VirtualBox虚拟机的网络连接：  4.配置Win7的hosts：   5.在Win7的eclipse中配置Map/Reduce连接：          1）基本模式： 
Hadoop上路_14-Hadoop2.3.0的分布式集群搭建
小飞侠的博客
02-16 868
目录[-] 一。配置虚拟机软件 1.虚拟机软件设定 1）进入全集设定 2）常规设定 2.Linux安装配置 1）名称类型 2）内存 3）磁盘选择 4）磁盘文件 5）磁盘空间 6）磁盘位置 7）数据传输 8）软驱 9）Linux镜像 10）网络 二。安装模板Linux 1.一般安装过程 2.初始化用户 三。配置Linux 1.在桌面显示终端 2.在桌
Hadoop上路_01-手动制作hadoop-eclipse-plugin插件
weixin_34353714的博客
05-20 260
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop上路-01_Hadoop2.3.0的分布式集群搭建
weixin_30325793的博客
03-18 120
一。配置虚拟机软件 下载地址：https://www.virtualbox.org/wiki/downloads 1.虚拟机软件设定 1）进入全集设定 2）常规设定 2.Linux安装配置 1）名称类型 名称最后具有说明意义。版本根据个人情况。 2）内存 在下物理机系统Win7x64，处理器i53210，内存8G。 ...
hdfs.rar_hadoop_hadoop ubuntu_hdfs_分布式系统_基于hadoop
09-14
标题中的"hdfs.rar_hadoop_hadoop ubuntu_hdfs_分布式系统_基于hadoop"表明这个压缩包包含了与在Ubuntu操作系统上安装和使用Hadoop和HDFS相关的资料。Ubuntu是一个广泛使用的Linux发行版，适合部署大型分布式系统如...
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
11-21
这个压缩包 "sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz" 包含了 Sqoop 的 1.4.6 版本，它已针对 Hadoop 2.0.4-alpha 版本进行了优化。让我们深入了解一下 Sqoop 的核心功能、工作原理以及如何在 Hadoop 环境中...
hadoop重命名文件_hadoop HDFS常用文件操作命令
weixin_39907850的博客
12-19 8753
命令基本格式:hadoop fs -cmd < args >1.lshadoop fs -ls /列出hdfs文件系统根目录下的目录和文件hadoop fs -ls -R /列出hdfs文件系统所有的目录和文件2.puthadoop fs -put < local file > < hdfs file >hdfs file的父目录一定要存在，否则命令不会执行h...
Flume：大规模日志收集与数据传输的利器
Casual_Lei的博客
09-14 1042
是一个分布式、可靠、可扩展的日志收集和聚合系统，设计的初衷是用于高效收集和传输大量日志数据。它通常用于将数据从各种数据源，如日志文件、应用服务器、甚至是消息队列，实时传输到大数据处理系统（如 Hadoop 的 HDFS、HBase 或 Kafka）。Flume 的一个重要特点是其“可插拔性”，可以灵活地配置不同的数据源（Source）和目标存储（Sink），通过中间通道（Channel）来实现可靠的数据传输。Apache Flume 是一个非常强大的工具，适用于大规模日志数据的实时收集和传输。
消息中间件有哪些常见类型
最新发布
weixin_57763462的博客
09-15 609
需要注意的是，这些类型并不是严格互斥的，有些消息中间件可能支持多种消息传递模式或结合了多种类型的特点。在这种模型中，消息被发送到特定的队列中，消费者从队列中取出并处理消息。在发布/订阅模型中，消息被发布到特定的主题（Topic）上，所有订阅了该主题的消费者都可以接收到这个消息。消息代理是一种更通用的概念，它涵盖了上述的点对点和发布/订阅模型，以及可能的其他消息传递模式。消息代理作为消息的存储和转发中心，负责消息的路由、过滤、持久化等功能。这类消息系统使用日志结构来存储消息，提供了极高的吞吐量和可扩展性。
从AI到大数据，数字技术服务平台全栈赋能企业升级
smjt2024的博客
09-11 681
海量的数据中蕴含着丰富的信息和价值，数字技术服务平台能够收集、整理和分析这些数据，为企业提供精准的市场洞察和决策支持。企业可以通过参加树莓集团举办的培训课程和研讨会，了解最新的数字技术趋势和应用案例，提升自身的数字技术水平。从技术咨询、解决方案设计到系统实施和运维，数字技术服务平台为企业提供一站式的服务，让企业无需担心技术难题，专注于自身的核心业务。树莓集团的数字技术服务平台，以其先进的技术、专业的服务和丰富的经验，为企业提供了全栈赋能。在数字时代，让我们共同利用数字技术服务平台，开启企业升级的新篇章。
大数据-132 - Flink SQL 基本介绍 与 HelloWorld案例
永远好奇，无限进步！
09-12 2514
Flink SQL 是 Apache Flink 提供的一种高层次的查询语言接口，它基于 SQL 标准，为开发者提供了处理流式数据和批处理数据的能力。Flink SQL 允许用户使用标准 SQL 查询语言在数据流和数据表上执行复杂的操作，适用于多种应用场景，如实时分析、数据流处理、机器学习等。Flink SQL 的一大特点是流处理和批处理的统一性。通过同一套 SQL 语法，用户可以同时处理静态数据（批处理）和动态数据（流处理）。这使得应用程序的开发更加简化，因为可以用相同的逻辑编写实时流数据处理和历史数据的
【大数据】探索怎么从一段话中解析关键信息（寄件人相关信息）
一个不断前行的程序者
09-12 624
通过使用Spacy的NLP功能，我们成功实现了从文本中提取姓名、地址和电话号码的功能。需要注意的是，这个简单的示例可能在处理复杂文本时效果不佳，实际应用中可能需要进一步的优化和训练。此外，对于电话号码的识别，我们简单地使用了数字长度作为判断依据，这并不准确。在实际应用中，我们可以使用正则表达式来更准确地识别电话号码。希望这个博客能够帮助你了解如何使用NLP技术实现文本信息解析功能。如果有任何疑问，欢迎在评论区留言讨论！
Java 学习路线：语言、框架、中间件与数据库
qq_64272546的博客
09-13 1555
Spring Boot 是 Spring 框架的子项目，可简化 Spring 应用的开发与配置。通过提供一系列默认配置和自动化配置功能，Spring Boot 极大地减轻了开发者的工作量。Spring Cloud 是一系列框架的集合，用于开发分布式系统和微服务架构。它涵盖了负载均衡、服务发现、配置管理、分布式追踪等功能。MyBatis-Plus 是 MyBatis 的增强工具，它在 MyBatis 的基础上提供了大量的易用功能，如单表 CRUD 操作、分页、代码生成器等，旨在简化数据库操作。
海量数据查找最大K个值：数据结构与算法的选择
许你安然的博客
09-13 1119
本文详细探讨了如何在海量数据集中查找最大的K个值，从基础的排序方法到高效的优先队列/堆方法，再到分布式计算框架的应用，以及一些优化策略。通过合理的数据结构和算法选择，我们可以大大提高处理大数据集的效率，确保在有限的时间内获得所需的结果。希望这些信息能够帮助开发者在实际项目中更好地应对大数据处理挑战。
SuperMap GIS基础产品FAQ集锦(20240911)
SuperMap技术控
09-12 3578
SuperMap GIS基础产品FAQ集锦(20240911)
测试-Testcontainers
Flying_Fish_roe的博客
09-12 649
Testcontainers 允许你通过自定义 Docker 容器，适用于不在官方支持列表中的服务或应用。// 获取 Redis 的地址和端口 String address = redis . getHost();} } }// 获取 Redis 的地址和端口 String address = redis . getHost();} } }// 获取 Redis 的地址和端口 String address = redis . getHost();} } }
Hadoop-HDFS：云计算中的分布式文件操作详解
在Hadoop-HDFS文件操作中，HDFS（Hadoop Distributed File System）设计的目标是支持大规模数据的流式访问。当客户端想要将文件写入HDFS时，它会先将文件缓存在本地，然后当缓存数据达到或超过HDFS块的大小时，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值