既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
1.在HDFS创建目录 /mytestdir/ch04
命令语句:hadoop fs -mkdir -p /mytestdir/ch04
2.在本地文件系统创建文件,文件名为自己名字拼音全拼,使用put命令将该文件上传到HDFS的/mytestdir/ch04中
命令语句:touch liangwanying.txt
hadoop fs -put liangwanying.txt /mytestdir/ch04
3.使用 –cat命令查看刚刚上传的文件内容
命令语句:hadoop fs -cat /mytestdir/ch04/liangwanying.txt
4.查看集群的安全模式
命令语句:hadoop dfsadmin -safemode get
前四题结果截图:
5.在本地文件系统创建文件,文件名为自己学号,使用API方式上传该文件到/mytestdir中,并将其下载到本地/home/hadoop下。(给出编程代码,及hdfs文件截图)
package org.zkpk.hadoop.hdfs.fs;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class File {
public static void main(String[] agrs) throws Exception{
testCopyFromLocalFile();
downloadFile2();
}
public static void testCopyFromLocalFile() throws Exception{
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://master:9000"), conf,"zkpk");
fs.copyFromLocalFile(new Path("/home/zkpk/202008764302.txt"),new Path("/mytestdir"));
fs.close();
}
public static void downloadFile2() throws URISyntaxException, IOException, InterruptedException {
FileSystem fileSystem = FileSystem.get(new URI("hdfs://master:9000"), new Configuration(),"zkpk");
fileSystem.copyToLocalFile(new Path("/mytestdir"), new Path("/home/hadoop"));
![img](https://img-blog.csdnimg.cn/img_convert/c66f73efab5a8e5ad8fd4b6586902f82.png)
![img](https://img-blog.csdnimg.cn/img_convert/ae637acf30bb53618b692efbbd9230c0.png)
**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**
**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**
的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**