大数据hadoop 备忘录实时更新笔记(1)，2024年最新开发人员必学-CSDN博客

本文链接：https://blog.csdn.net/2401_84181253/article/details/137793101

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

但是这个最好还是在root下面执行，因为没办法看jps进程

1.hdfs dfs -cat xxx（文件）|more
more命令是按空格键查看下一位
2.hadoop fs -cp [-f] …这个cp命令左右都是hadoop文件里的，跟本地文件无关
cp命令兼具改名功能，dst复制过去你想写什么就写什么
3.追加功能
hdfs dfs -appendToFile append.txt /test.txt
标注，只能追加或者删除，不可修改
补充，追加功能在本地文件里面是
echo “appended content” >> filename或者
cat file1 >> file2

4.移动功能
-mv
hadoop fs -mv /test2.txt /itheima/abc.txt
我不仅移动了，我还改名了，这个就是来改名的
5.删除功能
hadoop fs -rm -r [-skipTrash跳过回收站] /home
我删除了这个文件夹
回收站默认关闭，需要修改在core-site.xml里面配置
6.回收站
vim /export/server/hadoop/etc/hadoop/core.site.xml
配置文件ppt有
7.看我自己写的命令node1:9870
有个browse Directory，这个网站只有查询权限，没有修改权限，可以配置
8.hdfs shell其他命令可以看官方文档
9.修改用户所属组
hadoop fs -chown [-R] root:root /xxx.txt
修改权限 hdfs dfs -chowd [-R] 777/xxx.txt（加-R对子目录生效）
我们为什么要修改权限？因为hadoop只有指定的本地用户才能上传，如果我原来用的不是root，就算是root也上传不了，因为强龙压不过地头蛇

10.hdfs fsck path [-files [-blocks [-locations]]]
fsck可以检查指定路径是否正常
-files可以列出路径内的文件状态
-files -blocks 输出文件块报告（有几个块，多少副本）
-files -blocks -locations 输出每一个block的详情

–3.13更新

一键启动YARN集群 start-yarn.sh
至于historyserver（历史服务器） mapred --daemon start|stop historyserver 开启或者停止
单独启动或停止某个进程 yarn
yarn --daemon start|stop resourcemanager|nodemanager|proxyserver
所有这些，只要你，start换成stop就是停止
node1:8088查看yarn
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount hdfs://node1:8020/input/wordcount/ hdfs://node1:8020/output/wc1
怎么使用yarn的mapreduce
1.创建一个vim words.txt
2.上传如下
hadoop fs -mkdir -p /input/wordcount
hadoop fs -mkdir /output
hadoop fs -put words.txt /input/wordcount/
3.
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount hdfs://node1:8020/input/wordcount/ hdfs://node1:8020/output/wc1
hdfs前面的那个wordcount是功能，可以换成其他的比如pi 3000（求圆周率）
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar pi 3 1000 不加hdfs了直接求
执行完成后在output文件里面：
_SUCCESS文件是标记文件，表示运行成功，本身是空文件
part-r-00000，是结果文件，结果存储在以part开头的文件中

3.14

webappproxyserver怎么启动？
先cd到指定文件夹
cd /export/server/hadoop/bin
然后运行./yarn --daemon start proxyserver命令
3.hive来干什么？
将sql翻译成mapreduce语句，提供用户分布式sql计算能力
啊啊啊好崩溃终于配置好了hive
启动语句
1.cd /export/server/hive
2.bin/hive
然后直接写sql语句，这个其实hive的元数据
node1:8088可以看到历史sql语句
这些sql，表全部存储在hadoop fs -ls /user/hive/warehouse 文件夹中
可查看具体表具体内容，例如

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）