大数据hadoop 备忘录实时更新笔记

10.hdfs fsck path [-files [-blocks [-locations]]]
fsck可以检查指定路径是否正常
-files可以列出路径内的文件状态
-files -blocks 输出文件块报告（有几个块，多少副本）
-files -blocks -locations 输出每一个block的详情

–3.13更新

一键启动YARN集群 start-yarn.sh
至于historyserver（历史服务器） mapred --daemon start|stop historyserver 开启或者停止
单独启动或停止某个进程 yarn
yarn --daemon start|stop resourcemanager|nodemanager|proxyserver
所有这些，只要你，start换成stop就是停止
node1:8088查看yarn
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount hdfs://node1:8020/input/wordcount/ hdfs://node1:8020/output/wc1
怎么使用yarn的mapreduce
1.创建一个vim words.txt
2.上传如下
hadoop fs -mkdir -p /input/wordcount
hadoop fs -mkdir /output
hadoop fs -put words.txt /input/wordcount/
3.
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount hdfs://node1:8020/input/wordcount/ hdfs://node1:8020/output/wc1
hdfs前面的那个wordcount是功能，可以换成其他的比如pi 3000（求圆周率）
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar pi 3 1000 不加hdfs了直接求
执行完成后在output文件里面：
_SUCCESS文件是标记文件，表示运行成功，本身是空文件
part-r-00000，是结果文件，结果存储在以part开头的文件中

3.14

webappproxyserver怎么启动？
先cd到指定文件夹
cd /export/server/hadoop/bin
然后运行./yarn --daemon start proxyserver命令
3.hive来干什么？
将sql翻译成mapreduce语句，提供用户分布式sql计算能力
啊啊啊好崩溃终于配置好了hive
启动语句
1.cd /export/server/hive
2.bin/hive
然后直接写sql语句，这个其实hive的元数据
node1:8088可以看到历史sql语句
这些sql，表全部存储在hadoop fs -ls /user/hive/warehouse 文件夹中
可查看具体表具体内容，例如
hadoop fs -cat /user/hive/warehouse/test/*
方法二启动：bin/hive–service hiveserver2,这个可以靠第三方工具比如datagrip写入

3.18

创建内部表，在apache hive下面，删除表同时删除元数据
元数据在哪里？普通的数据库连接上 hive数据库里面TBLS，有元数据
这个row format delimited fields terminated by ‘\t’;意思是\t分隔符
create table myhive.stu2(id int,name string) row format delimited fields terminated by ‘\t’;
这个图是怎么连接普通数据库dbserve

3.19

1.先存在数据，后创建外部表
hadoop fs -mkdir /tmp/test_ext2
hadoop fs -put test_external.txt /tmp/test_ext2/
create external table test_ext2(id int, name string) row format delimited fields terminated by ‘\t’ location ‘/tmp/test_ext2’;
select * from test_ext2;

2.先创建外部表，然后移动数据
创建外部表：create external table test_ext1(id int, name string) row format delimited fields terminated by ‘\t’ location ‘/tmp/test_ext1’;
可以看到，目录/tmp/test_ext1被创建
select * from test_ext1，空结果，无数据
上传数据： hadoop fs -put test_external.txt /tmp/test_ext1/
select * from test_ext1，即可看到数据结果
外部表是数据和表独立的删除表删除不了数据

3.数据加载

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

项目、大纲路线、讲解视频，并且后续会持续更新**

需要这份系统化资料的朋友，可以戳这里获取