尚硅谷离线数仓5.0项目个人完成经历与心得

day1

2023/5/8

做这个项目之前学了一些前置知识:javase scala 基础linux指令 mysql hadoop spark hive flume kafka  zookeeper

这个项目要求的基础知识有 java linux mysql/hive hadoop 其余的不是必需，可以在项目里粗略的学一下,但是还是建议能多就对，如果不赶时间的话把 hive flume kafka zookeeper 学明白再来会更好

第一天学习了1h10min  就把前面那些介绍性的视频看了一下，看到了p9，没有实操没啥注意事项。

但是做这个项目一定一定要会一些前置的知识，不然会很难受的。

---

day2

2023/5/9

今天学了5h30min(上课疯狂摸鱼)，视频看到了p27安装flume之前。

整体都是环境的搭建，因为hadoop，flume，kafka啥的都搭建了好多次了，没啥难度，视频1.5倍速就当复习了一遍。

但是也碰到了几个问题，比如手动编写的分发脚本xsync不是要放在atguigu的bin文件夹下嘛，但是我的atguigu/bin不是全局变量，我也不知道为啥，我怀疑是一开始给atguigu用户权限的操作出了问题，然后我就用了老师给的样板机hadoop100

然后我把hadoop四个配置文件贴上吧，毕竟文档里没有。

core-site.xml

<!-- 指定 NameNode 的地址 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://hadoop102:8020</value>
</property>
<!-- 指定 hadoop 数据的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop/data</value>
</property>
<!-- 配置 HDFS 网页登录使用的静态用户为 atguigu -->
<property>
	<name>hadoop.http.staticuser.user</name>
	<value>atguigu</value>
</property>
<!--配置atguigu(superUser)允许通过代理访问的主机节点-->
<property>
	<name>hadoop.proxyuser.atguigu.hosts</name>
	<value>*</value>
</property>
<!--配置atguigu(superUser)允许通过代理访问的组-->
<property>
	<name>hadoop.proxyuser.atguigu.groups</name>
	<value>*</value>
</property>
<!--配置atguigu(superUser)允许通过代理访问的用户-->
<property>
	<name>hadoop.proxyuser.atguigu.users</name>
	<value>*</value>
</property>

        1.第四行的hadoop102是主机映射，你可以直接用虚拟机的ip地址，但是还是建议改成 hadoop102~hadoop104，因为后边都是用的映射，你总不能每次都改ip吧

        2.第九行的路径要改成自己的，你要注意你是不是在opt的module里，以及hadoop的文件夹名字，如果你没有改名的话他应该是hadoop-3.xxx啥的

hdfs-site.xml

<!-- nn web 端访问地址-->
<property>
	<name>dfs.namenode.http-address</name>
	<value>hadoop102:9870</value>
</property>
<!-- 2nn web 端访问地址-->
<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>hadoop104:9868</value>
</property>
<!-- 测试环境指定HDFS副本数量1 -->
<property>
	<name>dfs.replication</name>
	<value>3</value>
</property>

        记得hadoop102和hadoop104都是映射名，如果你不是记得改了

yarn-site.xml