项目第三天——完成任务
今天继续完成第一个项目的代码编写 ,对项目需求做分析,然后了解所需要使用到的架构mapreducce,对MapReduce的具体使用进行复习,并深入了解,以便更好地进行代码的编写,在这个过程中,遇到的问题有:
- 如何解决代码中的hadoop均报错
- Hadoop依赖包报错
- 如何在集群创建空目录
- 如何确定新的目录创建成功
- 将本项目所需的数据源上传至目录最中
解决方法 - 需在maven项目的pom文件中导入Hadoop的依赖包
- 没有进行maven的配置,须对maven进行配置
- 使用命令 hadoop fs -mkdir -p 自定义文件名称 来进行空目录的创建
- 使用本机IP地址在浏览器中进行访问,跳转页面中会有目录列表
- 使用命令hadoop fs -put 数据源路径名称 数据源的存放位置 来将数据源上传至目录中