- 博客(8)
- 收藏
- 关注
RSS订阅原创 Spark安装部署
此为课程笔记环境：centos7. Hadoop2.7.1 Spark3.0.0 Python3基于Docker的Spark安装部署。在老师指定的网站CourseGrading网站上的环境部署环境，本实验为每位学生提供了3个虚拟节点。Spark安装1.首先在网络上下载spark3.02.执行如下命令解压：cd /usr/localtar -zxvf spark-3.0.0-...
2020-03-28 19:01:38
266
原创 一个hosts文件配置错误了！
Hadoop集群已经启动成功了但是web50070只能看到一个运行的datanode 是slave2的第一反应 我怀疑是我的hosts文件里面是不是设置错了，然后我进去了slave2查看hosts文件，发现各个节点ip地址是对的，然后又查了master的，也是对的，唯独没查slave1的。然后我就各种搜索资料 什么删除VERSION文件 重启集群后来竟然启动集群后datanode都不显示了...
2020-03-10 21:08:57
963
原创 Hadoop集群启动后,在web:50070端口只有一个datanode节点
Hadoop集群启动后，使用jps查看进程均没问题，但是在Web50070端口上只显示了一个datanode。解决方法：1.关闭集群stop-dfs.shstop-yarn.sh2.将集群中每个datanode节点的VERSION删除（VERSION里面记录着datanodeid信息 路径/hadoop/tmp/dfs/data/current）cd /usr/local/hado...
2020-03-10 21:04:04
2744
1
原创 Hadoop集群搭建
课程笔记环境：复制JDKmkdir /usr/local/javacp /cgsrc/jdk-8u171-linux-x64.tar.gz /usr/local/java/2.解压JDK安装包cd /usr/local/java/tar -zxvf jdk-8u171-linux-x64.tar.gzrm -f jdk-8u171-linux-x64.tar.gz3.添加环境变量vim ...
2020-03-10 20:27:30
393
原创 Hadoop集群启动后没有Datanode解决方法
1.关闭集群stop-dfs.shstop-yarn.sh2.将集群中每个datanode节点的VERSION删除（VERSION里面记录着datanodeid信息 路径/hadoop/tmp/dfs/data/current）cd /usr/local/hadoop/tmp/dfs/data/current/lsrm -f VERSION3.执行hdfs namenode -fo...
2020-03-10 16:48:18
2571
4
原创 mkdir: Cannot create directory /usr/spark. Name node is in safe mode.
使用如下命令在HDFS文件系统中创建本实验的工作目录：/usr/local/hadoop/bin/hadoop fs -mkdir -p /user/spark时遇到问题无法创建目录mkdir: Cannot create directory /usr/spark. Name node is in safe mode.这是因为该节点处于安全模式可以采用强制退出的安全模式命令找到ha...
2020-03-07 16:50:21
1266
原创 如何解决安装MySQL后没有 my.ini 本地配置文件
环境· win10· MySQL8.0问题描述：安装好MySQL 后，文件中找不到my.ini配置文件。解决方法1、在安装目录的顶层目录（我的在c盘的根目录） 中找到 program data 文件夹（该文件夹默认为隐藏文件夹）...
2018-11-30 11:18:49
6540
2
原创 连接mysql 8提示2059 - authentication plugin 'caching_sha2_password
环境· win10· mysql 8.0· Navicat for mysql 11.2.15问题描述：下载好MySQL和 Navichat 后，连接数据库时显示#2059链接错误。解决方法1、由于MySQL8不支持动态修改密码验证方式，所以要先停止mysql。2、在my.ini文件中默认有下面的语句，删除前面的#号即可，没有的话就把它添加到my.ini中#default-...
2018-11-30 11:02:49
620
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人