hadoop
呆痞ys
恰同学少年,风华正茂,挥斥方遒
展开
-
hdfs权限问题
当hdfs的所有权限不属于root时: #解决权限问题 方案一: vim /etc/profile #增加内容(创建该所有者) export HADOOP_USER_NAME=hdfs #使用该所有者更改权限 su hdfs 如: hdfs dfs chmod +w /user/spark 方案二: <property> <name>dfs.permissions.enabled</name> <value>false</value>原创 2021-01-19 10:38:01 · 460 阅读 · 0 评论 -
hadoop的高可用部署
搭建步骤 1.检查阶段 1.1. 检查环境是否安装了JDK、Zookeeper、Hadoop。 1.2. 检查Hosts文件是否做了IP和主机名的映射关系 1.3. 检查免密登录是否完成,测试三台服务器之间是否可以免密登录。 1.4. 检查主机是否修改了主机名。 2.部署阶段 2.1修改hadoop的配置文件(一定要注意路径的问题) 2.1.1 vim hadoop-env.sh export JAVA_HOME=/home/software/jdk1.8.0_131 export HADOOP原创 2020-08-10 21:16:19 · 221 阅读 · 0 评论 -
hadoop完全分布式部署
hadoop完全分布式部署 3.1 虚拟机环境准备:https://download.csdn.net/download/qq_45232054/11955312 1.安装与克隆虚拟机 1.1安装虚拟机 a.网络配置,新装的虚拟机,默认dhcp动态分配ip 默认新装虚拟机,开机不启动网卡 编辑网卡配置: https://blog.csdn.net/qq_45232054/article/de...原创 2020-05-31 15:43:19 · 188 阅读 · 0 评论