Hadoop
关注
分享
扫一扫
开发分布式程序，充分利用集群的威力进行高速运算和存储
周偏偏偏
真正能让你走远的 是自律积极和勤奋
展开
-
搭建Hadoop报错汇总（那些曾经踩过的坑）
1.-bash: hadoop: command not found解决：首先检查自己hadoop文件是否成功上传解压放在了指定目录下，再查看自己的/etc/profile文件下是否把HADOOP_HOME的环境变量配好了，注意文件目录是否写对。2....原创 2020-03-18 14:59:32 · 2761 阅读 · 0 评论 -
搭建hadoop之启动hadoop平台（四）
文章目录启动hadoop平台修改SELINUX启动hadoophadoop启动成功启动hadoop平台1.修改start-dfs.sh[root@master ~]# cd /opt/bigdata/hadoop-3.0.0/sbin[root@master sbin]# vi start-dfs.sh 添加：HDFS_DATANODE_USER=rootHDFS_DATANOD...原创 2020-03-06 13:36:11 · 1959 阅读 · 1 评论 -
搭建hadoop报错node1: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
启动hadoop伪分布式集群报错node1: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). node2: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).数据节点node1和node2为正常启动，如图在网上找了很...原创 2020-03-06 13:33:13 · 25978 阅读 · 13 评论 -
搭建Hadoop之jdk安装及配置（三）
文章目录1.上传文件2.解压hadoop文件3.配置hadoop环境变量配置hadoop守护程序环境6.配置hadoop守护进程7.配置worker8.hadoop复制到其他host1.上传文件百度网盘提取地址提取码：9xy5右键传输，这里我传过就不传输了哈2.解压hadoop文件[root@master /]# cd /opt/ ...原创 2020-03-05 23:40:51 · 645 阅读 · 0 评论 -
搭建Hadoop之配置Liunx操作系统（二）
文章目录1.更改主机名2.网卡配置3.配置hosts4.配置SSH免密5.关闭防火墙1.更改主机名***(“三台虚拟机内操作”)我们为了能够更加方便来识别主机，我们使用主机名而不是使用IP地址，以免多处配置带来更多的麻烦。把三台虚拟机服务器中的主机名（hostname）分别更改为master、node1、node2。[root@localhost ~]# cd /etc/ ...原创 2020-03-05 22:25:43 · 467 阅读 · 0 评论 -
搭建Hadoop之部署前准备（一）
文章目录1.Hadoop部署的基本知识1. 单节点模式2. 伪分布式集群模式3. 多节点集群模式2.hadoop前准备软件包以及提取码软件说明虚拟机内操作系统安装CentOS7安装配置供参考┗|｀O′|┛架构分布1.Hadoop部署的基本知识Hadoop的部署模式分为三种，分别是单节点模式、伪分布式集群模式、多节点集群模式。1. 单节点模式无需任何守护进程，所有的程序都运行在同一个JVM上...原创 2020-03-05 20:48:24 · 1790 阅读 · 0 评论 -
Hadoop到底是什么？
文章目录1、Hadoop是什么1.1、小故事版本的解释1.2、稍专业点的解释1.3、记住下面的话：2、Hadoop能干什么3、怎么使用Hadoop3.1、Hadoop集群的搭建3.2、上传文件到Hadoop集群，实现文件存储3.3、编写map/reduce程序，完成计算任务1、Hadoop是什么1.1、小故事版本的解释小明接到一个任务：计算一个100M的文本文件中的单词的个数，这个文本文件有...转载 2020-02-13 11:53:30 · 517 阅读 · 2 评论