![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 50
hadoop集群搭建、hadoop报错解决、工具:VMware、XShell、环境:Linux
连胜是我偶像
软件工程学生
展开
-
zookeeper启动报错:Error contacting service. It is probably not running.
问题:看似启动了,实际上是没有启动分析:进去zookeeper.out看看日志内容输入:vi zookeeper.out错误:java.net.NoRouteToHostException: No route to host分析:没有找到主机的路由,即可能是防火墙未关闭。实验:hadoop01、hadoop02、hadoop03分别输入:service iptables statushadoop03这个漏网之鱼没有关上防火墙解决:service iptables.原创 2022-04-18 16:55:54 · 2076 阅读 · 0 评论 -
Hadoop中jps有,但是http://hadoop01:50070/出现不了界面怎么解决?hadoop集群启动但不能访问50070?
原因:1.window主机下没有配置IP映射2.防火墙没有关闭解决:跟着我写过的文章的前两步操作(6条消息) Hadoop(1)——Hadoop集群构建(11)——UI界面查看运行状态_连胜是我偶像的博客-CSDN博客_hadoop ui界面...原创 2022-03-23 21:28:17 · 2641 阅读 · 0 评论 -
spark能取代Hadoop吗?
不能。因为spark只能进行运算,运算速度高于Hadoop,但是不能进行存储。原创 2022-03-23 20:06:17 · 1717 阅读 · 0 评论 -
hadoop与spark的简单对比
相同点:Hadoop和spark都是大数据计算框架。不同点:1.编程方式Hadoop:使用MapReduce计算数据时,计算过程必须转化为Map和Reduce两个过程spark:不止以上两种操作,还提供多种数据集的操作类型2.数据存储Hadoop:计算产生的中间结果,存储在本地磁盘中spark:存储在内存中3.数据处理Hadoop:执行数据处理时,都需要从磁盘中加载数据,磁盘IO开销较大spark:执行数据处理时,将数据加载到内存中,直接在内存中进行计算。4数原创 2022-03-22 21:49:03 · 702 阅读 · 0 评论 -
为什么复制别人的虚拟机,在自己的VMware中不能使用?为什么使用不了别人的虚拟机?
目录1.如何知道自己使用不了?2. 检查映像3.查看网络配置1.如何知道自己使用不了?在开机的虚拟机中,使用ifconfig指令,未获取到对应的IP地址和信息2. 检查映像右键被copy过来的虚拟机 ,点击设置点击CD/DVD,点击浏览,查看镜像路径 是否有自己需要的镜像没有就修改路径,选择有自己需要的镜像的路径3.查看网络配置详情跟着下列我的文章操作其中IP地址是可修改但需要保持一致的,比如文内是192.168.121.134是IP地址,你也可以是1原创 2022-03-22 21:16:59 · 5311 阅读 · 0 评论 -
XShell 怎么使用?第一次如何使用XShell连接虚拟机?
XShell使用前提:1.对应的 需要连接的 虚拟机在vm中开机着2.下载并安装好XShell3.虚拟机网络连通(具体可看(5条消息) Hadoop(1)——Hadoop集群构建(4)——Linux系统网络配置_连胜是我偶像的博客-CSDN博客使用教程:1.点击新建,输入名称(该名称为xshell中使用的名称),输入主机(对应虚拟机的ip地址)2.右键新建的会话,点击打开3.输入账号密码进行登录4.成功标志...原创 2022-03-22 20:59:06 · 7840 阅读 · 0 评论 -
Hadoop(1)——Hadoop集群构建(3)——虚拟机克隆
需要再克隆两个虚拟机第一个虚拟机:在关闭客户机状态下,右键虚拟机--》管理--》克隆点击下一页克隆源:克隆自虚拟机中的当前状态,点击下一页克隆类型:创建链接克隆虚拟机名称与位置:名称:hadoop02 ,跟hadoop01相对应位置:在装Hadoop01的位置的平行位置上创建一个Hadoop02文件放置它,Hadoop03一样的方法。点击完成成功界面:点击关闭,左上角的我的计算机目录下会出现hadoop01和hadoop02这两个虚拟机...原创 2021-09-15 19:33:02 · 413 阅读 · 0 评论 -
Hadoop(1)——Hadoop集群构建(4)——Linux系统网络配置
前方高能:超长图文,请耐心观看理解。一步一步跟着来就很简单。因为很详细。配置前的检查右键电脑下方导航栏,点击任务管理器点击服务,找到V开头的名称,这5个就是VMware相关的服务,需要保证这5个服务都是正在运行的。虚拟机网络编辑点击软件内的编辑--》虚拟网络编辑器选择NAT模式,点击更改设置继续选择NAT模式修改子网ip为:192.168.121.0点击NAT设置将网关设置成192.168.121.2,点击确定点击DHCP设置将起...原创 2021-09-15 23:28:42 · 2174 阅读 · 6 评论 -
Hadoop(1)——Hadoop集群构建(1)——虚拟机创建
1问:学习《Hadoop大数据技术原理与应用 》为什么要使用虚拟机?1答:Hadoop集群搭建涉及到多台机器,我们没有这么多机器,就要使用虚拟机在一台电脑上构建多个Linux虚拟环境,来学习和训练。2问:我没有虚拟机怎么办?2答:在资源里传了虚拟机:VMware,这个软件,下载安装好就行,无脑下一步。3问:虚拟机下载好长什么样?3答:长这样创建虚拟机方法1:点开虚拟机,可以看到主页上这个这么大的创建虚拟机按钮方法2:点文件->点新建虚拟机点击新建虚.原创 2021-09-14 22:27:56 · 903 阅读 · 3 评论 -
Hadoop(1)——Hadoop集群构建(2)——虚拟机操作系统配置
设置镜像文件(在资源里):编辑虚拟机设置--》点击CD/DVD--》右侧连接选择使用ISO映像文件--》选择浏览。把镜像文件的目录(图2)导入进去,点击确定点击开启虚拟机,来进行操作系统的安装稍等一会后来到这个界面,键盘上点击enter稍等一会,出现这个界面,提示是否检测光盘,点击取消skip,没有鼠标就按下->键,点击enter经过等待,出现安装引导界面,点击next。鼠标切出虚拟机到本机的快捷键:Ctrl+Alt语言设置:...原创 2021-09-15 19:04:40 · 408 阅读 · 0 评论 -
Centos 6 使用yum install lrzsz -y 出错 解决办法
报错信息:在建hadoop集群中,安装JDK这一部分里,使用 yum install lrzsz -y 报错报错原因:Centos官方已宣布停止对Centos6的维护更新,并下架了CentOS的源解决:1.切目录:cd /etc/yum.repos.d2.备份CentOS-Base.repomv CentOS-Base.repo CentOS-Base.repo.backup3.编辑CentOS-Base.repoviCentOS-Base.repo4.将..原创 2021-09-28 11:20:44 · 1669 阅读 · 0 评论 -
Hadoop(1)——Hadoop集群构建(5)——SSH远程服务配置(免密登录)
安装并开启SSH服务1. 查看是否有SSH服务:rpm -qa | grep ssh列出这四个包,则安装了2. 查看SSH服务是否开启:ps -e | grep sshd出现这个进程则开启了3. 如果没有安装,输入:yum install spenssh-server 安装免密SSH登录原理:1. 在 B节点 配置 A节点 的 公钥2.A节点 请求 B节点 要求登录3.B节点 使用 A节点 的公钥,加密一段文本4.A节点 使用私钥解密,并...原创 2021-09-26 22:09:17 · 826 阅读 · 0 评论 -
启动Hadoop集群、启动Hadoop的HDFS失败、namenode启动不了、datanode启动不了、jps后进程只有一个
问题描述:已经输入了启动namenode和datanode进程的代码,也没有报错,但是jps后只有jps一个进程,amenode和datanode进程没有显示问题解决:查看一下 你的 格式化系统文件 有没有成功运行原创 2021-09-29 17:42:27 · 6776 阅读 · 0 评论 -
Centos 6 使用yum install lrzsz -y 出错 解决方法
报错信息:在hadoop集群搭建中,JDK安装部分出现的错误报错原因:Centos官方已宣布停止对Centos6的维护更新,并下架了Centos的源解决:1. 切目录cd /etc/yum.repos.d2. 备份CentOS-Base.repomv CentOS-Base.repo CentOS-Base.repo.backup3. 编辑CentOS-Base.repoviCentOS-Base.repo4. vi 内的输入内容[centos-offi.原创 2021-09-28 11:33:00 · 1874 阅读 · 0 评论 -
(Linux)shell:unexpected EOF while looking for matching `“`
错误信息:unexpected EOF while looking for matching `"` 寻找匹配时出现意外 EOF“syntax error: unexpected end of file 语法错误:意外的文件结束源代码:解决思路:1. 方式:提示76行有引号未被匹配到,于是删掉了76行最后一个引号。 结果:第一个错误不出现了,但还是有意外文件错误。说明这个方法不行2.方式:删掉76行所有引号,提示69行有引号未被匹配,发现69行少了个引号...原创 2021-10-12 21:51:11 · 6597 阅读 · 0 评论 -
Hadoop集群搭建中虚拟机里解压的是javaJDK1.8,但是使用命令java -version却是javaJDK1.7,该如何更改为javaJDK1.8?
第一部分是讲我的问题,第二部分是讲我的解决方式。可以从目录跳过去看。问题:1. 在下载、解压、未更改名称前,jdk版本是1.8的2.配置环境后,输入Java -version,却显示是1.7版本3.输入javac -version,显示解压的jdk版本解决:1. 切换到 /root目录 ,输入 :which java 找到Java所在目录2.切换到Java目录:cd /usr/bin,输入:rm java 删掉它提示你是否删除,输入:y3.再次输入:.原创 2021-09-28 15:59:52 · 882 阅读 · 1 评论 -
Hadoop(1)——Hadoop集群构建(12)——集群初体验
hadoop经典案例————单词统计目录hadoop经典案例————单词统计1. 打开HDFS的UI界面,查看是否有数据文件,默认是没有数据文件。2. 准备文本文件,在Linux系统上编辑一个文本文件,然后上传到HDFS上。2.1 在/export目录下新建data目录,存放数据文件2.2 在HDFS上创建目录2.3 将word.txt文件上传到input文件夹下3. 运行hadoop-mapreduce-examples-2.7.4.jar包,实现词频统计。3.1 找.原创 2021-10-11 20:11:02 · 1225 阅读 · 0 评论 -
如何修改hosts文件
问题描述:设置Hadoop的映射的时候,C盘下 Windows --> System32 --> drivers --> etc -->hosts文件不能修改问题解决:修改users的权限目录1. 点击hosts属性2. 找到安全--> 高级3.添加--》选择主体4. 高级 --> 立即查找 --> Users5. 一路确定,选择完全控制1. 点击hosts属性2. 找到安全--> 高级3.添...原创 2021-10-03 10:44:38 · 3280 阅读 · 0 评论 -
Hadoop(1)——Hadoop集群构建(10)——启动和关闭Hadoop集群
需要启动的集群:启动HDFS和YARN集群启动方式:单节点逐个启动 或者 使用脚本一键启动一、单节点启动1. 启动HDFS的主节点 namenodehadoop01中,输入:hadoop-daemon.sh start namenode2. 启动HDFS的从节点 datanodehadoop01中,输入:hadoop-daemon.sh start datanode3. 验证启动hadoop01中,输入:jps这个命令可以查看和java相关的进程...原创 2021-09-28 23:28:50 · 3538 阅读 · 0 评论 -
Hadoop中格式化文件HDFS失败
写在前面:运行失败的时候,一定要看报错信息!!对症下药。报错信息:报错分析:1. 找到ERROR在第一行中有个“ ERROR ” ,那我们就从这里开始看,这里后面会告诉你错在哪个文件夹哪行哪里,具体错误是什么2. SystemId这里告诉了你在文件(file)中,/export/servers/hadoop-2.7.4/etc/hadoop/mapred-site.xml这个文件出错了。那我们就要切换到文件的目录下,启用vi编辑器查看具体信息。cd /export/se原创 2021-09-28 23:54:02 · 6896 阅读 · 1 评论 -
关闭NameNode进程
(2条消息) hadoop关闭不了namenode和datanode解决方法_Code First-CSDN博客转载 2021-09-29 18:24:53 · 1978 阅读 · 0 评论 -
Hadoop(2)—— HDFS(1)—— 常用的shell命令
较为常用两种命令方式:hadoop fs <args>hdfs dfs <args>所有shell命令网址:http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/FileSystemShell.html1. ls查看根目录下的目录hadoop fs -ls /2. mkdir创建子目录 /itcast/hadoophadoop fs -mkdir -原创 2021-10-11 21:31:13 · 85 阅读 · 0 评论 -
Hadoop(1)——Hadoop集群构建(11)——UI界面查看运行状态
Hadoop集群正常启动后,默认开发两个端口50070和8088,分别用于监控HDFS集群和YARN集群操作 : 在本地操作系统浏览器输入集群服务IP和对应端口号一、window主机下配置IP映射1. 在C盘下找到 Windows --> System32 --> drivers --> etc -->hosts2. 添加上虚拟机的IP地址和主机名二、关闭虚拟机防火墙每台虚拟机都输入:service iptables stop每台...原创 2021-10-02 14:39:36 · 4813 阅读 · 0 评论 -
Hadoop(1)——Hadoop集群构建(7)——Hadoop安装
1. 下载Hadoop安装包下载网址:http://archive.apache.org/dist/hadoop/common/1.1 往下翻,选择2.7.4版本1.2 选择hadoop-2.7.4.tar.gz,下载这个安装包2. 解压安装Hadoop2.1 切换目录到切换目录到:/export/software2.2加载下载的Hadoop输入:rz -E2.3查看Hadoop输入:ls2.4解压Hadoop输入:tar -zxvf h...原创 2021-09-28 17:16:26 · 218 阅读 · 0 评论 -
Hadoop(2)—— HDFS(2)—— shell采集数据到HDFS(有亿点bug需要解决)
通过编写shell脚本,用于采集服务器上的日志文件,并将海量日志上传至HDFS中。1. 准备工作:创建以下目录、创建日志文件1.1创建目录输入:mkdir –p /export/data/logs输入:mkdir –p /export/data/logs/log (存放日志)输入:mkdir –p /export/data/logs/toupload (存放待上传文件)验证创建:输入:cd /export/data/logs输入:ls1.2创建日志文...原创 2021-10-12 21:40:03 · 2616 阅读 · 2 评论 -
Hadoop(1)——Hadoop集群构建(9)——格式化文件系统
初次启动HDFS集群时,必须对主节点进行格式化处理在任何一个目录下,输入:hdfs namenode -format或者是:hadoopnamenode -format原创 2021-09-28 21:13:01 · 659 阅读 · 0 评论 -
CentOS6.8、虚拟机防火墙开启、关闭、重启、查询命令
开启:service iptables start关闭:service iptables stop永久关闭:chkconfig iptables off永久开启:chkconfig iptables on重启:service iptables restart查询:service iptables status原创 2021-10-03 10:48:46 · 3674 阅读 · 0 评论 -
Hadoop(1)——Hadoop集群构建(6)——JDK安装
1. 下载JDKhttps://www.oracle.com/technetwork/java/javase/downloads/index.html往下翻,找到8点进去往下翻2. 安装JDK切换目录到 /export/software安装 lrzsz ,目的是可以使用 rz 这个命令上传jdk到 /export/software 路径下,并解压3. 配置JDK环境变量4. JDK环境变量验证...原创 2021-09-28 11:03:23 · 327 阅读 · 0 评论 -
Hadoop(1)——Hadoop集群构建(8)——Hadoop集群配置
可以通过查看目录,来看每一个主要步骤。主要配置文件:一. 配置Hadoop集群主节点1.修改hadoop-env.sh文件1.1 进入Hadoop配置文件目录输入: cd /export/servers/输入: cd hadoop-2.7.4/输入:ls输入:cdetc/hadoop/输入: ls1.2打开hadoop-env.sh文件输入:vi hadoop-env.sh找到JAVA_HOME这个配置信息1.3修改JAVA_HOM...原创 2021-09-28 20:29:19 · 2968 阅读 · 1 评论 -
Hadoop(3)—— Zookeeper(1)—— Zookeeper安装包下载安装上传
1.下载zookeeper安装包2.上传安装包把zookeeper安装包上传到Linux系统下的/export/software/目录下2.1切换目录输入:cd /export/software/输入 :ls2.2上传输入:rz选择安装包2.3验证上传3.解压安装包输入:tar -zxvf zookeeper-3.4.10.tar.gz -C /export/servers/等待安装完毕输入:cd /export/servers/...原创 2021-10-19 15:19:26 · 677 阅读 · 1 评论 -
All mirror URLs are not using ftp, http[s] or file 安装gcc失败
一键修复(一条一条执行即可):一般执行前三条即可sed -i "s|enabled=1|enabled=0|g" /etc/yum/pluginconf.d/fastestmirror.confmv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backupcurl -o /etc/yum.repos.d/CentOS-Base.repo https://www.xmpan.com/Centos-6-Va转载 2021-10-13 15:45:41 · 74 阅读 · 0 评论 -
Hadoop(3)—— Zookeeper(4)—— zookeeper服务的启动和关闭
1. 启动 zookeeper 服务分别在hadoop01、hadoop02、hadoop03中,输入:zkServer.sh start2. 查看 zookeeper 角色查看在确保每台主机都启动了服务下,分别在hadoop01、hadoop02、hadoop03中,输入:zkServer.sh status3. 关闭zookeeper 服务输入:zkServer.sh status...原创 2021-10-19 20:53:25 · 2113 阅读 · 4 评论 -
Hadoop(3)—— Zookeeper(3)—— 修改Zookeeper环境配置和分发相关文件
1. zookeeper 环境配置Linux目录下 /etc 下的文件 profile 里面的内容都是与Linux环境变量相关的输入:vi /etc/profile原创 2021-10-19 15:54:26 · 918 阅读 · 3 评论 -
Hadoop(3)—— Zookeeper(2)—— 修改Zookeeper配置文件
一、修改zookeeper的配置文件1复制配置文件 zoo_sample.cfg 并重命名在/export/servers目录下输入:cd zookeeper-3.4.10/输入:cd conf/拷贝文件为zoo.cfg输入:cp zoo_sample.cfg zoo.cfg2. 修改zoo_cfg文件输入:vi zoo.cfg找到dataDir=/tmp/zookeeper2.1 把 dataDir=/tmp/zookeeper改成data...原创 2021-10-19 15:49:36 · 4194 阅读 · 0 评论 -
编写脚本 实现一键启动和一键关闭zookeeper服务
目录1. 准备工作2. 脚本文件 一键启动3. 脚本文件 一键关闭1. 准备工作进入zookeeper的安装目录下的bin文件:输入:cd /export/servers/zookeeper-3.4.10/bin2. 脚本文件 一键启动输入:vi start_zk.sh输入:#! /bin/shfor host in hadoop01 hadoop02 hadoop03do ssh $host "source /etc/profile;/...原创 2021-10-19 21:29:27 · 416 阅读 · 0 评论 -
.sh文件 变成 可执行文件
假设,我写了一个 hello.sh 脚本文件1. 执行 bash 脚本bash hello.sh2. 给脚本文件权限chmod +x hello.sh再运行文件:./hello.sh原创 2021-10-19 21:39:48 · 934 阅读 · 0 评论 -
Linux CentOS6 检查gcc安装
在根目录下输入:gcc -v安装成功显示:原创 2021-10-13 15:40:54 · 198 阅读 · 0 评论 -
Linux CentOS6 安装gcc
yum install gcc原创 2021-10-13 15:50:00 · 575 阅读 · 0 评论 -
Zookeeper启动显示成功,zkServer.sh status报错:Error contacting service. It is probably not running.
目录1. 检查防火墙是否关闭2. 确认每台主机是否都启动Zookeeper3. 检查zookeeper安装目录下zoo.cfg文件4.检查myid文件内容是否一致5. 检查环境配置是否出错6.检查是否使环境变量生效问题描述:问题分析:1. 检查防火墙是否关闭CentOS6.8、虚拟机防火墙开启、关闭、重启、查询命令_连胜是我偶像的博客-CSDN博客2. 确认每台主机是否都启动Zookeeper涉及到Leader(Master)选举的问题,需要先启动m...原创 2021-10-19 20:46:45 · 7817 阅读 · 0 评论