![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
linux环境搭建
文章平均质量分 89
搭建虚拟机集群操作介绍
dinghua_xuexi
这个作者很懒,什么都没留下…
展开
-
CDH环境故障:linux jdk环境部署不规范导致部署spark2 gateway失败,spark2-submit无法执行
问题概述 在CDH中离线部署完spark2之后,执行spark2-submit命令测试部署的spark2是否可用,结果立即提示请安装spark gateway角色。说明我的spark2并未成功部署,或者它依赖的环境没有满足问题详情问题出现如图,在spark2集群页面,选择【部署客户端配置操作】一段时间后,部署崩溃!查看日志查看崩溃的日志,spark2部署的每个客户端有2份日志,1份stout,1份sterrstout日志sterr日...原创 2020-05-12 09:17:29 · 895 阅读 · 0 评论 -
CDH环境故障: HDFS各服务进程状态未知,监控指标图表无数据
导语 cdh是管理大数据组件的利器,他能帮助我们很好的监控管理各大数据进程服务。但在我们使用的过程中,不小心,也会遇到一些问题。这时需要我们想办法去解决它。 本篇主要记录我遇到的一个CDH平台问题,就是突然有一天,我的大数据组件服务启动后,各进程显示灰色的问号图标,并提示运行状态未知。并且监控图标全都无法显示 以为是...原创 2020-05-04 09:59:18 · 4529 阅读 · 0 评论 -
CDH启动DataNode失败
搭建完CDH集群后,发现有一个DataNode启动后马上又挂掉,反复几次都是如此,查看角色日志java.net.BindException: Problem binding to [cdh01:50020] java.net.BindException: Address already in use; For more details see: http://wiki.apache.org...原创 2020-05-03 16:02:40 · 1171 阅读 · 0 评论 -
Linux环境搭建:NTP时间同步
导语 大数据有不少分布式组件,是需要各个节点保持时间同步的,比如hbase,cdh管理平台等。本文重点介绍centos7环境下,ntp服务的搭建。核心过程 需要做时间同步的各个节点,选取一台作为主节点,其他从节点都向这台主节点做时间同步,而主节点向网络标准时间做同步。详细步骤各节点安装ntp,ntpdate服务执行如下两个命令[roo...原创 2020-05-03 12:18:26 · 843 阅读 · 0 评论 -
Hadoop: datanode连接namenode 9000端口报错 NoRouteToHostException: No route to host
hadoop集群搭建好后,在datanode节点上执行hadoop fs命令,报下面的错[hadoop@hdp02 ~]$ hadoop fs -ls /ls: No Route to Host from hdp02/192.168.60.102 to hdp01:9000 failed on socket timeout exception: java.net.NoRouteToHos...原创 2020-04-05 21:55:46 · 908 阅读 · 2 评论 -
linux环境搭建(三) 虚拟机克隆
导语 我们已经完美的创建好一台虚拟机,并为之安装好了操作系统和各种软件,而且精心配置了网卡IP,保证了他能够上网。现在他已经时一台合格的服务器了。但是当我们需要搭建集群时,我们时需要多台这样的虚拟机的。搭建好一台,已经这么费劲了,难道又要照着刚才那繁琐的过程,重来好几遍?不!不会的,有了VMware,我们无需这么笨笨的,因为Vmware为我们提供了虚拟机克隆功能。有了它我们无需再重...原创 2020-03-09 21:21:16 · 759 阅读 · 0 评论 -
Linux环境搭建(二) 在虚拟机上安装CentOS 7 64位系统并设置静态ip上网
操作系统安装上一篇博客讲的是虚拟机硬件的各种配置,包括cpu,内存和磁盘,还有网卡,一台电脑性能怎么样,这些硬件起到重要作用,这一篇是记录虚拟机最重要的软件——操作系统的安装。首先,回到VMware主界面,选择上一篇设置好硬件的虚拟机,我的是hdp01,如下图,点击【开启这此虚拟机】到这里,开始进入操作系统安装界面,注意,此时需要通过键盘的上下键选中【Install CentOS ...原创 2020-03-08 18:01:47 · 291 阅读 · 0 评论 -
Linux环境搭建(一)在VMware上创建虚拟机并设置网络模式配置
导引 多年前就搭建过虚拟机集群,现在换了电脑,需要重新搭建,以为自己之前搞过,应该不费吹飞之力就能拿下,结果还是和以前一样,一路搞一路坑。此刻方知好记性不如烂笔头的含义。不多说,从现在开始用文字记录下吧,避免以后淌同样的坑,浪费时间和生命首先是在VMware上创建虚拟机首先,点击VMware界面左上角【文件】,然后选择【新建虚拟机】选项,出现下面的引导界面接着,...原创 2020-03-08 17:02:29 · 740 阅读 · 0 评论