大数据
文章平均质量分 61
Fushicho_XF
对知识无比的向往,渴望打开新世界的大门~
展开
-
Hadoop2.x 版本伪分布式环境搭建及测试
Hadoop2.x 伪分布式环境搭建及测试 作者:Fushicho 时间:2018/12/7 目录 H...原创 2018-12-14 11:38:30 · 737 阅读 · 0 评论 -
Hadoop2.x版本多节点集群安装及测试
Hadoop2.x版本多节点集群安装及测试 作者:Fushicho 日期:2018-12-11 目录 Ha...原创 2018-12-14 15:47:57 · 1008 阅读 · 0 评论 -
Hadoop集群中hdfs出现:Operation category READ is not supported in state standby.异常问题的分析与解决
翻译:该主机状态为待机,不支持操作类别READ.如果Hadoop启动正常,发现主节点无法对分布式文件系统进行hdfs操作查看主NameNode节点的状态:$ hdfs haadmin -getServiceState nn1nn1具体根据个人定义,有些人定义的是namenode1等等.若是发现状态为standby,说明他不能进行HDFS操作,非活跃节点~查看副NameNo...原创 2018-12-28 22:54:19 · 7014 阅读 · 1 评论 -
Hadoop集群的DataNode中nodemanager启动一段时间后自动关闭问题
环境说明:Hadoop 2.7.3 版本NameNode节点:node01,node02DataNode节点:node01,node02,node03node01机器作为主NameNode节点.问题说明:Hadoop集群启动正常,查询jps后发现三台机器的nodemanager进程启动正常,但是一段时间后,发现三台机器的nodemanager进程都自动结束了,查询日志后发现...原创 2018-12-29 00:28:48 · 3044 阅读 · 3 评论 -
分布式的部分面试内容
什么是分布式系统?分布式系统是建立在网络上的软件系统,正是因为软件的特性,所以分布式系统具有内聚性和透明性;在一个分布式系统中,一组独立的计算机展现给用户的是一个统一的整体,就好像一个系统似的.并且在这样一个分布式系统中一般都会设立一个主节点作为客户端接口(告诉客户端到集群中哪台主机中存储与获取数据),现代化的分布式系统还应部署为高可用的(HA)架构;主要是解决互联网下大数据时代数据的存储和...原创 2019-03-08 00:11:55 · 398 阅读 · 1 评论 -
Spark单机版(测试机)环境配置
Spark单机版(测试机)环境配置文章目录Spark单机版(测试机)环境配置1.环境介绍2.安装步骤2.1. 所有机器关闭防火墙和 selinux2.2. 所有机器时间服务器同步2.3. 修改 主机名 和 hosts2.4.创建需要的文件夹2.5. SSH 免登录配置2.5.通过FileZile将压缩包都传输到/opt/soft目录下2.6. JDK 部署2.7.Spark部署3.启动Spark...原创 2019-06-04 22:27:42 · 1687 阅读 · 0 评论