Hadoop
黎明之道
One has to adapt to survive.
Standing on the Shoulders of Giants.
展开
-
启动Hadoop时 8088页面打不开,您输入的域名无法解析,搜索正确域名问题解决
Yarmo8088页面打不开出现这个问题:您输入的域名无法解析,搜索正确域名找到我的电脑这个文件夹C:\Windows\System32\drivers\etc这个地址将第一个hosts里面设置的IP和用户名删除,只留下一个。就OK了别的问题,戳这里——>datanode无法打开,页面打不开问题...原创 2020-07-04 14:04:38 · 706 阅读 · 0 评论 -
解决Hadoop种datanode无法启动问题,8088页面启动不了问题解决办法
解决Hadoop种datanode无法启动问题首先进入/home/hadoop这各文件夹,进入/data/里面,进入/tmp/文件夹,进入/dfs/文件夹,里面有,data和name两个文件夹。文件夹:cd /home/hadoop/data/tmp/dfs/如果是datanode启动不了就把启动不了的节点的data里面的/current/里面文件都删除,用:rm -rf 文件名,然后重新启动所有节点:sbin/stop-dfs.sh如果是namenode启动不了就把启动不了的节点name里面的/c原创 2020-07-01 13:28:19 · 1248 阅读 · 0 评论 -
hadoop 配置hbase遇到的问题,16010页面打不开,ERROR: KeeperErrorCode = NoNode for /hbase/master等问题解决
hbase启动以后,HMaster进程启动了,几秒钟以后自动关闭,但是HRegionServer进程正常运行;16010页面打不开,hbase shell:ERROR: KeeperErrorCode = NoNode for /hbase/master出错。主要是这些问题:配置文件 hbase.site.xml里面: <property> <name>hbase.rootdir</name> <value&g原创 2020-06-30 21:10:21 · 7007 阅读 · 1 评论 -
对于VMware-Linux虚拟机配置动态和静态网络,配置网络,克隆后网络不可用的办法
**虚拟机配置网络特别注意:当我们输入命令错误时,出现全是横线的时候,**按ESC,然后输入:q!**强制退出即可。**当我们开始配置网络之前首先查看虚拟机的ip:后点击虚拟网络编辑器查看VMnet8的IP:(记住这个IP后面用的到)现在开始进入虚拟机:登录输入:root 和你的密码 (尽量用左边的数字登录):现在开始修改你当前的主机名称:执行:vi /etc/sysconfig/network 命令将HOSTNAME后面的名字改成你想要改原创 2020-06-19 11:32:25 · 461 阅读 · 0 评论 -
Hadoop HDFS(NameNode、DataNode和HA高可用)
一、NameNode和SecondaryNameNode(面试开发重点)1 NN和2NN工作机制思考:NameNode中的元数据是存储在哪里的?如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。NN和2NN工作机制1.第一阶段:NameNode启动第一次启动NameNode格式化后,创建Fsimage和Ed原创 2020-05-21 21:28:08 · 1381 阅读 · 0 评论 -
Hadoop 分布式文件系统HDFS
分布式文件系统HDFS一、HDFS概述1.背景、定义背景:随着数据量越来越大,在一个操作系统上存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。定义:HDFS,他是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。使用场景:适合一次写入,多次读出的场景,且不支持文件的修改。适合用来做数原创 2020-05-20 20:44:14 · 315 阅读 · 0 评论 -
Hadoop Hadoop运行环境搭建
Hadoop运行环境搭建Linux虚拟机安装请看:https://blog.csdn.net/sjjsaaaa/article/details/105756559主机规划:一、虚拟机环境准备1. 克隆虚拟机先选定要克隆的机器zaz01------菜单栏上的虚拟机------管理-------克隆虚拟机的名字自己取,点完成即可,这样虚拟机就克隆好了。2.修改主机名打开虚拟机以后先root然后执行:vi /etc/sysconfig/network 命令将HOSTNAME=原创 2020-05-15 12:53:53 · 485 阅读 · 0 评论 -
Hadoop 从Hadoop框架讨论大数据生态
从Hadoop框架讨论大数据生态1 、Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础框架。主要解决,海量数据的存储和海量数据的分析计算问题。广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈。2、 Hadoop发展历史3 、Hadoop三大发行版本Hadoop三大发行版本:Apache、Cloudera、Hortonworks。Apache版本最原始(最基础)的版本,对于入门学习最好。Cloudera在大型互联网企业中用的较原创 2020-05-15 10:04:44 · 261 阅读 · 0 评论 -
hadoop 入门介绍(大数据介绍)
大数据概论.1 大数据概念主要解决,海量存储和海量数据的分析计算问题。2 大数据特点1>Volume(大量)2>Velocity(高速)3>Variety(多样)4>Value(低价值密度)价值密度的高低与数据总量的大小成反比。如何快速对有价值数据“提纯”成为目前大数据背景下待解决的难题。3 大数据应用场景物流仓库:大数据分析系统助力商家精细化运营、提升销量、节约成本。零售:分析用户消费习惯,为用户购买商品提供方便,从而提升商品销量。旅游:深度结原创 2020-05-15 09:41:57 · 270 阅读 · 0 评论