大数据-hadoop
记录我得大数据学习之路
散装程序猿
先做人,再做技术人员,最后做程序员。
展开
-
因为多次格式化导致hadoop启动失败
因为操作失误,导致hadoop格式化了两次。然后再启动的时候一直失败。启动不起来。①、先关闭集群②、删除hadoop/data目录③、hadoop/logs,删除logs里的所有内容④、重新执行格式化命令:hdfs namenode -format一定要注意成功标志:...原创 2020-08-05 09:52:11 · 1489 阅读 · 0 评论 -
HDFS-高可用(HA)配置和使用
HA(High Available),高可用性集群,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,且分为活动节点及备用节点。通常把正在执行业务的称为活动节点,而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题,导致正在运行的业务(任务)不能正常运行时,备用节点此时就会侦测到,并立即接续活动节点来执行业务。从而实现业务的不中断或短暂中断。一、前置条件安装好 Hadoo...原创 2020-04-23 16:58:41 · 444 阅读 · 0 评论 -
Hadoop 集群搭建
一、集群规划搭建的 hadoop 集群由 3 台服务器组成,分别叫做 master,salve1 和 slave2。其中 master 作为主节点,slave1 和 slave2 作为从节点。二、网络配置1.查看 3 个节点的主机名是否和规划的一致。2.关闭 3 个节点的防火墙并禁止开机启动。3.分别编辑 3 个节点的 /etc/hosts 文件,配置 IP 和域名。三、配置 S...原创 2020-04-15 15:04:17 · 315 阅读 · 0 评论 -
Hadoop启动警告:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... usi
最近在虚拟机上安装hadoop。但是在启动的时候有一个警告。WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-暂时还不知道会有什么后果。但是看着就很不舒服。所以就先解决掉它,然后再配置其他的。在网上找到了好几种解决方法,也都试了。下面一一列...原创 2020-04-13 17:33:30 · 1198 阅读 · 0 评论 -
初步了解hadoop
关于Hadoophadoop是一个分布式系统基础架构主要用来解决海量数据的存储和海量数据的分析计算问题广义上来讲,hadoop通常是指一个更广泛的概念——hadoop生态圈版本Apache Hadoop最早发行的dkhadoop适合新手使用,简单易上手Cloudera Hadoop(CDH)完全开源,比Apache hadoop在兼容性,安全性,稳定性上有增强。hor...原创 2019-09-27 09:02:46 · 194 阅读 · 0 评论 -
Hadoop-HDFS概述
HDFS(Hadoop Distributed File System)hadoop 分布式 文件系统HDFS组成:NameNode(nn):1、用来存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在的DataNode等。2、维护文件系统的统一目录树3、接受客户端的请求4、监控和管理 DataNodeDataNode...原创 2019-09-28 15:40:50 · 164 阅读 · 0 评论