- 博客(11)
- 收藏
- 关注
RSS订阅原创 HDFS的可靠性策略
HDFS的可靠性策略是由多个机制共同维护的，可靠性体现在不同的状况下，下面我们来简单讲讲。一、文件的完整1、在文件刚刚开始建立的时候，文件中的每个数据块都会产生一个校验和(checksum)，这个校验和会保存在.meta文件内部。2、客户端获取数据的时候会和这个校验和进行对比，检查是否相同，从而发现数据块是否损坏。2、如果说正在读取的数据块损坏，则可以读取其他副本。接着NameNode会标记该block块已经损坏，然后复制该block达到预期设置的文件备份数。4、DataNode在其文件创建后三周
2021-09-25 14:13:39
1171
1
原创 集群安全模式=＞namenode启动过程=＞Secondary namenode的作用
一、集群启动 首先要记住，集群启动的时候必定是处于安全模式中的。NameNode启动 NameNode启动时，首先将镜像文件（Fsimage）载入内存，并执行编辑日志（Edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的Fsimage文件和一个空的编辑日志。此时，NameNode开始监听DataNode请求。这个过程期间，NameNode一直运行在安全模式，即NameNode的文件系统对于客户端来说是只读的。DataNode启动 系统中的数据块的位置并不是由Na
2021-09-25 13:28:10
252
原创 电脑远程连接8042网页端口-MobaXterm(史上最详细图解)
突然觉得MobaXterm这个软件可以哎，话不多说，让我们康康它的连接方式吧。对了，别忘了收藏噢。一、设置进入后填写好你的信息：点击启动按钮二、打开网页
2021-08-08 10:33:54
966
原创 SSM框架--(springmvc+mybatis【mysql】)+tomcat 浅解
一、启动maven二、maven工程基础设置1、第一个修改的地方2、第二个修改的地方3、第三个修改的地方4、配置pom.xmlpom.xml三、创建结构四、java内容1、UserMapperpackage cn.kgc.smmvc.biz.mapper;import cn.kgc.smmvc.entity.UserCond;import cn.kgc.smmvc.entity.UserInfo;import org.apache.ibatis.annot
2021-07-08 17:55:21
858
原创 mapreduce-MR执行流程（IO）
MapReduce——MR的执行流程（五次IO）一个完整的mapreduce程序在分布式运行时有三类实例进程：MRAppMaster：负责整个程序的过程调度及状态协调mapTask：负责map阶段的整个数据处理流程（maptask的数量是不能设置的，reducetask可以自己设置job.setNumReduceTasks(5);）ReduceTask：负责reduce阶段的整个数据处理流程对于MR的执行流程，我是通过其过程中的五次IO来记忆的，详细解释如下(最后有流程详图)：
2021-06-22 19:55:47
1761
原创 zepplin安装配置和所有命令失效总结
zeppelin安装配置安装前提：在安装zeppelin前要保证你的hadoop和hive是开着的噢，这很重要！！！第一步将下载的压缩包放入/opt/download/hadoop目录下面(我是放在这边的，大家可以自己任意选择)cd /opt/download/hadoopls然后直接拖就行了第二步1、解压解压压缩包至/opt/software目录下面（这边我下的是zeppelin-0.8.2-bin-all.tgz）tar -zxvf /opt/download/hadoop/zep
2021-06-21 19:58:16
594
原创 大数据入门简介（一）了解大数据
大数据入门简介（一）首先我们先想想为什么会大数据，或者说它能干什么？与常规数据比较，大数据体现在什么地方？大数据大数据，关键是什么，大！！！就是这么浅显，大，什么大，数据大呗。下面我们就围绕这个大好好谈谈这个大数据。一、概念（三无、俩海）1、大数据是指无法通过常规软件等工具对数据内容进行抓取、管狸和处理的数据集合（三无）。2、大数据主要解决（俩海）：海量的数据存储和海量的数据计算问题。二、特性（四V俩固）四大特性(4V)： Volume：大数据量。大多是过去俩年产生的数据 Veloci
2021-06-20 16:59:23
879
原创 org.apache.hadoop.hive.metastore.HiveMetaException: Unknown version specified for initialization: 3.
org.apache.hadoop.hive.metastore.HiveMetaException: Unknown version specified for initialization: 3.1.0我的是联想拯救者，hive找不到3.1.0的版本，无奈之下只能去降版本了，然而当我把apache_hive-2.3.8-bin.tar.gz下载后， 更恶心的是我还需要把hadooop版本也换了!!！下载后，然后把这俩个压缩包直接拖到/opt/download/hadoop/下面下面是我降版本的
2021-06-09 22:16:21
2791
3
原创 hadoop详细安装配置步骤+免密操作
Hadoop详细安装步骤和免密操作第一步：检测/etc/hosts中的主机ip映射[root@wxl138 ~]# hostnamewxl138[root@wxl138 ~]# ip addr1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
2021-06-09 21:59:13
517
1
原创 java中isPrimitive()方法和包装类
java中isPrimitive()方法和包装类一、描述 java.lang.Class.isprimitive()是说：确定指定的Class对象是基本类型，其返回是个boolean值，true代表你指定的这个Class对象是基本类型，false代表这个Class对象不是基本类型。所以在java.lang.Class.isPrimitive()中： .isPrimitive()是用来判断是否是基本类型的： void.isPrimitive() //true; .class用
2021-05-17 22:05:20
5220
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人