![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 68
Uper2019
这个作者很懒,什么都没留下…
展开
-
NameNode启动过程详细剖析
NameNode启动过程详细剖析NameNode中几个关键的数据结构1. FSImageNamenode会将HDFS的文件和目录元数据存储在一个叫fsimage的二进制文件中,每次保存fsimage之后到下次保存之间的所有hdfs操作,将会记录在editlog文件中,当editlog达到一定的大小(bytes,由fs.checkpoint.size参数定义)或从上次保存过后一定时间段过后(sec,由fs.checkpoint.period参数定义),namenode会重新将内存中对整个HDFS的目录树转载 2021-06-24 15:48:29 · 822 阅读 · 1 评论 -
CombineInputFormat在hive和MapReduce的应用和原理
CombineInputFormat在hive和MapReduce的应用和原理CombineInputFormat应用Hive中可以设置MapReduce设置CombineInputFormat的原理**1.FileInputFormat的基本处理逻辑**2.文本类型TextInputFormat的使用3.CombineInputFormat原理与用法4.CombineInputFormat应用CombineFileInputFormat作用:将多个小文件打包成一个InputSplit提供给一个Map处理原创 2021-03-22 16:55:09 · 1900 阅读 · 0 评论 -
论jar包的重要性
论jar包的重要性作为Java的小白,在jar包依赖的踩坑之路第一坑 jar包冲突背景:kafka avro 初始化报错,找不到某类原因:hadoop-common中的vcore包和kafka的包冲突解决移除hadoop-common中的vcore包依赖第二坑 jar包引用和客户端冲突背景Java初始化客户端,使用filesystem.get与HDFS服务端连接时,报以下错误:+ java -cp HDFSPathMonitor-1.0-SNAPSHOT-jar-with-depen原创 2021-03-09 15:44:33 · 201 阅读 · 0 评论 -
kafka schema创建出错问题解答
背景将获取的数据通过kafka写入hive中,其流程为1.申请kafka的topic和schema2.创建producer,将数据写入kafka3.通过kafka-connector-HDFS自动消费kafka的数据到hdfs4.并在hive中自动创建表在步骤2中创建schema对象时,报如下错误:IllegalAccessError: tried to access method org.apache.avro.specific.SpecificData.<init>() fro原创 2021-03-02 11:25:30 · 632 阅读 · 0 评论 -
Hadoop实战-11-hive阅读笔记
Hadoop实战11章阅读笔记导言hive简介hive体系结构hive的数据存储hive的元数据存储hive安装、配置error logs错误日志hive表可存储的数据类型hive DDL创建表删除表修改表、分区语句创建、删除视图创建/删除函数展示描述语句数据操作导言hive是Hadoop的一个重要子项目,封装MapReduce编程技术,提供hive QL的类SQL的编程接口,方便快捷的访问和使用MapReduce。hive简介hive是一个基于Hadoop文件系统上的数据仓库结构,提供的功能:数据原创 2020-06-30 15:29:37 · 254 阅读 · 0 评论 -
centos7下java编辑器Intellij idea安装
centos7下java编辑器Intellij idea安装你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。安装依赖包yum -y install gcc gcc-c++ gdb官网下载idea在centos的火狐浏览器地址栏中输入https://www....原创 2020-03-11 19:39:10 · 701 阅读 · 3 评论