![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
不想脱发的研究僧
这个作者很懒,什么都没留下…
展开
-
hive创建表使用多行分割
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe'WITH SERDEPROPERTIES ("field.delim"="!@#$")原创 2020-11-19 16:30:29 · 198 阅读 · 0 评论 -
Hadoop——HDFS(校招准备)
Hadoop——HDFS(校招准备)概念组成基础命令HDFS写操作HDFS读操作NameNode&Secondary NameNode工作机制chkpoint检查时间参数设置DataNode工作机制数据完整性概念HDFS,它是一个文件系统,用于存储文件,通过目录树来定位文件其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。HDFS的设计适合一次写入,...原创 2019-08-21 10:15:04 · 144 阅读 · 0 评论 -
Hadoop——MapReduce(校招准备)
Hadoop——MapReduce(校招准备)MapReduce概念Writable序列化一、常用数据序列化类型二、自定义bean对象实现序列化接口InputFormat数据切片机制一、FileInputFormat切片机制job提交流程源码详解FileInputFormat源码解析(input.getSplits(job))FileInputFormat中默认的切片机制:FileInputFor...原创 2019-08-21 10:59:44 · 155 阅读 · 0 评论