![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
xiaoxiaoxiaoxiaoshi
这个作者很懒,什么都没留下…
展开
-
修改字段分隔符类型
修改字段分隔符类型 将inner_person_t这张表的字段分隔符改为空格分隔 alter table 表名 set serdeproperties('field.delim'=' ');原创 2019-11-14 18:46:11 · 664 阅读 · 0 评论 -
Hadoop数据本地化策略
Hadoop数据本地化策略 1.当JobTracker接收到MR任务之后,会去访问NameNode获取要处理的文件信息 2.NameNode将文件信息(包括文件大小,存储位置,切块信息)返回给JobTracker 3.JobTracker收到文件信息之后会将文件进行切片(split中只包含切片信息比如切片起点,切片大小位置等,不包含实际数据),一般习惯上,会将切片和切块设置的一样大。每...原创 2019-11-13 09:02:05 · 304 阅读 · 0 评论