![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
静静七分醉
该动手的年龄别只动脑
展开
-
SpringData入门案列
springData基础目录1.创建项目,导入依赖:pom.xml2.配置Spring核心配置文件:ApplicationContext.xml3.创建实体:4.Repository接口5.Repository接口中方法定义约定6.@Query注解自定义SQL7.CrudRepository接口8.PagingAndSortingRepository接口1....原创 2019-06-23 15:25:20 · 366 阅读 · 0 评论 -
如何通过SpringData操作Hive数据
目录1.创建项目导入相关依赖2.编写Spring配置文件3.启动Hive的远程连接服务HiveServer24.通过API操作HIVE1.创建项目导入相关依赖<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"...原创 2019-06-23 15:52:55 · 2904 阅读 · 0 评论 -
大数据经典问题集
1.Hadoop的调度机制1.先入先出FIFO Hadoop 中默认的调度器,它先按照作业的优先级高低,再按照到达时间的先后选择被执行的作业。2.公平调度器(相当于时间片轮转调度) 为任务分配资源的方法,其目的是随着时间的推移,让提交的作业获取等量的集群共享资源,让用户公平地共享集群。具体做法是:当集群上只有一个任务在运行时,它将使用整个集群,当有其他作业提交时...原创 2019-07-17 16:51:09 · 316 阅读 · 0 评论 -
Hadoop 小文件处理 SequcenceFile 可以直接定位到某个小文件 info
SequenceFile概述SequenceFile是Hadoop API提供的一种二进制文件支持,其具有使用方便、可分割、可压缩的特点。在SequenceFile文件中,每一个key-value被看做是一条记录(Record),因此基于Record的压缩策略,SequenceFile文件可支持三种压缩类型(SequenceFile.CompressionType):NONE: 对re...原创 2019-08-29 21:20:48 · 395 阅读 · 0 评论