bigdata
会唱歌的苏影
这个作者很懒,什么都没留下…
展开
-
java基础进阶之mybatis框架入门(一)
一、Mybatis初识什么是mybatis?二、什么是mybatis框架?我们java基础里javaWeb里有讲过控制层,持久dao层,那么mybatis就是u连接数据,使数据持久化的这样一个框架。==MyBatis== 本是apache的一个开源项目iBatis, 2010年这个项目由apache software foundation 迁移到了google code,并...原创 2019-07-28 21:20:26 · 212 阅读 · 1 评论 -
大数据hadoop分布式文件系统HDFS简述
HDFS是hadoop系统中的重要核心,它是一个分布式的文件系统。1、那么什么是分布式文件系统呢?我们打个比方来说,当我们有一个数据,有300G,但是我们每个电脑的硬盘存储最大只有256G,这个时候,单独的一台电脑是无法存储这个300G的文件的,那么我们要怎么存储这个文件呢?hadoop之父根据2013年谷歌发布的论文就开发出了这样一个文件系统。HDFS的核心思想就是我们可以将300G的文...原创 2019-08-17 20:50:05 · 1043 阅读 · 1 评论 -
mapreduce的中间自定义阶段小述
MapReduce运行模式集群运行模式1.将mapReduce程序提交给yarn集群,分发到很多节点上并发执行2.处理的数据和输出结果应该位于HDFS文件系统3.提交集群的实现步骤:将程序打成jar包,并上传,然后在集群上用hadoop命令启动本地运行模式1.MapReduce程序是在本地以单进程的形式运行2.处理的数据及输出结果在本地文件系统即在TextputFo...原创 2019-08-22 17:00:28 · 237 阅读 · 1 评论 -
大数据工具七剑下天山之Flume (一)
一、Apache Flume1、概述Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的软件。Flume的核心是把数据从数据源(source)收集过来,再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功,在送到目的地(sink)之前,会先缓存数据(channel),等到数据真正到达目的地(sink)后,flume在删...原创 2019-09-03 15:02:49 · 225 阅读 · 0 评论 -
HBase基础概念小结
一、什么是HBase? hbase是bigtable得开源java版本。是建立在hdfs之上,提供高可靠、高性能、列存储、可伸缩、实时读写nosql得数据库系统。它介于nosql和RDBMS之间,仅能通过主键(row key)和主键得range来检索数据,仅支持单行事务,当然后面可以和hive做集合配合来实现多表join等复杂得操作。HBase表的特点:1.一个表可以有上十亿行,...原创 2019-09-10 14:55:09 · 1182 阅读 · 0 评论