大数据
文章平均质量分 93
大数据相关知识
扎哇太枣糕
一名23届应届毕业生,目前在杭州从事Java后端开发工作,会持续在本博客更新Java基础、Java学习路线上的框架等知识。
展开
-
【手把手 脑把脑】教会你使用idea基于MapReduce的统计数据分析(从问题分析到代码编写)
MapReduce是一种简化的并行计算编程模型框架,主要解决了分布式计算的相关问题。所谓的分布式计算就是将一个文件里的数据内容,一行行的发送给mapper,mapper接收到一行数据使用split分割后接收,并按key分组后传给reducer,reducer将接收到的一组数据进行处理后输出,当所有的组都处理完成结束一个MapReduce。参考sql语句的分组查询,mapper功能就相当于按课程和成绩两个字段值对数据进行分组并查询学生姓名。mapper里的最后一句context.write(key,v原创 2021-12-16 10:17:39 · 9091 阅读 · 16 评论 -
【细节拉满】Hadoop课程设计项目,使用idea编写基于MapReduce的学生成绩分析系统(附带源码、项目文件下载地址)
Hadoop课程设计项目,使用idea编写基于MapReduce的学生成绩分析系统(附带源码、项目文件下载地址)原创 2021-12-24 17:52:29 · 28385 阅读 · 28 评论 -
『收藏向 期末SSM课设救急』 教你从搭建到测试运行手撸一个SSM项目实战,附带源码,前端页面、解析和一般遇到的问题(排雷)
项目来自动力节点,教你从搭建到测试运行手撸一个SSM项目实战,附带源码,前端页面、解析和一般遇到的问题(排雷)原创 2022-02-15 15:00:09 · 4029 阅读 · 84 评论 -
MongoDB副本集、分片集的伪分布式部署(保姆级教程)
1 集群架构(概念篇)MongoDB有三种集群部署模式,分别是主从复制(Master-Slave)、副本集(ReplicaSet)、分片集(Sharding)原创 2021-12-12 20:34:57 · 2160 阅读 · 0 评论 -
MongoDB Shell操作
1 数据库操作 当新创建的数据库里没有插入数据时,并不会被查询到相应的信息,只有插入数据的数据库才会显示其相应的信息。在对某个数据库进行相关操作时,需先使用use命令选择执行该数据库。#创建数据库myDB(use命令在数据库已存在时就是选择执行,否则就是创建)use myDB#查看数据库show dbs#选择执行myDB数据库use myDB#统计数据信息db.stats()#查看当前数据库下的所有集合show collections...原创 2021-12-12 12:00:30 · 2048 阅读 · 2 评论 -
非关型数据库之MongoDB
1 MongoDB简介1.1 初识MongoDB MongoDB来源自英文单词"Humongous”,译为“庞大的”从中可见MongoDB的存储容量不可谓小,MongoDB是一个开源的文档数据库,使用C++语言编写。其中主要的功能特性为:面向集合存储,易于存储数据类型的数据,模式自由,支持动态查询,支持完全索引,支持复制和故障恢复,使用高效的二进制数据存储,文件存储格式为BSON(JSON的一种二进制形式的存储格式)。1.2 MongoDB与传统的关系型数据库的区别存储结构...原创 2021-12-12 20:37:31 · 777 阅读 · 1 评论 -
非关型数据库之Hbase
1 Hbase简介Hbase全拼为Hadoop database即分布式存储数据库,是一个可以进行随机访问的存储和检索数据的平台,用于存储结构化和半结构化的数据,如果数据量不是非常庞大的情况下,Hbase甚至可以存储非结构化的数据。Hbase作为Apache基金会Hadoop项目的一部分,使用Java语言实现,将HDFS作为底层文件存储系统,在此基础上运行MapReduce分布式批量处理数据,为Hadoop提供海量的数据管理服务。...原创 2021-12-10 10:20:10 · 2517 阅读 · 2 评论 -
Hbase数据模型及Hbase Shell
1 数据模型1.1相关名词概念表(Table):类似于关型数据库中的表行(Row):以行键进行唯一标识,代表一个数据对象,按照字典顺序由低到高存储在表。列族(Column Family):列的集合,支持动态扩展(无需预定义列的类型及数量,可随意增删),所有列默认以字符串形式存储在表中,用户可根据需求自行进行数据类型转换。列标识(Column Qualifier):没有固定的数据类型,以二进制字节存储,对列进行定位。单元格(Cell):以行键、列族、列标识共同确定一个单元格,单元格没.原创 2021-12-10 09:20:05 · 2071 阅读 · 1 评论