大数据
文章平均质量分 90
大数据相关研究
风吹海洋浪
越努力越头秃
展开
-
【日志问题】JDK Logging、Commons Logging和Log4j、Slf4j和Logbacck的介绍和简单使用
【日志问题】JDK Logging、Commons Logging和Log4j、Slf4j和Logbacck的介绍和简单使用是什么简介如何使用log4j +slf4j1.导入依赖2.配置文件log4j.rootCategory = [ level ] , appenderName, appenderName配置日志信息输出目的地AppenderAppender的一些选项3.使用方式是什么产生原因:因为System.out.println()使用起来太麻烦,需要删除和添加什么是日志?日志就是Loggi原创 2022-02-21 21:24:59 · 430 阅读 · 0 评论 -
大数据-Hadoop是什么,如何部署
大数据-Hadoop是什么,如何部署1.是什么?2.架构2.1 HDFS(分布式文件系统)2.1.1NameNode(简称nn)2.1.2DataNode(dn)2.1.3Secondary NameNode(2NN)2.2 YARN(资源管理器/协调者)2.2.1 Resource Manager2.2.2 NodeManager2.2.3 AppllicationMaster2.3 MapReduce(计算)3.Hadoop目录结构3.1bin3.2etc(配置文件)3.3sbin(启动关闭命令)3.4原创 2022-03-11 22:55:44 · 3853 阅读 · 1 评论 -
大数据学习3-Hadoop伪分布式搭建和使用
伪分布式:就是假的分布式。都在一台pc机器上用虚拟机模拟不同的web服务器来工作而分布式:一.搭建:安装jdk配置环境安装hadoop配置环境变量-------在本地模式中依旧也要做前几步骤---------修改配置文件:①配合core-site.xml配置完 可以进行用cat命令查看 core-site.xml文件:②配置hdfs...原创 2019-05-05 00:36:37 · 377 阅读 · 0 评论 -
大数据学习2-利用Hadoop独立模式下完成词频统计例子
继https://blog.csdn.net/Taylor_Ocean/article/details/89085829 此篇文章中本地模式hadoop安装完成:该篇利用hadoop来完成 一个小例子:统计文件中的单词出现的频率:(针对文本格式的文件的处理)1.创建一个文件并且写入数据:2.词频统计:文件系统的命令一般使用运行过程:打印的信息运行结果: 在输出路径...原创 2019-04-29 12:56:53 · 1203 阅读 · 0 评论 -
大数据学习1-Apache的hadoop-独立模式搭建
继Linux 基础篇之后:关系型数据库无法处理海量级别(TB等)的数据 引出 大数据大数据是什么:海量数据量(特点:(4v)大量(存储单元Tb)多样(大数据的数据:人脸识别 指纹识别图片视频等)高速(实时分析)价值(价值密度低,))Hadoop:分布式计算:一台机器就是一个服务器 磁盘有限所以存储有限====》改变为数据存储到不同的服务节点...原创 2019-04-09 13:46:41 · 350 阅读 · 0 评论 -
大数据计算技术-数据计算处理系统-计算模式(计算模型)
大数据计算技术-数据计算处理系统-计算模式(计算模型)1计算模式(计算模型)1.1批处理计算模式:数据计算处理系统例子:MapReduce计算模型1.2流计算模式1.2.1定义1.2.2流计算模式详细描述1.2.3基于流计算系统模式中的两种主要处理模式1.2.4流计算性能参数-衡量计算系统的性能的主要指标1.2.4.1系统吞吐率1.2.4.2系统响应时延1.2.5流计算的平台1.2.5.1Storm(采用了原生态处理模式的一个流计算平台)1.2.5.2Spark的Dsteam1.2.5.3Samza的Par原创 2020-08-20 19:01:35 · 3605 阅读 · 0 评论 -
大数据计算1-综述大数据概念,计算体系
1.体系大数据概念,计算体系 数据采集、建模和分析 大数据处理的分析算法 大数据处理技术 数据可视化 Hadoop计算体系 HDFS/HBase存储架构 MapReduce计算模型 计算模型和架构 开发平台和工具软件2.大数据概念大数据(Big Data)特点:(4v)数据量大(数据存储不用关系型数据库---使用基于分布式文件系统的分布式数据库(例如NoSQL非关系型...原创 2020-04-08 11:28:44 · 1825 阅读 · 2 评论 -
大数据计算技术架构解析
大数据计算技术大数据计算体系层次1数据应用系统2数据处理系统3数据存储系统3.1功能3.1.1数据清洗、抽取和建模3.1.1.1建模3.1.1.1.1概念模型3.1.1.1.2逻辑模型3.1.1.1.3物理模型(存储)3.1.2数据存储架构3.1.3数据仓库和数据服务3.1.4统一数据接口3.2层次单元3.2.1分布式文件系统:提供物理存储架构大数据计算体系层次1数据应用系统2数据处理系统3数据存储系统3.1功能3.1.1数据清洗、抽取和建模原创 2020-08-16 23:41:28 · 3599 阅读 · 0 评论