大数据
文章平均质量分 91
大数据技术
arno_wzk
这个作者很懒,什么都没留下…
展开
-
hadoop之MapReduce
MapReduce是hadoop的三驾马车之一,是一个批处理计算框架。以下内容中,为方便描述 MapReduce有时简写为MR。理论基础:源自于Google发表于2014年12月的MapReduce论文,可以把Hadoop MapReduce是Goole MapReduce的克隆版。整体思路:局部性原理将整个问题分而治之。MR之前,数据分布在各个节点;MR时每个节点就近读取本地存储的数据处理(MAP)-处理后的数据进行合并(combine)-排序(shuffle & sort).原创 2021-02-09 15:26:43 · 335 阅读 · 0 评论 -
hadoop之HDFS架构详解
HDFS是hadoop的三驾马车之一,是一种大规模分布式文件存储系统。使用HDFS存储的场景是:当数据集大小超过一台独立的物理计算机的存储能力时,就有必要对它进行分区,并存储到若干台独立的计算机上。HDFS的设计特点:•超大文件• 流式数据访问• 低成本• 数据一致性• 高吞吐率• 易扩展• 高容错下面我们解剖一下HDFS的设计实现,来分析HDFS是如何体现其特点的。(说明:以下内容 基于 hadoop v2.7.7)提醒:本次内容有点多,...原创 2021-02-01 13:16:34 · 1149 阅读 · 5 评论 -
Hadoop之Hadoop的前世今生,适合什么场景?
一提大数据,人们就想到Hadoop。Hadoop基本上成为了大数据的代言人了。那Hadoop到底是什么?用于解决什么问题?hadoop的起源背景HDFS源自于Goole的GFS论文(发表于2003年10月),HDFS是GFS的克隆版。 PS: 近些年和google相关的几个开源产品对软件进步影响还是挺大的,比如:移动应用圈的Android、大数据圈的Hadoop、云原生圈的Kubernetes。这是众多计算机牛人喜欢google的很大的一个原因吧 hadoop的.原创 2021-02-01 10:24:36 · 540 阅读 · 0 评论 -
ZooKeeper 集群实战
到目前,Zookeeper的相关理论、架构都讨论完了,同时也准备了一个包含三个节点的集群环境。相关文章请看: ZooKeeper与CAP是什么关系?适用于哪些场景? ZooKeeper体系架构 ZooKeeper部署 基于上面的理论基础和集群环境,下面开始实战操作。zookeeper 命令行操作,用于在 zookeeper 服务上针对zookeeper集群进行相关操作。第一步:通过远程工具,连接到zookeeper服务器。第二步:使用zoo...原创 2020-12-11 13:56:45 · 474 阅读 · 0 评论 -
ZooKeeper高可用集群部署
前面理论讨论的差不多了,今天开始安装部署一个ZooKeeper集群。 1、准备三个节点(测试环境使用虚拟机就行,而且方便按需调整资源)。序号 IP 名称配置 1 192.168.59.101 节点名称:node01,myid:1 2 192.168.59.102 节点名称:node02,myid:2 3 192.168.59.103 节点名称:node03,myid:3 说明:(1)配置...原创 2020-12-11 13:53:32 · 564 阅读 · 0 评论 -
ZooKeeper体系架构
从上一篇文章 ZooKeeper与CAP是什么关系?适用于哪些场景?我们知道,ZooKeeper是一个分布式服务框架,是Apache Hadoop 的一个子项目,主要用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、配置管理、集群管理、分布式锁、发布/订阅等。从技术本质上来说,ZooKeeper的作用主要体现在两个方面: 文件系统 监听通知机制 怎么理解这句话的意思呢?带着这个问题,下面咱们开始讨论ZooKeeper的体系架构。1、...原创 2020-12-11 13:51:55 · 1270 阅读 · 2 评论 -
ZooKeeper与CAP是什么关系?适用于哪些场景?
从今天,我们正式开始大数据常用组件的讨论。要想在大数据这条路坚持走下去,并用好大数据,有几点建议: 1、系统的了解大数据生态中的技术框架(可通过以下文章了解)。 典型大数据架构有哪些?我该怎么选择? 2、要有亲自动手的意识,并积极主动接触和学习新技术。 PS:最好能有一个自己的测试环境(有大量朋友因为环境而止步!) 3、学到的知识,多在合适的业务场景进行试用和验证。 4、一开始,不要面面俱到...原创 2020-12-11 13:50:11 · 505 阅读 · 0 评论 -
数据仓库概念扫盲,kimball和Inmon两大派系在争什么?
本文,是为了让大家更好的理解大数据经典架构的补充内容,主要介绍一下数据仓库相关的内容。数据仓库(Data Warehouse,DW):由两个主要部分构成(一个整合的决策支持数据库 + 一个收集、清洗、转换、存储来自于各种外部数据源数据的相关软件程序),两者结合以支持历史的、分析的和商务智能需求。企业数据仓库(Enterprise Data Warehouse,EDW):是服务于整个企业商务智能需要的集中式数据仓库。企业数据仓库遵循企业数据模型,使得整个企业范围内的决策支持活动可以保持一致。一原创 2020-11-19 08:27:10 · 1499 阅读 · 0 评论 -
典型大数据架构有哪些?我该怎么选择?
讨论大数据架构,不可避免要讨论传统的结构化存储和数据仓库。 PS:最原始的结绳记事、仓颉造字不在咱们讨论范围内哈,咱们主要讨论计算机出现以后的数据存储。 我们对数据存储方式的认知顺序一般是: 注意:这个演变过程,并不代表后者代替前者,每种方式都有其适合的应用场景,多种存储方式在一定时间内会是同时存在。他们的优缺点分析如下:存储方式 简介 优点 缺点 结构化 数据库 也称作行数据库,使用二维表结构来...原创 2020-11-16 22:06:03 · 1617 阅读 · 2 评论 -
很不错的一套企业架构视频教程
最近发现了这套很不错的视频教程,正在学习。有需要学习企业架构的朋友可以关注一下。http://sishuok.com/product/821 纯属个人推荐,想和大家一起讨论企业架构 QQ 46957530...原创 2015-12-13 16:37:39 · 261 阅读 · 0 评论 -
Hibernate学习二 [HIB里面的对象]
HIB里面的对象有三种状态 临时状态[transient objects] 持久化状态[persistent objects] 脱管状态[detached objects]2008-04-22 22:54:07 · 92 阅读 · 0 评论 -
Hibernate学习一
[color=red]认识:[/color]Hibernate是将对象模型表示的数据映射到用SQL表示的关系模型上去.还提供了一般的数据库操作,所以大幅度减少了编程任务对象持久化:把数据同步保存到数据库或者某些存储设备中ORM: object-relation mapping 对象关系映射结果:操作具体的数据库时,不用再与复杂的SQL语句打交道,只用操纵对象即可,O...2008-04-22 22:36:01 · 95 阅读 · 0 评论