![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
zhenliang_Horn
这个作者很懒,什么都没留下…
展开
-
剑指offer刷题(九)
矩阵中的路径请设计一个函数,用来判断在一个矩阵中是否存在一条包含某字符串所有字符的路径。路径可以从矩阵中的任意一格开始,每一步可以在矩阵中向左、右、上、下移动一格。如果一条路径经过了矩阵的某一格,那么该路径不能再次进入该格子。例如,在下面的3×4的矩阵中包含一条字符串“bfce”的路径(路径中的字母用加粗标出)。[[“a”,“b”,“c”,“e”],[“s”,“f”,“c”,“s”],[“a”,“d”,“e”,“e”]]但矩阵中不包含字符串“abfb”的路径,因为字符串的第一个字符b占据了矩阵中的原创 2020-08-11 12:11:38 · 103 阅读 · 0 评论 -
Hadoop 中 RPC框架原理、代码示例
0、内容1、hadoop中的RPC框架封装思想2、Hadoop RPC 实现方法3、服务调用动态转发和负载均衡的实现思考4、协议代码:package com.ares.hadoop.rpc;public interface HelloProtocol { public static final long versionID = 1L; public String helloMethod(String name);}...原创 2020-08-10 15:54:57 · 157 阅读 · 0 评论 -
大数据学习之路四(hdfs中DataNode工作机制)
1.DataNode工作机制1、一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,数块数据的校验和以及时间戳2、DataNode启动后向Namenode注册,通过后,周期性的向Namenode上报所有的块信息3、心跳是每3秒,心跳返回的结果带有Namenode给给Datanode的命令(复制块数据到另一台机器,或者删除某一个数据块),如果超过10分钟没有收到某个DataNode的心跳,则认为该节点不可用4、集群运行中可以安全加入原创 2020-08-09 15:07:36 · 141 阅读 · 0 评论 -
大数据学习之路三(hdfs中namenode管理机制)
一、NameNode启动时如何维护元数据:1、概念介绍:Edits文件:NameNode在本地操作hdfs系统的文件都会保存在Edits日志文件中。也就是说当文件系统中的任何元数据产生操作时,都会记录在Edits日志文件中。eg:在HDFS上创建一个文件,NameNode就会在Edits中插入一条记录。同样如果修改或者删除等操作,也会在Edits日志文件中新增一条数据。FsImage映像文件:包括数据块到文件的映射,文件的属性等等,都存储在一个称为FsImage的文件中,这个文件也是放在NameNod原创 2020-08-06 20:52:05 · 522 阅读 · 0 评论 -
大数据学习之路二(hdfs读写文件)
HDFS文件读写过程存储流程a)Clinet首先将要存储的数据切分成若干块,然后向NameNode发送存储请求,b)NameNode检查权限、存储文件是否已存在等信息,确认无误后返回允许存储的响应,这个响应还包括第一个Block要放在哪个DataNode哪个的地址的信息。c)Clinet得到NameNode的响应,打开文件输出流,向第一个DataNode请求打开管道,DN1接受的信息后继续通知DN2,DN2接受到DN1...原创 2020-08-05 18:44:59 · 228 阅读 · 1 评论 -
hadoop使用docker搭建分布式系统
前期准备可以看我之前的博客,搭建了一个伪分布式系统,本篇操作是在此基础之上。修改配置文件指定nodemanager的地址,修改文件yarn-site.xml<property> <description>The hostname of the RM.</description> <name>yarn.resourcemanager.hostname</name> <value>hadoop0</va原创 2020-08-05 15:41:57 · 138 阅读 · 0 评论 -
使用docker搭建hadoop分布式集群
使用docker搭建部署hadoop分布式集群在网上找了很长时间都没有找到使用docker搭建hadoop分布式集群的文档,没办法,只能自己写一个了。一:环境准备:1:首先要有一个Centos7操作系统,可以在虚拟机中安装。2:在centos7中安装docker,docker的版本为1.8.2安装步骤如下:<1>安装制定版本的dockeryum install -y docker-1.8.2-10.el7.centos<2>安装的时候可能会报错,需要删除这个依赖转载 2020-08-04 17:06:43 · 415 阅读 · 0 评论 -
hadoop伪分布式系统搭建
hadoop分布式系统搭建centos安装dockerdocker启动三台虚拟机配置分布式系统centos安装docker把yum包更新到最新在这里插入代码片docker启动三台虚拟机配置分布式系统原创 2020-08-04 16:56:21 · 160 阅读 · 0 评论 -
大数据学习之路一(大数据概念、特点、应用场景)
大数据大数据概念 对于“大数据”(Bigdata)研究机构Gartner给出了定义,“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。 从技术上看,大数据与云计算的关系就像一枚硬币的正反面...原创 2020-07-29 21:40:14 · 850 阅读 · 0 评论