- 博客(11)
- 资源 (31)
- 收藏
- 关注
原创 大数据 Yarn
前言Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序相当于运行于操作系统之上的应用程序。Yarn的重要概念Yarn并不清除用户提交的程序运行机制。Yarn只提供运算资源的调度(用户程序向Yarn申请资源,Yarn负责分配资源)。Yarn中的Master是ResourceManage。Yarn中提供运算资源的角...
2018-09-22 14:52:17 581
原创 大数据 Hadoop之HDFS
前言HDFS采用了主从Master/Slave结构模型,一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器,管理文件系统的命名空间和客户端对文件的访问操作;集群中的DataNode管理存储的数据。HDFS允许用户以文件的形式存储数据。从内部来看,文件被分成若干个数据块,而且这若干个数据块存放在一组DataNode上。NameNode执行文件...
2018-09-17 11:15:25 786
原创 大数据 Hadoop介绍、配置与使用
前言Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统HDFS(Hadoop Distributed File System,)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。HDFS的高容错性、高伸缩性等优点允许用户将Hadoop部署在低廉的硬件上,形成分布式系统;...
2018-09-15 17:36:09 963
原创 大数据 Centos基础
前言 简单学学常见的一些指令。宿主环境:Ubuntu18.04虚拟环境:VMWare虚拟机:Centos7修改基本配置 首先,我们在VMWare中安装一个Centos的虚拟机,安装完毕之后是没有网络,我们需要配置下网络。修改主机的名称vim /etc/sysconfig/network在该文件中添加一下内容NETWORKKING=yesHOSTN...
2018-09-12 15:26:09 529
原创 大数据 基础概念
前言大数据是一个以数据为核心的产业,是一个围绕大数据生命周期不断往复循环的生产过程,同时也是由多种行业协同配合而产生的一个复合性极高的行业。生命周期数据收集数据存储数据建模数据分析数据变现大数据产业 《白话大数据与机器学习》在大数据产业中,数据通过各种方式、软件进行收集,借助网络这种媒介进行传输,通过与数据中心进行存储,通过数据科学家或者行业专家进行存储,...
2018-09-12 09:22:07 1585
原创 算法基础-基础
前言 大学没有开算法课程,还是要自己学学。算法的特征有穷性 算法执行到有穷步之后必须终止。确定性 算法的每一步骤必须有确切的定义。要执行的每一个动作都是清晰的、无歧义的。欧几里德算法规定了m和n都是正整数,从而保证了算法能够确定地执行。输入 一个算法有0个或多个输入,作为算法开始执行前的初始值,或初始状态。所谓0个输入是指算法本身定出了初始条件。输出 一个算法有一...
2018-09-06 16:41:18 999
Slickedit_v23_2018_keygen
2019-04-10
sun.misc.BASE64Decoder
2017-09-06
Android Studio 汉化包
2016-08-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人