Hadoop
jie310600
这个作者很懒,什么都没留下…
展开
-
HDFS的运行原理
[b]HDFS的运行原理[/b] [b]简介[/b] HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System) Google 文件系统(中文,英文)。 HDFS有很多特点: ① 保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。...2016-09-10 16:16:10 · 65 阅读 · 0 评论 -
迭代计算原理
迭代计算原理 把上一步的计算结果代入这一步的运算中去。。 经过多步这样的计算,可以得出很精确的结果。。 就是给定一个初值,用所给的算法公式计算得到一个值,再用所得到的值作为输入参数带入算法公式得到一个值,不断循环,知道得到所求...原创 2018-08-21 17:48:22 · 4830 阅读 · 0 评论 -
hive 原理与安装
hive 原理与安装 hive 是把类似SQL的语名变成相关的mapreduce任务进行计算得到结果,对于结构化数据,可以不用写mapreduce程序就可以进行大数统计分析. hive 使用mysql、Derby作为hive元数据的存储 将数据文件放入hive建立的表目录中,hive就可以使用SQL语句进行查询了( 如:hadoop fs -put /home...原创 2018-08-12 17:39:05 · 213 阅读 · 0 评论 -
ssh原理和使用
SSH 远程登陆原理: 使用密码登录,每次都必须输入密码,感觉太浪费时间,而且非常麻烦。 尤其是密码超级复杂,维护的服务器又比较多的情况下。好在SSH还提供了公钥(public key)登录, 可以省去输入密码的步骤。 原理就是就是用户将自己的公钥储存在远程主机上。登录的时候,远程主机会向用户发送一段随机字符串, 用户用自己的私钥加密后,再发回来。远程主机用事先储存的...原创 2018-08-10 21:10:14 · 113 阅读 · 0 评论 -
hadoop 集群运行的原理与使用
hadoop 集群运行的原理与使用 就是在每台服务器上分别安装hadoop环境,配置文件中指定master在那个服务器上,yarn的ResourceManager在那个服务器上,在salves上指定从机的hostmane,以便master可以知道 安装好hadoop后,其实已经安装好是hadoop的客户端(命令行),当你一其中一个服务器输入命令运行一个工作时,工作任务信息先会发...原创 2018-08-09 16:43:30 · 531 阅读 · 0 评论 -
hadoop安装
//--------------------------------------------------------------- 虚拟机安装(VMware 14.1.2 + ubuntu14.04.4 64X) http://www.zdfans.com/html/5928.html https://www.cnblogs.com/huangjianxin/p/6341256.html...原创 2018-08-08 21:30:34 · 83 阅读 · 0 评论 -
spark基础知识
spark基础知识 Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架 官方资料介绍Spark可以将Hadoop集群中的应用在内存中的运行速度提升100倍,甚至能够将应用在磁盘上的运行速度提升10倍 Hadoop有两个核心模块,分布式存储模块HDFS和分布式计算模块Mapreduce spark本身并没有提供分布式文件系统,因此spark的分析大多...原创 2018-07-25 16:28:53 · 110 阅读 · 0 评论 -
Hadoop应用基础知识
hadoop (1)Hadoop是一个开源的框架,可编写和运行分布式应用处理大规模数据,是专为离线和大规模数据分析而设计的,并不适合那种对几个记录随机读写的在线事务处理模式。 (2)Hadoop就是一个分布式计算的解决方案. Hadoop的框架最核心的设计就是:HDFS和MapReduce。 Hadoop解决哪些问题? 海量数据需要及时分析和处理 海量数据需要深入分析和挖掘...原创 2018-07-25 15:57:19 · 260 阅读 · 0 评论 -
Hadoop 与 JStrom 的应用场景和区别
[b]Hadoop 与 JStrom 的应用场景和区别[/b] 1.Hadoop是处理海量数据的离线分析工具,Storm是分布式的、实时数据流分析工具。一个重在离线分析,一个重在实时数据流分析。 2.Hadoop注重的是离线数据的强大分析功能,Storm强调的是实时数据流的分析。 3.Hadoop实时性不高(分钟级),但大量数据(TB级)处理能力强,Storm实时性高(ms级),但大...2016-11-25 14:19:52 · 171 阅读 · 0 评论 -
Hadoop MapReduce框架详解
[b]Hadoop MapReduce框架详解[/b] 1.我们要学习的就是这个计算模型的运行规则。在运行一个mapreduce计算任务时候,任务过程被分为两个阶段:map阶段和reduce阶段,每个阶段都是用键值对(key/value)作为输入(input)和输出(output)。而程序员要做的就是定义好这两个阶段的函数:map函数和reduce函数。 2.HDFS,即Hadoop ...2016-11-25 14:19:10 · 178 阅读 · 0 评论 -
hadoop MR运行原理
hadoop MR运行原理 [url]http://s5.51cto.com/wyfs02/M01/86/7B/wKiom1fADFHCZ-igAAFuYAeFdr0171.png-wh_500x0-wm_3-wmp_4-s_2360924780.png[/url] [url]https://www.cnblogs.com/dream-to-pku/p/7249954.html[/ur...原创 2018-08-25 11:36:04 · 807 阅读 · 0 评论