![](https://img-blog.csdnimg.cn/20190927151101105.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
海量数据与大数据
文章平均质量分 56
海量数据与大数据
原克技术
这个作者很懒,什么都没留下…
展开
-
Hadoop的安装
1、下载Hadoop地址:https://hadoop.apache.org/releases.html2、下载完成后上传到/usr/local/src3、解压tar -zxvf hadoop-3.3.1-aarch64.tar.gz4、移动到/usr/localmv hadoop-3.3.1 ../5、配置系统环境变量#执行命令 vim /etc/profile#添加配置#hadoopHADOOP_HOME=/usr/local/hadoop-3.3.1PATH=$原创 2021-12-12 16:54:02 · 1469 阅读 · 0 评论 -
海量数据处理-大数据离线批处理技术篇
一、HadoopHadoop的组成:分布式计算框架MapReduceHDFSYARN框架Common工具HDFS是一个分布式文件系统,具有低成本、高可靠性、高吞吐量。MapReduce由两个阶段组成:Map阶段Reduce阶段map函数以key/value对作为输入参数,产生另外一系列key/value对作为中间输出写入本地磁盘,MapReduce框架会自动将这些中间数据按照key值进行聚集,且key值相同的数据被统一交给reduce()函数处理。reduce()函数以ke原创 2021-12-12 10:40:12 · 1379 阅读 · 0 评论 -
海量数据处理--离线批处理技术(Hadoop)
一、概述大数据领域的两大难题:1、存储2、处理解决方案:Hadoop解决类存储和处理的两大难题,其主要提供两大核心技术:1、Hadoop分布式文件系统2、MapReduce并行计算二、Google核心云计算技术海量数据存储的三大核心技术:MapReduce编程模型分布式文件系统(GFS)分布式结构化数据存储1、MapReduce编程模型编程思想:分而治之以键值对的形式来进行数据的输入和输出,它将待处理的数据集分解为多个小的键值对来处理。MapReduce编程模型将复杂的并行计算过原创 2021-12-05 10:43:43 · 3370 阅读 · 0 评论 -
海量数据处理--大数据处理概论
一、大数据的定义大数据普通的分析维度:1、数据量(大容量):数据量大2、数据的速度(高效性):数据的实时性3、数据的多样性(多类型):数据的类型多种多样,有以关系型数据库中的数据为代表的结构化数据和以日志型数据为代表的非结构化数据,同时也有音频和视频等为代表的多媒体非结构化数据。4、低价值密度(低密度):数据量大,但是价值米读比较低,需要从海量的数据中精确的定位到某个人或者事物在这一小段时间范围内的数据,进行进一步的分析与处理。5、真实性(信息有效性)二、大数据的结构类型大数据包括:1、结原创 2021-12-04 10:48:38 · 1388 阅读 · 0 评论 -
bind事件的绑定与解除
//事件的绑定 i=0; $('button').eq(0).click(function(){ $('img').bind('click',function(){ if(i%2==0){ this.src='b.png'; }else{ this.src='a.png';原创 2020-11-03 09:23:54 · 2406 阅读 · 0 评论