![](https://img-blog.csdnimg.cn/20200629163121343.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据
大数据相关
沐雨栉风12
这个作者很懒,什么都没留下…
展开
-
Linux下将jar以服务方式启动
在/etc/systemd/system这个目录下,创建一个XXX.service文件,vim输入以下内容:[Unit]Description=loyaltygatewayAfter=syslog.target[Service]ExecStart=/usr/lib/java/jdk1.8.0_291/bin/java -jar /vdb/application/loyaltygateway-1.0.0.jar[Install]WantedBy=multi-user.target原创 2021-05-29 00:43:15 · 457 阅读 · 0 评论 -
Hadoop中NameNode的主从之间的CheckPoint机制
首先我们要知道,在NameNode中有三种数据的形式: 内存元数据:内存中有一份完整的元数据] 磁盘元数据镜像文件FSImage:磁盘有一个"准完整"的元数据镜像文件 数据操作日志文件edit:用于衔接内存metadata和磁盘元数据镜像fsimage之间的日志当客户端对hdfs的文件进行新增或者修改操作的时候,操作首先会被记入到edits日志文件中,当客户端操作成功后,相应的元数据会...原创 2019-03-15 11:00:22 · 415 阅读 · 0 评论 -
Hadoop中HDFS读写数据的流程分析
在Hadoop中,我们知道,MapReduce是用来对数据进行分析和计算的,而HDFS是用来对数据进行存储的,那么,接下来我们将对HDFS有一个简单的认知.1:HDFS的两种角色在HDFS中,分为两大角色,NameNode: 负责客户端请求的响应(对外提供一个抽象目录树) 实现元数据的管理(查询,修改)Name对数据的管理采用了三种存储形式: 内存元数据:内存中有一份完...原创 2019-03-15 10:34:44 · 503 阅读 · 0 评论 -
大数据概述及快速理解
1:大数据的定义及特点大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。特点:容量(Volume):数据的大小决定所考虑的数据的价值和潜在的信息;种类(Variety):数据类型的多样性;速度(Velocity):指获得数据的速度;可变性(Va...原创 2019-03-14 22:15:55 · 1124 阅读 · 0 评论 -
Hadoop经典案例(三)Join算法-Mapper端代码实现
需求:利用Hadoop实现类似于Mysql的多表关联该需求的构造思想:通过添加本地的缓存路径,创建一个Map或者对象,在Mapper中的setup方法中的时候,把需要的额数据放进去,在map输出的时候,把原本的数据和额外的二数据加在一起输出,就可以了,不需要创建Reduce重点:1:Mapper或者Reduce类中的SetUp方法,是在二者方法运行之前做配置的2:注意在主驱动类中,要加入...原创 2019-03-14 21:54:11 · 347 阅读 · 0 评论 -
Hadoop经典案例(二)FlowSum的简易实现
统计手机用户上网流量的数据实际需求: 统计出每个手机号上网的上、下行流量及总流量(上行+下行)我们需要从源数据中统计出每个用户(手机号)的所有请求的上行流量、下行流量、总流量的数据,并输出到单独的文件中。给出的数据:1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27...原创 2019-03-14 21:51:02 · 710 阅读 · 0 评论 -
Hadoop经典案例(一)WordCount的简易实现
1:添加依赖包 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.6.5</version> &原创 2019-03-14 21:28:05 · 591 阅读 · 0 评论 -
虚拟机上Hadoop集群的从安装到搭建
虚拟机上Hadoop的安装到启动前言:在一台电脑上利用虚拟机配置Hadoop集群,可以方便我们对Hadoop的了解和使用,这里讲的是从配置网络到完成Hadoop的安装步骤,首先,在网上下载对应的版本,建议不要下载最新的版本,因为最新版本会有一些漏洞和调试不当,应该使用一些最稳定的版本.笔者这里使用的是2.6.5版本,1. 创建虚拟机由于老版笔记本,配置较差,这里设置的内存为1G,硬盘分配1...原创 2019-03-14 21:16:36 · 440 阅读 · 0 评论