![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 93
百夜﹍悠ゼ
贪、嗔、痴、妄、生、死,皆虚无,人生苦短,大梦一场。
展开
-
Hadoop 完全分布式安装配置
集群准备准备3台客户机(关闭防火墙、静态ip,主机映射、主机名称),主机名称分别hadoop2,hadoop3,hadoop4vi /etc/hosts-----------------------------------------------------192.168.191.101 hadoop1安装jdk,配置环境变量#解压tar zxf jdk-8u171-linux-x64.tar.gz -C /opt/install/#配置环境变量vi /etc/profile原创 2020-07-06 20:14:27 · 260 阅读 · 0 评论 -
Linux 集群时间同步实现
现有集群:hadoop2hadoop3hadoop4HDFSNameNode DataNodeDataNodeSecondaryNameNode DataNodeYARNNodeManagerResourceManager NodeManagerNodeManagerIP192.168.197.120192.168.197.130192.168.197.140选择某个主机作为标准时间(这里选择NameNode 节点主机)【hadoop2】原创 2020-07-06 18:44:42 · 214 阅读 · 0 评论 -
MapReduce join在Java中实现 Map端和Reduce端
MapReduce计算模型分为Map和Reduce两部分,join操作实现也可以从这两方面入手。方法一:Map端实现join适用情况:小文件(文件大小10M以内)+大文件使用缓存机制读写小文件。Map端的setup()中实现对小文件(小表)数据的读取存储。setup()方法在MapReduce中只执行一次,且在Map任务之前执行,主要进行资源初始化工作。map()中读取大文件数据,将当前数据和缓存数据进行匹配比较,进行相关处理操作。Reducer使用默认类。方法二:Reduce端实现join原创 2020-06-11 20:24:05 · 233 阅读 · 0 评论 -
Java实现Hadoop中MapReduce统计单词
安装下载hadoop链接:https://pan.baidu.com/s/1c0h3vQhKvg8NcK54zfukpA 提取码:kv7rwindows环境需要下载组件hadoop.dll下载链接:https://pan.baidu.com/s/1V8NxoZC_32Xeu61b5R-ppw 提取码:7cjdwinutils.exe下载链接:https://pan.baidu.com/s/10AR9hqW7F3CfUSEUYnRDzw 提取码:hsyswindows环境下运行实现Word原创 2020-06-04 15:41:02 · 1293 阅读 · 0 评论 -
Hadoop简介 4V特征和3个核心
Hadoop 4V特征volume(大量数据):90%的数据是过去两年产生的velocity(速度快):数据产生速度快,时效性高varity(多样化):数据的来源和种类多样,数据种类包括结构化数据、半结构化数据、非结构化数据,表现为日志、音频、视频、图片,地理位置信息等value(价值密度低):单个数据意义不大,需要大量数据进行归纳总结出规则固有特征时效性:一段时间在某一时间段内产生的已知的数据,并且决策在哪些时间内具有价值的属性。不可变性:已产生的数据不会改变,我们将大数据的变化视为新数据条原创 2020-06-02 16:41:24 · 1381 阅读 · 0 评论 -
Hadoop安装和伪分布模式配置
hadoop2.6.0安装包下载,通过Xfpt将压缩包托入虚拟机指定文件夹链接:https://pan.baidu.com/s/1QSDqR3fSAvtAJLY7xl5s_A提取码:lc2yHadoop安装1.进入压缩包文件所在目录解压安装包,hadoop-2.6.0-cdh5.14.2.tar.gz,移动解压后的文件hadoop-2.6.0-cdh5.14.2到软件目录下/opt/soft/hadoop260[root@daibin1 opt]# tar -zxf hadoop-2.6.0-cd原创 2020-06-01 16:11:38 · 317 阅读 · 0 评论