关注
分享
大数据时代，作为最出色的大数据工具Hadoop，Hadoop生态也然成为大数据生态的主力军。HDFS、MapReduce、Spark等等常用的工具以及数据储存。
云主宰苍穹
掌中星辰转日月，手心苍穹天外天。
Stay Hungry，Stay Foolish.
个人博客：
https://weili_yzzcq.gitee.io/
https://2694048168.github.io/
展开
-
Hadoop之wordcount实例-MapReduce程序
实验目的 利用搭建好的大数据平台 Hadoop，对 HDFS 中的文本文件进行处理，采用 Hadoop Steaming 方式，使用 Python 语言实现英文单词的统计功能，并输出单词统计结果。 实验内容 将附件"COPYING_LGPL.txt"上传 Hadoop 集群的 HDFS 中，采用 Hadoop Steaming方式，使用 Python语言实现字词统计功能，输出字词统计结果...原创 2020-04-03 15:45:49 · 439 阅读 · 0 评论 -
Hadoop的高可用HA部署
引言 有基础的读者，可以直接跳到第三章：环境搭建。前面两章都是一些相关的理论基础和准备工作。而对于完全是第一次搭建Hadoop高可用HA集群的读者，强烈建议花几分钟看一看这些理论基础和准备工作，便于后面更好地理解和搭建集群环境。 理论分析 本章将从进程间的通信机制RPC，Hadoop基础理论和ZooKeeper基础理论来阐述，首先对此有一定的理论理解基础，便于后面的环境快速搭建。 关于...原创 2020-04-03 15:41:32 · 1196 阅读 · 0 评论 -
Hadoop分布式实验环境
实验目的： 熟悉 Linux 操作系统的安装以及常用的基本命令 掌握如何设置静态 IP 地址，掌握如何修改主机域名 掌握如何配置 Java 环境变量，掌握 Java 基本命令 了解为何需要配置 SSH 免密码登录，掌握如何配置 SSH 免密码登录 熟练掌握在 Linux 环境下如何构建分布模式下的 Hadoop 集群 实验内容 安装和配置 CentOS7 的 Liunx 发行版 安装和配置 ...原创 2020-04-03 15:38:37 · 351 阅读 · 0 评论 -
Hadoop的一纵两横
一纵两横 一纵两横的思维 即学习一个新学科时，可以看其一纵，其整个历史至今的发展过程。然后看其两横，一横是不同人对于其的评价即定义，还有一横是不同学科或领域与其的联系和区别。抓住这一纵两横的思维，可以帮助我们快速了解一个新的学科或者一个新的领域。 在了解一件自己完全没有涉足过的事情之前，笔者喜欢使用“一纵两横”的思维去学习了解，这样能够快速的帮助自己构建知识体系。所谓的“一纵”，就是事物本...原创 2020-04-03 15:17:13 · 168 阅读 · 0 评论