Hadoop
大数据时代,作为最出色的大数据工具Hadoop,Hadoop生态也然成为大数据生态的主力军。HDFS、MapReduce、Spark等等常用的工具以及数据储存。
云主宰苍穹
掌中星辰转日月,手心苍穹天外天。
Stay Hungry,Stay Foolish.
个人博客:
https://weili_yzzcq.gitee.io/
https://2694048168.github.io/
展开
-
Hadoop之wordcount实例-MapReduce程序
实验目的 利用搭建好的大数据平台 Hadoop,对 HDFS 中的文本文件进行处理,采用 Hadoop Steaming 方式,使用 Python 语言实现英文单词的统计功能,并输出单词统计结果。 实验内容 将附件"COPYING_LGPL.txt"上传 Hadoop 集群的 HDFS 中,采用 Hadoop Steaming方式,使用 Python语言实现字词统计功能,输出字词统计结果...原创 2020-04-03 15:45:49 · 473 阅读 · 0 评论 -
Hadoop的高可用HA部署
引言 有基础的读者,可以直接跳到第三章:环境搭建。前面两章都是一些相关的理论基础和准备工作。而对于完全是第一次搭建Hadoop高可用HA集群的读者,强烈建议花几分钟看一看这些理论基础和准备工作,便于后面更好地理解和搭建集群环境。 理论分析 本章将从进程间的通信机制RPC,Hadoop基础理论和ZooKeeper基础理论来阐述,首先对此有一定的理论理解基础,便于后面的环境快速搭建。 关于...原创 2020-04-03 15:41:32 · 1224 阅读 · 0 评论 -
Hadoop分布式实验环境
实验目的: 熟悉 Linux 操作系统的安装以及常用的基本命令 掌握如何设置静态 IP 地址,掌握如何修改主机域名 掌握如何配置 Java 环境变量,掌握 Java 基本命令 了解为何需要配置 SSH 免密码登录,掌握如何配置 SSH 免密码登录 熟练掌握在 Linux 环境下如何构建分布模式下的 Hadoop 集群 实验内容 安装和配置 CentOS7 的 Liunx 发行版 安装和配置 ...原创 2020-04-03 15:38:37 · 372 阅读 · 0 评论 -
Hadoop的一纵两横
一纵两横 一纵两横的思维 即学习一个新学科时,可以看其一纵,其整个历史至今的发展过程。然后看其两横,一横是不同人对于其的评价即定义,还有一横是不同学科或领域与其的联系和区别。抓住这一纵两横的思维,可以帮助我们快速了解一个新的学科或者一个新的领域。 在了解一件自己完全没有涉足过的事情之前,笔者喜欢使用“一纵两横”的思维去学习了解,这样能够快速的帮助自己构建知识体系。所谓的“一纵”,就是事物本...原创 2020-04-03 15:17:13 · 180 阅读 · 0 评论