![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
moble_xie
IT路上的点点滴滴(大数据,移动开发)
展开
-
大数据学习01之基于vbox 6.0搭建ubuntu 18.04伪集群
先看下效果mac上用vbox 6.0搭建基于Ubuntu 18.04的3台虚拟机,并在虚拟机上安装jdk,设置静态ip,各个虚拟机之间配置ssh免密登录等,windows大同小异。安装vbox网上下载,一步一步安装就行,很简单,不多说安装虚拟机安装Ubuntu下载最新的Ubuntu Server长期支持镜像ubuntu-18.04.3-live-server-amd64.iso。新...原创 2019-09-26 00:10:18 · 511 阅读 · 0 评论 -
大数据学习02之基于vbox 6.0搭建ubuntu 18.04伪分布式Hadoop 2.9.2集群
概要说明先看下效果HDFS管理界面Yarn管理界面在上一篇博客大数据学习01之基于vbox 6.0搭建ubuntu 18.04伪集群的基础上安装伪分布式hadoop集群。下载hadoop去Apache官网下载hadoop2.x的最新版hadoop-2.9.2.tar.gz,现在hadoop3.x已经发布了,但是业界大部分还是2.x版,所以我们这次还是用2.x版。放到共享目录vmsh...原创 2019-09-27 23:23:59 · 387 阅读 · 0 评论 -
大数据学习03之hadoop第一个MR程序wordcount单词统计
概要说明wordcount运行以后在yarn上的job任务。新建hadoop客户端我们可以使用集群中任务一台机器作为客户端,这样来说有几个弊端,第一hadoop总是优先读写离自己最近的节点,然后同步到其他的节点,这样导致该节点的压力倍增,第二容易误删文件,可能导致节点不可用,等等原因,现在我们新建一个虚拟机专门用作客户端,这个很容易,我们直接在vbox里面clone一个虚拟机就可以了,详见大...原创 2019-09-28 14:51:03 · 726 阅读 · 1 评论