(六)Hadoop
文章平均质量分 67
Object~
只要不结婚,还是可以一直自由自在的
展开
-
Hadoop从入门到精通系列之--1.环境搭建
目录 一 Hadoop简介二 Hadoop运行环境搭建前准备2.1虚拟机准备2.2网络配置2.3修改Linux主机名称三 Hadoop运行环境搭建3.1 克隆虚拟机3.2修改静态ip3.3修改主机名称(见上)3.4关闭防火墙3.5创建用户wanglei3.6给wanglei配置root权限3.7在/opt下新建software存放安装包,mo...原创 2018-10-17 12:32:35 · 817 阅读 · 1 评论 -
MapReducer纠错之序列化反序列化问题
在MapReducer编程中经常会出现序列化反序列化的说法在这里解释一下序列化:序列化的意思就是把内存中的对象变成字节存储到磁盘上反序列化:反序列化的意思就是把磁盘上的对象活化到内存中说到这里也许还是没有说清楚序列化的意思,在大数据中,假设有一个非常大的集群,也就是很多计算机,这一群计算机叫做集群,MapReducer程序就是一个计算数据的程序,当A这台机器计算完毕之后,A要把工作...原创 2018-11-14 21:37:34 · 456 阅读 · 0 评论 -
Hadoop从入门到精通系列之--2.本地模式和伪分布模式
目录一 Hadoop本地模式和伪分布式模式概述二 Hadoop伪分布式环境搭建2.1步骤分析2.2配置集群2.3启动集群2.4 配置YARN2.5启动集群(带YARN)2.6查看YARN三 在集群上运行第一个程序3.1 准备wordcount程序3.2历史服务器配置一 Hadoop本地模式和伪分布式模式概述安装了Hadoop环境之后,只是搭建了...原创 2018-11-29 20:51:29 · 529 阅读 · 0 评论 -
Maven中pom.xml第一行一直报错
目录一 Maven项目pom.xml第一行报错的原因二 解决办法一 Maven项目pom.xml第一行报错的原因大概情况是这样的,当我们在pom.xml文件中添加依赖保存时,由于一些原因:网速很慢导致下载很慢;下载未完成IDE关闭导致下载失败,再次打开时会发现pom.xml文件的第一行会报错。二 解决办法右击项目,选择maven 点击update project...原创 2018-11-26 21:17:34 · 1149 阅读 · 0 评论 -
Hadoop从入门到精通系列之--3.完全分布式环境搭建
目录一 什么是完全分布式二 准备服务器三 集群分发脚本3.1 scp(secure copy)安全拷贝3.2 rsync远程同步3.3 集群分发脚本四 集群规划4.1 规划思想4.2 具体配置4.3 ssh免密登陆一 什么是完全分布式之前3篇博客搭建的环境都是伪分布式的环境,就是说除了我自己的电脑(win10)外,只有一台服务器(Linux),这在真...原创 2018-12-04 20:29:58 · 611 阅读 · 0 评论 -
Hadoop从入门到精通系列之--0.Hadoop生态体系
目录一 大数据的组织部门结构二 Hadoop的组成部分2.1 HDFS2.2 YARN2.3 MapReduce三 Hadoop生态体系四 Hadoop的目录结构4.1 bin目录4.2 etc目录4.3 lib目录4.4 sbin目录4.5 share目录一 大数据的组织部门结构要向着数据挖掘组的职位努力,平台组偏向于运维方向,数据仓库...原创 2018-11-27 18:54:49 · 2227 阅读 · 1 评论 -
Hadoop从入门到精通系列之--4.HDFS概述和HDFS的shell操作
目录一 HDFS概述二 HDFS的优缺点2.1优点2.2缺点三 HDFS的组成结构四 HDFS文件块的大小4.1 什么是块4.2总结五 HDFS的shell操作5.1基本语法5.2常用命令一 HDFS概述HDFS(Hadoop Distributed File System)是一个文件系统,主要用来解决一个操作系统不能存储大量数据,所以讲...原创 2018-12-09 21:26:44 · 454 阅读 · 0 评论 -
Hadoop从入门到精通系列之--5.HDFS的API
目录一 客户端环境1.1 配置环境变量1.2 eclipse/IDEA准备二 HDFS的具体API操作2.1创建HDFS客户端对象并测试创建文件夹2.2 测试文件上传2.3 测试文件下载2.4 测试删除文件夹2.5 测试查看文件详情2.6 判断是文件夹还是文件一 客户端环境前面博客叙述了HDFS的shell操作,回顾一下:使用bin/hadoop ...原创 2018-12-10 22:25:06 · 511 阅读 · 0 评论