排序:
默认
按更新时间
按访问量

大数据技术之Hadoop(HDFS)第2章 HFDS的Shell操作

1)基本语法 bin/hadoop fs 具体命令 2)命令大全 [atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs [-appendToFile <localsrc> ... &amp...

2018-08-13 11:19:51

阅读数:102

评论数:0

大数据技术之Hadoop(HDFS)第1章 HDFS概述

1.1 HDFS产生背景 随着数据量越来越大,在一个操作系统管辖的范围内存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 1.2 HDFS概念 HDFS,它是一个...

2018-08-13 11:17:38

阅读数:136

评论数:0

大数据技术之Hadoop(入门)第6章 常见错误及解决方案

1)防火墙没关闭、或者没有启动yarnx INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032 2)主机名称配置错误 3)ip地址配置错误 4)ssh没有配置好 5)root...

2018-08-10 10:18:52

阅读数:6

评论数:0

大数据技术之Hadoop(入门)第5章 Hadoop编译源码

5.1 前期准备工作 1)CentOS联网 配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的 注意:采用root角色编译,减少文件夹权限出现问题 2)jar包准备(hadoop源码、JDK8、maven、ant 、protobuf) (1)ha...

2018-08-10 10:16:09

阅读数:201

评论数:0

大数据技术之Hadoop(入门)第4章 Hadoop运行模式

Hadoop运行模式包括:本地模式、伪分布式模式以及完全分布式模式。 Hadoop官方网站:http://hadoop.apache.org/ 4.1 本地运行模式 4.1.1 官方grep案例 1)创建在hadoop-2.7.2文件下面创建一个input文件夹 [atguigu@had...

2018-08-09 10:45:46

阅读数:13

评论数:0

大数据技术之Hadoop(入门)第3章 Hadoop运行环境搭建

3.1 虚拟机环境准备 1) 克隆虚拟机 2) 修改克隆虚拟机的静态ip 3) 修改主机名 4) 关闭防火墙 5) 创建atguigu用户 6) 配置atguigu用户具有root权限 以上6条内容详见《尚硅谷大数据技术之Linux》文档。 7)在/opt目录下创建文件夹 (1)...

2018-08-09 09:15:47

阅读数:34

评论数:0

大数据技术之Hadoop(入门) 第2章 从Hadoop框架讨论大数据生态

2.1 Hadoop是什么 1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2)主要解决,海量数据的存储和海量数据的分析计算问题。 3)广义上来说,HADOOP通常是指一个更广泛的概念——HADOOP生态圈。 2.2 Hadoop发展历史 1)Lucene是D...

2018-08-08 14:52:38

阅读数:177

评论数:0

大数据技术之Hadoop(入门)第1章 大数据概论

1.1大数据概念 大数据概念如图1-1 所示。 1.2 大数据特点 1.3 大数据应用场景 1.4 大数据发展前景 1.5 大数据部门业务流程分析 1.6 大数据部门组织结构 大数据部门组织结构,适用于大中型企业。 ...

2018-08-08 09:47:15

阅读数:314

评论数:0

大数据技术之第10章 常见错误及解决方案

1)虚拟化支持异常情况如下几种情况 问题原因:宿主机BIOS设置中的硬件虚拟化被禁用了 解决办法:需要打开笔记本BIOS中的IVT对虚拟化的支持   本教程由尚硅谷教育大数据研究院出品,如需转载请注明来源。    ...

2018-08-07 09:30:52

阅读数:12

评论数:0

大数据技术之第9章 Shell编程

9.1 概述 Shell是一个命令行解释器,它为用户提供了一个向Linux内核发送请求以便运行程序的界面系统级程序,用户可以用Shell来启动、挂起、停止甚至是编写一些程序。 Shell还是一个功能相当强大的编程语言,易编写、易调试、灵活性强。Shell是解释执行的脚本语言,在Shell中...

2018-08-07 09:27:13

阅读数:13

评论数:0

大数据技术之 第8章 软件包管理

8.1 RPM 8.1.1 RPM概述 RPM(RedHat Package Manager),Rethat软件包管理工具,类似windows里面的setup.exe  是Linux这系列操作系统里面的打包安装工具,它虽然是RedHat的标志,但理念是通用的。 RPM包的名称格式 Apa...

2018-08-07 09:09:50

阅读数:16

评论数:0

大数据技术之Linux第7章 常用基本命令

7.1 帮助命令 7.1.1 man 获得帮助信息 1)基本语法: man [命令或配置文件] (功能描述:获得帮助信息) 2)显示说明 信息 功能 NAME 命令的名称和单行描述 SYNOPSI...

2018-08-03 10:13:20

阅读数:18

评论数:0

大数据技术之Linux 第6章 远程登录

6.1 安装SecureCRT(英文版) Linux远程登录及相关工具介绍 Linux一般作为服务器使用,而服务器一般放在机房,你不可能在机房操作你的Linux服务器。这时我们就需要远程登录到Linux服务器来管理维护系统。 Linux系统中是通过SSH服务实现的远程登录功能,默认ssh服务...

2018-08-03 09:40:31

阅读数:10

评论数:0

大数据技术之Linux 第5章 网络配置和系统管理操作

5.1 查看网络IP和网关 1)查看虚拟网络编辑器 2)修改ip地址 3)查看网关   4)查看windows环境的中VMnet8网络配置4)查看windows环境的中VMnet8网络配置 5.2 配置网络ip地址 5.2.1 ifconfig 配置网络接口 ifc...

2018-08-03 09:09:10

阅读数:22

评论数:0

大数据技术之Linux 第4章 VI/VIM编辑器

4.1 是什么 VI是Unix操作系统和类Unix操作系统中最通用的文本编辑器。 VIM编辑器是从VI发展出来的一个性能更强大的文本编辑器。可以主动的以字体颜色辨别语法的正确性,方便程序设计。VIM与VI编辑器完全兼容。 4.2 测试数据准备 1)拷贝/etc/smartd.conf数据到...

2018-08-01 10:19:42

阅读数:10

评论数:0

大数据技术之Linux 第3章 Linux文件与目录结构

3.1 Linux文件 Linux系统中一切皆文件。 3.2 Linux目录结构 本教程由尚硅谷教育大数据研究院出品,如需转载请注明来源。    

2018-08-01 10:14:29

阅读数:47

评论数:0

大数据技术之Linux 第2章 VM与Linux的安装

2.1 VMWare安装 https://share.weiyun.com/5AtWG4J 2.2 CentOS安装 https://share.weiyun.com/5HEnmLr 2.3 VMTools安装 https://share.weiyun.com/5avqdZw   本...

2018-07-30 10:37:31

阅读数:13

评论数:0

大数据技术之Linux第1章 Linux入门

1.1 概述 1.2 Linux和Windows区别 1.3 Centos下载地址   本教程由尚硅谷教育大数据研究院出品,如需转载请注明来源。  

2018-07-30 10:22:47

阅读数:19

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭