大数据
江南任烟雨
这个作者很懒,什么都没留下…
展开
-
HDFS读写流程及元数据管理机制(图)
HDFS读写流程及元数据管理机制原创 2020-01-07 10:50:01 · 167 阅读 · 0 评论 -
HDFS读写流程 元数据机制图文详解
client向HDFS写数据流程(图)client从HDFS读数据流程(图)---------------------------------------namenode元数据管理机制(图)fsimage 镜像文件:是元数据的一个持久化的检查点,包含 Hadoop 文件系统中的所有目录和文件元数据信息,但不包含文件块位置的信息。文件块位置信息只存储在内存中,是在 datanode 加入...原创 2019-11-28 11:59:43 · 327 阅读 · 0 评论 -
hadoop完全分布式集群搭建部署
1、集群角色规划3台bd-server1 namenode datanode resourcemanager nodemanager historyserverbd-server2 datanode secondarynamenode nodemanagerbd-server3 datanode nodemanager nodemanager5台bd-server1 namen...原创 2019-10-12 16:01:26 · 199 阅读 · 0 评论 -
大数据之Linux常用的命令
Linux常用的命令1、命令的格式 : 命令的名称 选项 [参数]ls -la /etc/由于单个命令表示一种功能,那么使用不同的选项用来区分不同的功能某些命令不需要加入任何的选项就可以执行,也不需要操作对象使用help命令进行查看2、clear -》作用清空屏幕内容 -》快捷键 ctrl + L3、pwd -》作用打印当前所在目录...原创 2019-08-29 15:00:13 · 136 阅读 · 0 评论 -
大数据之Linux用户权限和文件权限管理
用户和用户组的管理1,linux用户种类root用户,超级管理员,只有一个系统用户,和我们的使用无关,了解即可普通用户,我们自己创建的用户2,查看linux系统当前拥有哪些用户more /etc/passwd每一行代表一个用户3,root: x:0:0:root:/root:/bin/bash第一列指的是用户名第二列是密码标记位,x代表用户拥有密码第三列是用户Id,也叫作UI...原创 2019-08-29 15:18:47 · 284 阅读 · 0 评论 -
大数据之linux命令find
find命令1、find进行文件搜索2、根据文件名称进行搜索-》find [搜索范围] [-name][-iname] 关键字-》举例:find / -name init 搜索根目录下名称完全匹配init的所有文件find / -name init* 搜索根目录下名称以init为开头的所有文件find / -name init 搜索根目录下名称包含init的所有文件find / ...原创 2019-08-29 15:24:40 · 108 阅读 · 0 评论 -
大数据之Linux命令vi/vim
vi编辑器-》vi编辑器类似与windows里的记事本,功能是用来编辑文件的-》vim相当于是vi的一个升级版本,进行了一些优化,其实功能本质都是一样vi编辑器有三种模式:命令行模式(初次打开就是处于命令行模式)编辑模式(插入模式),在低端会显示 – INSERT – 提示,退出编辑模式按ESC最后行模式,有个显著的特征就是最底行有一个冒号:,在命令行模式下,按"shift+:"进...原创 2019-08-29 15:32:58 · 206 阅读 · 0 评论 -
大数据之Linux sudo权限管理
sudo权限管理1、sudo就是把本是root用户才能执行的命令赋予权限给普通用户,这样普通用户也拥有了执行权限2、配置文件位置:/etc/sudoers3、/etc/sudoers这个文件使用vi编辑是无法保存的,所以要配置只能使用visudo这个命令进行编辑和保存4、 root ALL=(ALL) ALL授权用户/组 主机=[(切换...原创 2019-08-29 16:01:09 · 164 阅读 · 0 评论