大数据
weixin_45025033
这个作者很懒,什么都没留下…
展开
-
一周知识点回顾
Linux操作指令 1.命令提示符 root:用户名 localhost:主机名 #/$:代表当前用户的权限 #表示的是超级管理员权限 $表示的是普通用户的权限 2.与目录相关 pwd:查看当前目录的具体路径 mkdir:目录创建指令 Touch:文件创建的指令 cd:进行目录切换的指令 —:表示返回当前操作的前一个操作的目录(有点类似于遥控器的返回键) cp:进行文件的复制 文件:cp ...原创 2019-05-19 18:26:21 · 262 阅读 · 0 评论 -
Hadoop的安装
彻底关闭防火墙 chkconfig iptables off 查看主机名 hostname 修改主机名 vim /etc/sysconfig/network 修改之后不会立即执行需要重启才会生效,重启指令reboot 临时生效hostname Hadoop01 修改host文件 vim /etc/hosts 将主机ip与主机名进行映射 设置免密登录 ssh-keygen—一直回车 ...原创 2019-05-16 14:52:13 · 200 阅读 · 0 评论 -
HADOOP的概述
HDFS的概述 HDFS是Hadoop分布式文件系统,用来分布式存储海量数据,并具有高可靠 高性能 可伸缩的能力。 hdfs屏蔽了分布式存储的细节,提供了标准的访问方式,能够以类似访问本地文件系统的方式访问hdfs中的文件。 可以通过shell 或 javaapi方式操作hdfs中的数据。 HDFS技术细节 分布式存储系统 HDFS的主要原理,是将数据进行切块后进行复制并分布式存储在集群的多...原创 2019-05-16 16:00:15 · 208 阅读 · 0 评论 -
HDFS的执行路程
block:1.切分规则128 2.最大值,不是固定值 3.存储规则(往datanode存储 NameNode:维护元数据信息 1、fsimage(数据持久化操作) 2.edits(日志文件—修改记录) 3.fstime(文件合并的时间) 文件合并 1.当fstime里的时间达到3600s 2.edits文件数据达到64M SNN 1.Nn将日志文件复制一份产生新的日志文件 edits.new ...原创 2019-05-16 16:02:57 · 192 阅读 · 0 评论