- 博客(7)
- 收藏
- 关注
原创 大数据技术分享 4.HDFS常用命令
(15)-getmerge :合并下载多个文件,比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,…(9)-chgrp 、-chmod、-chown:linux文件系统中的用法一样,修改文件所属权限。(10)-copyFromLocal:从本地文件系统中拷贝文件到hdfs路径去。(5)-moveToLocal:从hdfs剪切粘贴到本地(尚未实现)(12)-cp :从hdfs的一个路径拷贝到hdfs的另一个路径。(22)-setrep:设置hdfs中文件的副本数量。
2022-11-02 13:24:41
1732
原创 大数据技术分享 3.HDFS概述
(1) hdfs文件物理上是分块存储的(block),参数设置:dfs.blocksize 规定,2.0版本。3)DataNode 负责管理用户的文件数据块,每一个数据块都可以在多个datanode上存储多个副本。2)NameNode负责管理整个文件系统的元数据,以及每一个路径(文件)所对应的数据块信息。(2)寻址时间:如果寻址时间约为10ms,而传输速率为100MB/s,为了使寻址时间仅占。以 上版本是128M,2.0以前是64M,比实际物理磁盘块大,是为了最小化寻址开销。二、hdfs的块大小。
2022-11-02 13:18:51
446
原创 虚拟机安装
chkconfig iptables -list (功能描述:查看防火墙开机启动状态)chkconfig iptables off (功能描述:关闭防火墙开机启动)service iptables status (功能描述:查看防火墙状态)chkconfig iptables on (功能描述:开启防火墙开机启动)service iptables stop (功能描述:临时关闭防火墙)g) /usr 用户的应用程序和文件目录(非常重要)h) /var 扩充目录(存放经常修改的目录)
2022-11-02 13:15:16
99
原创 @大数据技术分享 2.hadoop运行环境搭建
本地跑的话,先搭建虚拟机,这里面只写了大概,详细的可以看我其他文章一、虚拟机网络设置为NAT模式二、修改ip为静态方式1、修改ip修改内容ONBOOT=yes2.重启网络服务 : service network restart3.失败则重启 reboot三、修改主机名注意:主机名称不要有“_”下划线四、修改ip与域名的映射(1)虚拟机Linux映射(2)window映射 :C:\Windows\System32\drivers\etc。
2022-11-02 13:13:32
70
原创 @大数据技术分享1.hadoop框架生态
1.hadoop的三篇论文: GFS --> HDFS Map-Reducer --> MR BigTable --> Hbase。1)高可靠性:因为Hadoop假设计算元素和存储会出现故障,因为它维护多个工作数据副本,在出现故障时可以对失败的节点重新分布处理。3)高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。4)高容错性:自动保存多份副本数据,并且能够自动将失败的任务重新分配。2)高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。
2022-11-02 11:44:03
429
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人