自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 收藏
  • 关注

原创 大数据技术分享 4.HDFS常用命令

(15)-getmerge :合并下载多个文件,比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,…(9)-chgrp 、-chmod、-chown:linux文件系统中的用法一样,修改文件所属权限。(10)-copyFromLocal:从本地文件系统中拷贝文件到hdfs路径去。(5)-moveToLocal:从hdfs剪切粘贴到本地(尚未实现)(12)-cp :从hdfs的一个路径拷贝到hdfs的另一个路径。(22)-setrep:设置hdfs中文件的副本数量。

2022-11-02 13:24:41 1732

原创 大数据技术分享 3.HDFS概述

(1) hdfs文件物理上是分块存储的(block),参数设置:dfs.blocksize 规定,2.0版本。3)DataNode 负责管理用户的文件数据块,每一个数据块都可以在多个datanode上存储多个副本。2)NameNode负责管理整个文件系统的元数据,以及每一个路径(文件)所对应的数据块信息。(2)寻址时间:如果寻址时间约为10ms,而传输速率为100MB/s,为了使寻址时间仅占。以 上版本是128M,2.0以前是64M,比实际物理磁盘块大,是为了最小化寻址开销。二、hdfs的块大小。

2022-11-02 13:18:51 446

原创 hadoop运行环境处理

一、 在opt目录创建文件使用root用户创建普通用户并赋予权限/etc/sudoers中。

2022-11-02 13:16:10 412

原创 虚拟机安装

chkconfig iptables -list (功能描述:查看防火墙开机启动状态)chkconfig iptables off (功能描述:关闭防火墙开机启动)service iptables status (功能描述:查看防火墙状态)chkconfig iptables on (功能描述:开启防火墙开机启动)service iptables stop (功能描述:临时关闭防火墙)g) /usr 用户的应用程序和文件目录(非常重要)h) /var 扩充目录(存放经常修改的目录)

2022-11-02 13:15:16 99

原创 Linux‘安装初始化

Linux安装初始化工作:1、修改网络配置2、禁用selinux3、禁用firewall。

2022-11-02 13:14:34 195

原创 @大数据技术分享 2.hadoop运行环境搭建

本地跑的话,先搭建虚拟机,这里面只写了大概,详细的可以看我其他文章一、虚拟机网络设置为NAT模式二、修改ip为静态方式1、修改ip修改内容ONBOOT=yes2.重启网络服务 : service network restart3.失败则重启 reboot三、修改主机名注意:主机名称不要有“_”下划线四、修改ip与域名的映射(1)虚拟机Linux映射(2)window映射 :C:\Windows\System32\drivers\etc。

2022-11-02 13:13:32 70

原创 @大数据技术分享1.hadoop框架生态

1.hadoop的三篇论文: GFS --> HDFS Map-Reducer --> MR BigTable --> Hbase。1)高可靠性:因为Hadoop假设计算元素和存储会出现故障,因为它维护多个工作数据副本,在出现故障时可以对失败的节点重新分布处理。3)高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。4)高容错性:自动保存多份副本数据,并且能够自动将失败的任务重新分配。2)高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。

2022-11-02 11:44:03 429

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除