- 博客(7)
- 收藏
- 关注
RSS订阅原创 大数据技术分享 4.HDFS常用命令
（15）-getmerge ：合并下载多个文件，比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,…（9）-chgrp 、-chmod、-chown：linux文件系统中的用法一样，修改文件所属权限。（10）-copyFromLocal：从本地文件系统中拷贝文件到hdfs路径去。（5）-moveToLocal：从hdfs剪切粘贴到本地（尚未实现）（12）-cp ：从hdfs的一个路径拷贝到hdfs的另一个路径。（22）-setrep：设置hdfs中文件的副本数量。
2022-11-02 13:24:41
1735
原创 大数据技术分享 3.HDFS概述
（1） hdfs文件物理上是分块存储的（block），参数设置：dfs.blocksize 规定，2.0版本。3）DataNode 负责管理用户的文件数据块，每一个数据块都可以在多个datanode上存储多个副本。2）NameNode负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。（2）寻址时间：如果寻址时间约为10ms，而传输速率为100MB/s，为了使寻址时间仅占。以 上版本是128M，2.0以前是64M，比实际物理磁盘块大，是为了最小化寻址开销。二、hdfs的块大小。
2022-11-02 13:18:51
446
原创 虚拟机安装
chkconfig iptables -list （功能描述：查看防火墙开机启动状态）chkconfig iptables off （功能描述：关闭防火墙开机启动）service iptables status （功能描述：查看防火墙状态）chkconfig iptables on （功能描述：开启防火墙开机启动）service iptables stop （功能描述：临时关闭防火墙）g) /usr 用户的应用程序和文件目录（非常重要）h) /var 扩充目录（存放经常修改的目录）
2022-11-02 13:15:16
100
原创 @大数据技术分享 2.hadoop运行环境搭建
本地跑的话，先搭建虚拟机，这里面只写了大概，详细的可以看我其他文章一、虚拟机网络设置为NAT模式二、修改ip为静态方式1、修改ip修改内容ONBOOT=yes2.重启网络服务 ： service network restart3.失败则重启 reboot三、修改主机名注意：主机名称不要有“_”下划线四、修改ip与域名的映射（1）虚拟机Linux映射（2）window映射 ：C:\Windows\System32\drivers\etc。
2022-11-02 13:13:32
70
原创 @大数据技术分享1.hadoop框架生态
1.hadoop的三篇论文： GFS --> HDFS Map-Reducer --> MR BigTable --> Hbase。1）高可靠性：因为Hadoop假设计算元素和存储会出现故障，因为它维护多个工作数据副本，在出现故障时可以对失败的节点重新分布处理。3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。4）高容错性：自动保存多份副本数据，并且能够自动将失败的任务重新分配。2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。
2022-11-02 11:44:03
430
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人