文章标题

今天自己自学了Hadoop对Hadoop有了一个初步的了解,因此于此记录自己的学习笔记于心得:
Hadoop是适合大数据的分布式存储与计算平台。

  • HDFS(Hadoop Distributed File System)为主从结构
    • 管理 –>主节点只有一个NameNode:用于接收用户操作请求;维护文件系统的目录结构,管理文件与block之间关系,block与datanode关系。
    • 存储–>从节点有多个DataNodes:用于存储文件;文件被分成block存储于磁盘上;为保证数据安全,文件会有多个副本。
  • MapReduce
    • 主节点–>JobTracker:用于接收客户提交的计算任务;分配任务給Task;监控Task的执行情况
    • 从节点–>TaskTrackers执行JobTracker分配 的计算任务
  • Hadoop特点:
    • 扩容能力
    • 成本低
    • 效率高
    • 可靠性
  • 常用Linux命令

    • 相对路径 .代表当前路径 ..代表上一级路径 (例/root/localhost/studyEveryday.java和/root/localhost/insistent.java)若当前在localhost文件夹下则../localhost/insistent.java可以访问到root文件夹下的insistent文件。
    • 目录跳转 cd
    • 创建文件 touch
    • 查看文件 more
    • 查看目录 ls
  • 创建目录 mkdir
    • 复制文件 cp 从一个目录 到另一个目录
  • 删除 rm
    • 修改文件权限 chmod
    • 编辑模式 vi
    • 重启 reboot -h now
    • 主机名 hostname
    • 防火墙状态 service iptables status
  • 持续坚持中FirstDay
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值