Linux
sj天问
这个作者很懒,什么都没留下…
展开
-
MapReduce概述以及序列化
MapReduce是一个分布式运算程序编程框架。分布式的运算程序往往需要分成至少2个阶段。第一个阶段的MapTask并发实例,完全并行运行,互不相干。第二个阶段的ReduceTask并发实例互不相干,但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段,如果用户的业务逻辑非常复杂,那就只能多个MapReduce程序,串行运行。Java类型Hadoop Writable类型Boolean原创 2020-10-16 20:33:33 · 248 阅读 · 0 评论 -
HDFS数据流以及NameNode,SecondNameNode,DataNode工作机制
HDFS写数据流程如图所示,所要做的动作是吧ss.avi上传首先客户端先创建一个FileSystem对象之后向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。NameNode返回是否可以上传。客户端请求上传第一个Block(0-128M)上传到哪几个DataNode服务器上。NameNode返回dn1,dn2,dn3节点,表示用这三个节点存储数据然后客户端通过FSDataOutputStream模块请求dn1上传数据,dn1收到请求会继续调用dn2,然原创 2020-10-14 19:37:31 · 181 阅读 · 0 评论 -
HDFS梳理以及客户端操作HDFS
HDFS优缺点1.优点高容错性(1)数据自动保存多个副本,通过增加副本的形式,提高容错性。(2)某一个副本丢失以后,它可以自动恢复适合处理大规模数据(1)数据规模:能够处理最高达PB级别的数据;(2)文件规模:能够处理百万规模以上的文件数量,数量相当之大。可构建在廉价机器上2.缺点不适合低延时数据访问,比如毫秒级的存储数据无法高效的对大量小文件进行存储HDFS组成架构NameNode(nn):就是Master,它是一个主管、管理者。(1)管理HDFS的名称空间(2)配原创 2020-10-13 18:59:32 · 300 阅读 · 0 评论 -
hadoop完全分布式搭建以及试运行
完全分布式运行模式1)分析:(1)准备3台客户机(关闭防火墙、静态ip、主机名称)(2)安装JDK(3)配置环境变量(4)安装Hadoop(5)配置环境变量(6)配置集群(7)单点启动(8)配置ssh(9)群起并测试集群编写分发脚本(1)scp定义:scp可以实现服务器与服务器之间的数据拷贝。(from server1 to server2)(2)基本语法scp -r pdir/pdir/pdir/fname user@hado原创 2020-10-12 19:18:40 · 263 阅读 · 0 评论 -
shell的一些工具语法
cut1)基本用法cut [选项参数] filename2)选项参数说明选项参数 功能-f 列号,提取第几列-d 分隔符,按照指定分隔符分割列(默认分隔符是制表符)3)案例实操(1)数据准备[root@hadoop101 datas]$ touch cut.txt[root@hadoop101 datas]$ vim cut.txtdong shenguan zhenwo wolai laile le(2)切割cut.txt第一列[root@hadoop101 d原创 2020-10-09 20:53:23 · 75 阅读 · 0 评论 -
shell面试题小记
问题1:使用Linux命令查询file1中空行所在的行号答案:[root@hadoop101 datas]$ awk '/^$/{print NR}' sed.txt 5^代表头,$代表尾,首尾相连代表空也就是匹配空行,NR是行号问题2:有文件chengji.txt内容如下:张三 40李四 50王五 60使用Linux命令计算第二列的和并输出[root@hadoop101 datas]$ cat chengji.txt | awk -F " " '{sum+=$2} END{print原创 2020-10-09 20:32:41 · 162 阅读 · 0 评论 -
Linux指令小记
VI/VIM编辑器yy复制光标当前一行y数字y复制一段(从第几行到第几行)p箭头移动到目的行粘贴u撤销上一步dd删除光标当行d数字d删除光标(含)后多少行x剪切一个字母,相当于delX剪切一个字母,相当于backspaceyw复制一个词dw删除一个词shift+6移动到行头shift+4移动到行尾1+shift+g移动到页头,数字shift移动到页尾数字+shift+g移动到目标行原创 2020-09-29 20:05:25 · 83 阅读 · 0 评论