linux,hadoop FAQs

1.VMware克隆clone机器。
2.tail -n 行数 -f -F 文件名,参数-f和-F都是监控文件(可克隆机器看),区别是当监控的文件删除后再建同名文件,只有-F能再次监控此文件。
3.ln -s [源文件] [目标文件] 创建软链接 ,ln [源文件] [目标文件] 创建硬链接
4.rz(sz 下载文件名),安装wget,它在linux下命令行界面上支持上传和下载的第三方工具,在linux里可代替ftp上传和下载。
在这里插入图片描述
5.SecureCRT快捷键alt+p上传文件到linux(sftp速度快)。
6.ssh 用户名 (输入root密码) linux远程连接,scp远程复制: scp [-r] 文件 另一台主机名:目录。参数r递归复制,
scp -r aaa linux03: P W D 若 l i n u x 03 不 存 在 a a a 目 录 则 直 接 复 制 a a a 中 内 容 到 PWD 若linux03不存在aaa目录则直接复制aaa中内容到 PWDlinux03aaaaaaPWD中。
7.元数据 访问hdfs,http://linux01:9870端口和hadoop配置文件设置的namenode端口8020不同?

8.hdfs配置了core-site.xml默认fs也不能通过/删除集群系统根下所有文件和目录,shell命令会以为删除本地linux的根目录下所有文件和目录,只能写hdfs://域名linuxxx:端口/
9.修改Class的模板,Ideal快捷键ctrl+alt+m选中代码块生成方法,Ctrl+Shift+t选中代码surround with,Ctrl+N查找类的快捷键 Alt+7查看类的结构。
10.HDFS最好不写(主要上传,写?),写由于副本和文件内容不同步,hdfs同步需要时间,也可能不会检验是否同步,hdfs最好一次写入多次读取。
11.udp打包上传,不用3次握手tcp,省时。写本地同时可网络输出
12.cat能追加文件
在这里插入图片描述

13.物理切块大小128(实际可能128+/-0.1*128):在这个范围内的大小文件一个物理切块存储,大于此范围会分多个(0-128,128-256…)。
在这里插图片描述
14.reducetask输出的值按key的字典顺序。
15.添加日志文件前后异常?
16.继承Mapper类的map/Reducer类的reduce方法在哪调用?
17.HDFS日志文件imgxx,uuid 在哪?
18.maptask端序列化分区排序的KV到磁盘哪?
19.理解Mapper类中的map方法的参数context和Reducer类中的map方法的参数context?

?7 15 16 17 18 19

©️2020 CSDN 皮肤主题: 数字20 设计师:CSDN官方博客 返回首页