linux,hadoop FAQs

1.VMware克隆clone机器。
2.tail -n 行数 -f -F 文件名,参数-f和-F都是监控文件(可克隆机器看),区别是当监控的文件删除后再建同名文件,只有-F能再次监控此文件。
3.ln -s [源文件] [目标文件] 创建软链接 ,ln [源文件] [目标文件] 创建硬链接
4.rz(sz 下载文件名),安装wget,它在linux下命令行界面上支持上传和下载的第三方工具,在linux里可代替ftp上传和下载。
在这里插入图片描述
5.SecureCRT快捷键alt+p上传文件到linux(sftp速度快)。
6.ssh 用户名 (输入root密码) linux远程连接,scp远程复制: scp [-r] 文件 另一台主机名:目录。参数r递归复制,
scp -r aaa linux03: P W D 若 l i n u x 03 不 存 在 a a a 目 录 则 直 接 复 制 a a a 中 内 容 到 PWD 若linux03不存在aaa目录则直接复制aaa中内容到 PWDlinux03aaaaaaPWD中。
7.元数据 访问hdfs,http://linux01:9870端口和hadoop配置文件设置的namenode端口8020不同?

8.hdfs配置了core-site.xml默认fs也不能通过/删除集群系统根下所有文件和目录,shell命令会以为删除本地linux的根目录下所有文件和目录,只能写hdfs://域名linuxxx:端口/
9.修改java和scala等文件和代码(Class类等)的注释模板,(①在新建类时自动生成File -> Settings -> Editor -> File and Code Templates -> Files。②设置手动触发的类注释模板File -> Settings -> Editor -> Live Templates -> ➕位置新建组和模块),Ideal快捷键ctrl+alt+m选中代码块生成方法,Ctrl+Alt+t选中代码surround with,Ctrl+N查找类的快捷键 Alt+7查看类的结构,Ctrl+Alt+方向左键撤销到上一次操作的代码处(相当于windows快捷键Ctrl+Z),Ctrl+Alt+方向右键恢复上一次操作的代码处(相当于windows快捷键Ctrl+Y)。
①添加格式:
#if (${PACKAGE_NAME} && ${PACKAGE_NAME} != “”)package ${PACKAGE_NAME};#end
#parse(“File Header.java”)

/**
 *@ClassName ${NAME}
 *@Author jiubx
 *@Date ${DATE} ${TIME} 
 *@Description: TODO
 */

public class ${NAME} {
}
②:需根据设置的键手动触发
10.HDFS最好不写(主要上传,写?),写由于副本和文件内容不同步,hdfs同步需要时间,也可能不会检验是否同步,hdfs最好一次写入多次读取。
11.udp打包上传,不用3次握手tcp,省时。写本地同时可网络输出
12.cat能追加文件
在这里插入图片描述

13.物理切块大小128(实际可能128+/-0.1*128):在这个范围内的大小文件一个物理切块存储,大于此范围会分多个(0-128,128-256…)。
在这里插图片描述
14.reducetask输出的值按key的字典顺序。
15.添加日志文件前后异常?
16.继承Mapper类的map/Reducer类的reduce方法在哪调用?
17.HDFS日志文件imgxx,uuid 在哪?
18.maptask端序列化分区排序的KV到磁盘哪?
19.理解Mapper类中的map方法的参数context和Reducer类中的map方法的参数context?

?7 15 16 17 18 19

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值