linux,hadoop FAQs

最新推荐文章于 2023-08-15 11:29:18 发布

新鼬

最新推荐文章于 2023-08-15 11:29:18 发布

阅读量154

点赞数 1

分类专栏： Hadoop 文章标签： hadoop 大数据 1024程序员节

本文链接：https://blog.csdn.net/qq_38326107/article/details/108729184

版权

Hadoop 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

1.VMware克隆clone机器。
2.tail -n 行数 -f -F 文件名，参数-f和-F都是监控文件(可克隆机器看)，区别是当监控的文件删除后再建同名文件，只有-F能再次监控此文件。
3.ln -s [源文件] [目标文件] 创建软链接，ln [源文件] [目标文件] 创建硬链接
4.rz(sz 下载文件名）,安装wget，它在linux下命令行界面上支持上传和下载的第三方工具，在linux里可代替ftp上传和下载。
在这里插入图片描述
5.SecureCRT快捷键alt+p上传文件到linux(sftp速度快)。
6.ssh 用户名 (输入root密码) linux远程连接，scp远程复制： scp [-r] 文件另一台主机名:目录。参数r递归复制，
scp -r aaa linux03: $P W D 若 l i n u x 03 不存在 a a a 目录则直接复制 a a a 中内容到$ PWD中。
7.元数据访问hdfs，http://linux01:9870端口和hadoop配置文件设置的namenode端口8020不同？

8.hdfs配置了core-site.xml默认fs也不能通过/删除集群系统根下所有文件和目录，shell命令会以为删除本地linux的根目录下所有文件和目录，只能写hdfs://域名linuxxx:端口/。
9.修改java和scala等文件和代码（Class类等）的注释模板，（①在新建类时自动生成File -> Settings -> Editor -> File and Code Templates -> Files。②设置手动触发的类注释模板File -> Settings -> Editor -> Live Templates -> ➕位置新建组和模块），Ideal快捷键ctrl+alt+m选中代码块生成方法,Ctrl+Alt+t选中代码surround with,Ctrl+N查找类的快捷键 Alt+7查看类的结构，Ctrl+Alt+方向左键撤销到上一次操作的代码处（相当于windows快捷键Ctrl+Z），Ctrl+Alt+方向右键恢复上一次操作的代码处（相当于windows快捷键Ctrl+Y）。
①添加格式：
#if (${PACKAGE_NAME} && ${PACKAGE_NAME} != “”)package ${PACKAGE_NAME};#end
#parse(“File Header.java”)

/**
 *@ClassName ${NAME}
 *@Author jiubx
 *@Date ${DATE} ${TIME} 
 *@Description: TODO
 */

public class ${NAME} {
}
②：需根据设置的键手动触发
10.HDFS最好不写（主要上传，写？)，写由于副本和文件内容不同步，hdfs同步需要时间，也可能不会检验是否同步，hdfs最好一次写入多次读取。
11.udp打包上传，不用3次握手tcp，省时。写本地同时可网络输出
12.cat能追加文件
在这里插入图片描述

13.物理切块大小128(实际可能128+/-0.1*128)：在这个范围内的大小文件一个物理切块存储，大于此范围会分多个（0-128，128-256…）。
在这里插图片描述
14.reducetask输出的值按key的字典顺序。
15.添加日志文件前后异常？
16.继承Mapper类的map/Reducer类的reduce方法在哪调用？
17.HDFS日志文件imgxx，uuid 在哪？
18.maptask端序列化分区排序的KV到磁盘哪？
19.理解Mapper类中的map方法的参数context和Reducer类中的map方法的参数context？