- 博客(6)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 hadoop之MapReduce框架
MapReduce的核心思想1.1分布式的运算程序往往需要分成至少2个阶段。1.2第一个阶段的MapTask并发实例，完全并行运行，互不相干。1.3第二个阶段的ReduceTask并发实例互不相干，但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。1.4MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段，如果用户的业务逻辑非常复杂，那就只能多个Map...
2019-10-22 16:11:43
385
原创 Linux之用户和组账户管理命令
1. 用户和组账户管理用户管理简介linux操作系统是一个多用户操作系统，它允许多用户同时登录到系统上并使用资源。系统会根据账户来区分每个用户的文件，进程，任务和工作环境，使得每个用户工作都不受干扰。对安全要求高的服务器，都需要建立合理的用户权限等级制度和服务器操作规范。在linux中主要是通过用户配置文件来查看和修改用户信息。配置文件• 保存用户信息的文件：/etc/passwd• ...
2019-10-18 15:59:49
588
原创 Linux之vi/vim文本编辑器模式以及常用命令
1、vi/vim工作模式2、vi/vim常用命令插入命令a 在光标后附加文本A 在本行行末附加文本i 在光标前插入文本I 在本行开始插入文本o 在光标下插入新行O 在光标上插入新行定位命令:set nu 设置行号:set nonu 取消行号gg 到第一行G 到最后一行nG 到第n行:n 到第n行定位命令扩展h 方向左键 左移一个字符j 方向下键 下移...
2019-10-18 15:45:53
365
原创 Linux常用命令
Linux常用命令命令格式：命令 -选项 参数如：ls -la /usr文件处理命令ls（list）作用：显示目录文件常用选项：-a all 显示所有文件，注意隐藏文件，特殊目录.和…-l（long） 显示详细信息-i 查看文件的i(inode)节点 数-R（recursive） 递归显示当前目录下所有目录-r (reverse) 逆序排序-t（time...
2019-10-18 15:33:55
389
原创 hadoop之hdfs的常用命令
1、上传文件hadoop fs -put test.txt /hadoop fs -copyFromLocal test.txt /test.txt.22、下载文件hadoop fs -get /test.txt.2hadoop fs -copyToLocal /test.txt.23、创建目录hadoop fs -mkdir /aaahadoop fs -mkdir -p /bb...
2019-10-17 17:44:06
165
原创 hadoop之hdfs的角色以及读写流程
hadoop之hdfs的角色以及读写流程1. hdfs简介 hdfs集群分为两大角色：namenode、datanode1.1、 namenode工作职责：1.1.1、 记录元数据： 文件的路径 文件的副本数量 文件的切块大小 文件的块信息 文件块的位置信息1.1.2、 响应客户端请求1.1.3、 平衡datanode上的文件...
2019-10-17 17:13:04
954
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人