大数据工具
文章平均质量分 65
大数据工具
「已注销」
这个作者很懒,什么都没留下…
展开
-
Hadoop使用
HDFS:HDFS是Hadoop的核心组件,HDFS上的文件被分成块进行存储,默认块的大小是64M,块是文件存储处理的逻辑单元。MapReduce:MapReduce的工作原理用一句话概括就是,分而治之,然后归约,即将一个大任务分解为多个小任务(map),并行执行后,合并结果(reduce)。Hadoop是使用Java编写,允许分布在集群,使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。#统计文件数量,返回的数据是目录个数,文件个数,文件总计大小,输入路径。原创 2023-11-02 20:00:00 · 46 阅读 · 0 评论 -
大数据之路
大数据之路:阿里巴巴大数据实践原创 2022-12-04 17:43:40 · 390 阅读 · 0 评论 -
Linux常用命令
1:搜索某个文件里面是否包含字符串,使用grep "search content" filename1, 例如。移动光标前请先按下ESC键,然后shift+$是移动到行尾,0是移动到行首。格式: sed -i “s/查找字段/替换字段/g” grep 查找字段 -rl 路径。2.CTRL+v 进入“可视 块”模式,选取这一列操作多少行。2.CTRL+v 进入“可视 块”模式,选取这一列操作多少行。4.ESC 按两次,会在每行的选定的区域出现插入的内容。2、>> 是在文件内容后面追加新内容,即追加重定向。原创 2023-07-13 23:16:13 · 67 阅读 · 0 评论