Hadoop
啥好吃的啊给我来一口
这个作者很懒,什么都没留下…
展开
-
MapReduce
MapReduce 是一个分布式运算程序的编程框架,是用户开发“基于 Hadoop 的数据分析应用”的核心框架。1.不擅长实时计算,MySQL更擅长(ms级)。通常处理的是分钟级别的,有时还可能要算几天。2.不擅长流式计算。2.Mapper的输入数据时KV对的形式(KV的类型可自定义)4.Mapper的输出数据是KV对的形式(KV的类型可自定义)4.适合海量数据运算(TB/PB),几千台服务器共同计算。3.Mapper中的业务逻辑写在map()方法中。1.用户自定义的Mapper要继承自己的父类。原创 2022-10-03 21:24:32 · 710 阅读 · 0 评论 -
Hadoop_HDFS_API
配置好API环境后,可以在idea内编写代码操作HDFS。原创 2022-09-12 21:16:45 · 260 阅读 · 0 评论 -
Hadoop_HDFS_Shell
chgrp 、-chmod 、-chown:Linux文件系统中的用法一样,修改文件所属权限。-copyFromLocal:从本地系统中拷贝文件到HDFS路径去。-appendToFile 追加一个文件到已经存在的文件末尾。HDFS特性,只能追加内容到文件里面,而不能修改文件内容。-cp :从HDFS的一个路径拷贝到HDFS的另一个路径。-copyToLocal:从HDFS拷贝文件到本地。-setrep :设置HDFS中文件的副本数量。-rm -r :递归删除目录及目录里面的内容。原创 2022-09-12 09:16:29 · 492 阅读 · 0 评论