hadoop
子书少卿
一念
展开
-
hadoop笔记-常用命令
数据块一般可以分为128M 或者其他可以自行设置,不要太大,不然会影响计算效率; rack:机房中的机架,每个机架都会有一个路由,同机架中的数据访问效率要高于访问其他机架; 注:linux和hadoop都是文件系统,在linux中直接ls查看的是linux系统本地的文件,如果想要查看hadoop中的文件需要使用hadoop命令的查看 如:hdfs dfs -ls todo ...原创 2022-04-22 17:16:08 · 1103 阅读 · 0 评论 -
hadoop-伪分布式搭建笔记
dateNode和NodeManager要放到一台主机上;原创 2022-04-19 18:28:46 · 839 阅读 · 0 评论 -
hadoop学习-1
hadpood的java编写的 将数据切分成很多个块(dataNode),并以HA机制进行存储; shell sort:排序(默认整行排); uniq:去重; -c:count,计算数量 mapRedcuce map:对数据进行处理;(和stream中的用法一致) shuffle:将重复的key的数据进行集合处理; reduce:根据自己想要的值进行输出; ...原创 2022-04-19 17:27:11 · 980 阅读 · 0 评论 -
初始Hadoop
hadoop:开源顶级项目; HDFS的瓶颈在于数据存储IO(硬盘IO读取速度),数据很大但数据的读取速度是有限的; hadoop不支持对数据的更新,可以删除后重新写;原创 2022-04-18 18:33:42 · 252 阅读 · 0 评论