Y_hahaha的博客

数据块一般可以分为128M 或者其他可以自行设置，不要太大，不然会影响计算效率； rack:机房中的机架，每个机架都会有一个路由，同机架中的数据访问效率要高于访问其他机架； 注：linux和hadoop都是文件系统，在linux中直接ls查看的是linux系统本地的文件，如果想要查看hadoop中的文件需要使用hadoop命令的查看 如：hdfs dfs -ls todo ...

dateNode和NodeManager要放到一台主机上；

hadpood的java编写的 将数据切分成很多个块（dataNode），并以HA机制进行存储； shell sort：排序（默认整行排）； uniq:去重； -c：count，计算数量 mapRedcuce map：对数据进行处理；（和stream中的用法一致） shuffle:将重复的key的数据进行集合处理； reduce:根据自己想要的值进行输出； ...

hadoop：开源顶级项目； HDFS的瓶颈在于数据存储IO（硬盘IO读取速度），数据很大但数据的读取速度是有限的； hadoop不支持对数据的更新，可以删除后重新写；