
Hadoop
Hadoop学习笔记
浮汐
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【Hadoop】常用命令
常用命令查看指定内容打开某个已存在文件将本地文件存储至hadoop将hadoop上某个文件down至本地已有目录下删除hadoop上指定文件删除hadoop上指定文件夹(包含子目录等)在hadoop指定目录内创建新目录在hadoop指定目录下新建一个空文件将hadoop上某个文件重命名将hadoop指定目录下所有内容保存为一个文件,同时down至本地查看指定内容hadoop fs -ls [目录地址]打开某个已存在文件hadoop fs -cat [目录地址]将本地文件存储至hadoophado原创 2021-04-08 21:47:32 · 270 阅读 · 0 评论 -
Hive优化
HIVE优化(设置合理的map reduce的task数)这里写目录标题HIVE优化(设置合理的map reduce的task数)1 map阶段优化1.1 map参数1.2 map切分情况1.3 主要的解决方式2.reduce阶段优化2.1 Reduce的个数2.2 Hive自己如何确定reduce数2.3 调整reduce个数方法一2.4 调整reduce个数方法二2.5 reduce个数并不是越多越好2.6 什么情况下只有一个reduce3.小文件合并优化Hive优化之小文件问题及其解决方案:小文件原创 2020-12-22 21:29:37 · 239 阅读 · 0 评论