- 博客(3)
- 收藏
- 关注
RSS订阅转载 YARN的内存和CPU配置
Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。 在YARN集群中，平衡内存、CPU、磁盘的资源的很重要的，根据
2016-08-31 17:10:19
379
原创 hive常用笔记
1,临时执行一个sql就退出 hive -e "select * from test"; 2,临时执行一个sql,忽略OK..这些东西(静默模式)并保存到本地一个临时目录 hive -S -e "select * from test" > /tmp/magina/a.txt; 3.在hive命令行中执行linux命令或者操作hdfs ! pwd; 显示当前路径
2016-08-28 16:26:06
382
转载 hive与关系型数据库对比
关系数据库里，表的加载模式是在数据加载时候强制确定的（表的加载模式是指数据库存储数据的文件格式），如果加载数据时候发现加载的数据不符合模式，关系数据库则会拒绝加载数据，这个就叫“写时模式”，写时模式会在数据加载时候对数据模式进行检查校验的操作。Hive在加载数据时候和关系数据库不同，hive在加载数据时候不会对数据进行检查，也不会更改被加载的数据文件，而检查数据格式的操作是在查询操作时候执行，这种
2016-08-28 14:56:21
3290
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人