hadoop
文章平均质量分 61
xuefenxi
code a better life
展开
-
hive job配置和mapreduce数目控制
开启动态分区:hive.exec.dynamic.partition=true默认值:false描述:是否允许动态分区hive.exec.dynamic.partition.mode=nonstrict默认值:strict描述:strict是避免全分区字段是动态的,必须有至少一个分区字段是指定有值的。读取表的时候可以不指定分区。设置如下参数配置动态分区的使用环境转载 2016-08-24 15:16:27 · 1358 阅读 · 0 评论 -
CDH5.11.1集群卸载
1. 关闭集群中的所有服务。 这个可以通过clouder manger 主页关闭集群。2. 卸载[root@master ~]# /usr/share/cmf/uninstall-cloudera-manager.sh [root@slave1 ~]# service cloudera-scm-agent stop[root@slave1 ~]# service clouder原创 2017-07-02 12:43:49 · 1556 阅读 · 0 评论 -
欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl原创 2017-07-02 13:04:22 · 242 阅读 · 0 评论 -
使用sqoop将oracle数据迁移到hive中
技术专题:使用sqoop将oracle数据迁移到hive中目标:hive分区表(时间分区表)每个分区表中存放从oracle抽过来的数据,用来数据分析技术分析: 1、将要抽取的oracle表放到一张临时表中,(抽取这张表将其放到抽放到配置文件中,供抽取参数使用) 2、使用sqoop将oracle中的表抽取成HDFS文件。(注意:生成的文件目录应该和hive外表指定的目录对应,目录同原创 2015-12-24 10:27:31 · 1600 阅读 · 0 评论 -
大数据面试题及答案
Hadoop 相关试题MapTask并行机度是由什么决定的? 由切片数量决定的。2、MR是干什么的? MR将用户编写的业务逻辑代码和自带的默认组件结合起来组成一个完整的分布式应用程序放到hadoop集群上运行。3、MR的实例进程: driver(mr的job提交客户端) MRAppMaster MapTask ReduceTa...转载 2018-07-17 16:27:15 · 27854 阅读 · 0 评论