![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 74
菜鸡努力学习中
这个作者很懒,什么都没留下…
展开
-
MapReduce开发流程及示例
setup Mapper Partitioner Comparable Combiner Reducer原创 2021-12-17 09:54:17 · 1536 阅读 · 0 评论 -
Hive静态分区和动态分区(二)
文章目录Hive静态分区和动态分区1. 静态分区1.1 增加3个分区向每个分区中添加数据1.2 查询数据1.2.1 直接查询1.2.2 添加分区信息查询2. 动态分区开启Hive的动态分区支持2.2 建原始表2.3 建立分区表2.4 加载数据3. 多级分区Hive静态分区和动态分区1. 静态分区建立分区表create external table students_pt1( id bigint, name string, age int, gender strin原创 2021-11-27 10:16:59 · 2664 阅读 · 0 评论 -
Hive内部表和外部表(一)
文章目录Hive内部表和外部表1. 内部表加载数据删除表测试web界面查看,源数据已经被删除2. 外部表加载数据删除表测试web查看,源数据仍然存在Hive内部表和外部表删除内部表的时候,表中的数据(HDFS上的文件)会被同表的元数据一起删除删除外部表的时候,只会删除表的元数据,不会删除表中的数据(HDFS上的文件)一般在公司中,使用外部表多一点,因为数据可以需要被多个程序使用,避免误删,通常外部表会结合location一起使用外部表还可以将其他数据源中的数据 映射到 hive中,比如说:hbas原创 2021-11-27 10:04:10 · 1427 阅读 · 0 评论 -
ZooKeeper实现hadoop集群高可用
【提示】在已实现master,node1,node2三节点集群上进行重新新规划首先需停止原先集群运行:stop-all.shzookeeper搭建:点这里1. 集群规划如下: ZK NN DN RM NM JN ZKFCmaster 1 1 1 1 1node1 1 1 1 1 1 1 1node2 1 1 1 12. node1免密配置ssh-keygen -t rsa ssh-copy-id node1ssh-copy-id node23. 更新修改hadoo原创 2021-11-22 21:02:42 · 2142 阅读 · 0 评论