大数据hadoop+hive
文章平均质量分 78
大数据hadoop+hive
LiyC;
这个作者很懒,什么都没留下…
展开
-
HIVE报错:FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.Map RedTask
动态分区的最大数量由hive.exec.max.dynamic.partitions和hive.exec.max.dynamic.partitions.pernode控制。本人在使用hive进行大量数据insert表的的时候运行失败并报错:Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.Map RedTask。原创 2024-06-03 22:15:24 · 389 阅读 · 1 评论 -
sqoop操作
sqoop是隶属于Apache旗下的, 最早是属于cloudera公司的,是一个用户进行数据的导入导出的工具, 主要是将关系型的数据库(MySQL, oracle...)导入到hadoop生态圈(HDFS,HIVE,Hbase...) , 以及将hadoop生态圈数据导出到关系型数据库中。原创 2024-06-01 17:46:31 · 1055 阅读 · 0 评论 -
Hive+Hadoop数据分析模拟案例练习
对电影评分数据进行统计分析,最后以可视化的形式展示出来。原创 2024-04-13 18:08:15 · 370 阅读 · 1 评论 -
Hive数据库操作(查询的操作语法)
基本查询和其它数据库(MySQL等)类似,本文就不再介绍。这里主要说的是Hive数据中一些特别的查询。原创 2024-04-05 17:32:09 · 347 阅读 · 1 评论 -
Hive数据库操作(表的操作语法)
承接上文,文本主要讲hive操作使用。原创 2024-03-30 18:06:22 · 741 阅读 · 1 评论 -
大数据Hive(介绍+安装+使用)
对数据进行统计分析,SOL是目前最为方便的编程工具,但是MapReduce支持程序开发 (Java、Python等)但不支持SQL开发。Hive是一款分布式SQL计算的工具,其主要功能是将SQL语句翻译成MapReduce程序运行。原创 2024-03-27 22:29:05 · 1255 阅读 · 2 评论 -
Hadoop学习(基本介绍+安装+代码使用)
如果关闭防火墙报错Failed to stop firewalld.service: Unit firewalld.service not loaded.是因为没有安装防火墙,可以跳过关闭防火墙这一步。1.准备好三台机器,准备好hadoop安装包,主节点master已经安装JDK。启动时候报错内容,端口名字与主机名字不一样(woker1少了一个r)重新打开hdfs-site.xml修改端口名字。修改后成功解决问题,三台集群的节点都已经启动。原创 2023-12-15 17:41:34 · 881 阅读 · 0 评论