大数据
yj2434
贪财好色,一身正气
展开
-
OLTP OLAP区别及应用场景
OLTP(On-Line Transaction Processing)即联机事务处理,就是我们经常说的关系数据库,意即记录即时的增、删、改、查,就是我们经常应用的东西,这是数据库的基础;OLAP(On-Line Analytical Processing)即联机分析处理,是数据仓库的核心部心,所谓数据仓库是对于大量已经由OLTP形成的数据的一种分析型的数据库,用于处理商业智能、决策支持等重要的决策信息;数据仓库是在数据库应用到一定程序之后而对历史数据的加工与分析;是处理两种不同用途的工具而已。联机分析原创 2020-09-06 02:14:24 · 3606 阅读 · 0 评论 -
hive 设置mapreduce job的内存大小
map 任务内存总大小set mapreduce.map.memory.mb=2048map 堆大小set mapreduce.map.java.opts=-Xmx1024m;set mapreduce.reduce.memory.mb=2500;set mapreduce.reduce.java.opts=-Xmx2048m;原创 2020-08-17 17:11:00 · 5214 阅读 · 0 评论 -
Hive内部表和外部表的区别
1.未被external修饰的是内部表(managed table),被external修饰的为外部表(external table);区别:内部表数据由Hive自身管理,外部表数据由HDFS管理;内部表数据存储的位置是hive.metastore.warehouse.dir(默认:/user/hive/warehouse),外部表数据的存储位置由自己制定;删除内部表会直接删除元数据(metadata)及存储数据;删除外部表仅仅会删除元数据,HDFS上的文件并不会被删除;对内部表的修改会将修改直接原创 2020-08-16 18:01:25 · 224 阅读 · 0 评论 -
hive创建表时出现MetaException(message:An exception was thrown while adding/validating class(es)
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:An exception was thrown while adding/validating class(es) : You have an error in your SQL syntax; check the manual that corresponds to your MySQL serv原创 2020-08-14 03:42:40 · 1236 阅读 · 1 评论 -
Wrong FS: hdfs://node2:8020/wc/output2, expected: file:///
程序在执行的过程,conf未识别出HDFS文件系统。有2种修改办法:1.ore-site.xml文件拷入src或resource中添加如下内容:fs.defaultFShdfs://node2:90002.直接在代码中添加如下值conf.set(“fs.defaultFS”, “hdfs://node2:9000”);...原创 2020-08-06 02:56:08 · 294 阅读 · 0 评论 -
今天使用MapReduce HA时遇到空指针异常org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.lang.NullPoint
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.lang.NullPointerExceptionat org.apache.hadoop.mapreduce.v2.app.rm.RMCommunicator.register(RMCommunicator.java:177)at org.apache.hadoop.mapreduce.v2.app.rm.RMCommunicator.serviceStart(RMCommunic原创 2020-08-05 16:04:11 · 848 阅读 · 2 评论