![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
朴厚~
这个作者很懒,什么都没留下…
展开
-
大数据经典面试题分享(蚂蚁金服)
一.题目说明:以下表记录了用户每天的蚂蚁森林低碳生活领取的记录流水。table_name:user_low_carbonuser_id data_dt low_carbon用户 日期 减少碳排放(g)蚂蚁森林植物换购表,用于记录申领环保植物所需要减少的碳排放量table_name: plant_carbonplant_id plant_name low_carb...原创 2019-03-25 12:28:40 · 2111 阅读 · 0 评论 -
大数据之Hadoop(入门)
一、安装及hadoop的目录介绍安装jdk和hadooptar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/sudo vi /etc/profileexport JAVA_HOME=/opt/module/jdk1.8.0_144export PATH=$PATH:$JAVA_HOME/bin//hadoop的安装与JDK雷同,需...原创 2019-03-25 21:27:41 · 145 阅读 · 0 评论 -
hive操作hbase中的数据
CREATE EXTERNAL TABLE relevance_hbase_emp( empno int, ename string, job string, mgr int, hiredate string, sal double, comm double, deptno int)STORED BY 'org.apache.ha...原创 2019-03-29 18:12:30 · 286 阅读 · 0 评论 -
hbase中数据flush,compaction以及region拆分时机
1. 数据的 Flush 过程当 Memstore 太大了达到尺寸上的阀值,或者达到了刷写时间间隔阀值的时候,HBaes 会被这个 Memstore 的内容刷写到HDFS系统上,称为一个存储在硬盘上的HFile文件。 同时删除 HLog 中的历史数据 至此,我们可以称为数据真正地被持久化到硬盘上,就算宕机,断电,数据也不会丢失了。有 3 个条件满足任意一个都可以触发 flush:1.当一个 ...原创 2019-03-26 19:18:21 · 430 阅读 · 0 评论