大数据
朴厚~
这个作者很懒,什么都没留下…
展开
-
大数据经典面试题分享(蚂蚁金服)
一.题目说明: 以下表记录了用户每天的蚂蚁森林低碳生活领取的记录流水。 table_name:user_low_carbon user_id data_dt low_carbon 用户 日期 减少碳排放(g) 蚂蚁森林植物换购表,用于记录申领环保植物所需要减少的碳排放量 table_name: plant_carbon plant_id plant_name low_carb...原创 2019-03-25 12:28:40 · 2083 阅读 · 0 评论 -
大数据之Hadoop(入门)
一、安装及hadoop的目录介绍 安装jdk和hadoop tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/ sudo vi /etc/profile export JAVA_HOME=/opt/module/jdk1.8.0_144 export PATH=$PATH:$JAVA_HOME/bin //hadoop的安装与JDK雷同,需...原创 2019-03-25 21:27:41 · 127 阅读 · 0 评论 -
hive操作hbase中的数据
CREATE EXTERNAL TABLE relevance_hbase_emp( empno int, ename string, job string, mgr int, hiredate string, sal double, comm double, deptno int ) STORED BY 'org.apache.ha...原创 2019-03-29 18:12:30 · 280 阅读 · 0 评论 -
hbase中数据flush,compaction以及region拆分时机
1. 数据的 Flush 过程 当 Memstore 太大了达到尺寸上的阀值,或者达到了刷写时间间隔阀值的时候,HBaes 会被这个 Memstore 的内容刷写到HDFS系统上,称为一个存储在硬盘上的HFile文件。 同时删除 HLog 中的历史数据 至此,我们可以称为数据真正地被持久化到硬盘上,就算宕机,断电,数据也不会丢失了。 有 3 个条件满足任意一个都可以触发 flush: 1.当一个 ...原创 2019-03-26 19:18:21 · 421 阅读 · 0 评论