- 博客(3)
- 收藏
- 关注
RSS订阅原创 Hive数据仓库笔记
HDFS解决了分布式存储的问题，MapReduce解决了分布式计算的问题，可以读取 HDFS 上的数据，完成大数据的分布式计算等，然而需要程序员熟悉MapReduce的框架原理和语法规则，对于一些比较复杂的统计对程序员的要求就比较高了。而 Hive 的出现，只要你会SQL，就能够快速的上手 Hive，通过简单的 SQL 语句就能实现复杂的 MapReduce 所能达到的功能。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析.
2024-03-28 19:35:49
773
1
原创 Hbase笔记
当 HRegionServer 意外终止服务的时候，HMaster 就会处理遗留下来的 HLog 文件，将其中不同的Region 的 Log 数据进行拆分，分配到相应的 Region 下，将失效的 Region 重新分配，领取到这些 Region 的 HRegionServer 在加载 Region 的过程中，会发现有历史 HLog 需要处理，那么就会将遗留的 HLog 中的数据加载到 MemStore 中，然后 Flush 到 StoreFile，完成数据恢复。实例，并且是所有元数据更改的接口。
2024-03-28 15:50:39
1206
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人