- 博客(3)
- 收藏
- 关注
RSS订阅原创 大数据面试题整理
1.当用户请求删除一条记录时，hbase为什么不直接删除，而是打上一个删除的标记？因为hbase的数据通常是保存在HDFS上，而hdfs只允许新增或者追加数据文件，如果要删除的话要对整个文件进行替换，所以删除操作主要是对删除的数据打上标记.具体操作： 当多个storefile进行major_compact全局合并时，就会真正对那些打标记的数据进行删除。并生成对应的hfile文件。2....
2019-05-30 15:27:50
716
原创 spark在线ETL
##***导入依赖pom.xml <properties> <scala.version>2.11.8</scala.version> <spark.version>2.2.2</spark.version> <hadoop.version>2.7.7</hadoop.version>...
2019-05-15 22:38:23
912
1
转载 kafkaproducer和cosumer写入消息的方式
kafkaproducer和cosumer写入消息的方式直接发送ProducerRecord<String, String> record = new ProducerRecord<>(“CustomerCountry”, “Precision Products”,“France”);try {producer.send(record);} catch (Exc...
2019-05-13 22:29:30
512
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人