- 博客(6)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 spark构建协同过滤ALS推荐模型
package com.erongda.bigdata.spark.mllib.rmdimport com.erongda.bigdata.spark.ContantUtilsimport org.apache.spark.mllib.recommendation.{MatrixFactorizationModel, Rating}import org.apache.spark.rdd....
2019-04-28 12:58:15
1209
2
原创 flink的批处理和流处理
核心内容：1.流处理系统2.批处理系统3.flink的流处理和批处理4.flink的流处理和批处理代码的区别流处理系统与批处理系统最大不同在于节点间的数据传输方式 1.流处理系统流处理系统，其节点间数据传输的标准模型是：当...
2019-04-17 10:40:28
7589
原创 HBase面试题
0.Hbase是什么？(1) Hbase一个分布式的基于列式存储的数据库,基于Hadoop的hdfs存储，zookeeper进行管理。(2) Hbase适合存储半结构化或非结构化数据，对于数据结构字段不够确定或者杂乱无章很难按一个概念去抽取的数据。(3) Hbase为null的记录不会被存储.(4)基于的表包含rowkey，时间戳，和列族。新写入数据时，时间戳更新，同时可以查询到以前的版...
2019-04-04 22:05:34
27111
3
原创 Kafka面试题
1.请说明什么是传统的消息传递方法？传统的消息传递方法包括两种：排队：在队列中，一组用户可以从服务器中读取消息，每条消息都发送给其中一个人。发布-订阅：在这个模型中，消息被广播给所有的用户。2.请说明 Kafka 相对于传统的消息传递方法有什么优势？高性能：单一的 Kafka 代理可以处理成千上万的客户端，每秒处理数兆字节的读写操作，Kafka 性能远超过传统的 Active...
2019-04-04 13:33:09
1885
原创 Flume面试题
1.Flume 采集数据会丢失吗?不会，Channel 存储可以存储在 File 中，数据传输自身有事务。2.Flume 与 Kafka 的选取？采集层主要可以使用 Flume、Kafka 两种技术。Flume：Flume 是管道流方式，提供了很多的默认实现，让用户通过参数部署，及扩展 API。Kafka：Kafka 是一个可持久化的分布式的消息队列。Kafka 是一个非常通用的...
2019-04-04 13:10:22
13335
原创 Zookeeper面试题
1.ZooKeeper投票机制？本博客2.客户端对 ZooKeeper 的 ServerList 的轮询机制？随机，客户端在初始化的过程中，将所有 Server 保存在一个 List 中，然后随机打散，形成一个环。之后从 0 号位开始一个一个使用。3.一个客户端修改了某个节点的数据，其他客户端能够马上获取到这个最新数据吗？ZooKeeper 不能确保任何客户端能够获取（即 Re...
2019-04-03 17:58:32
4036
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人