- 博客(3)
- 收藏
- 关注
RSS订阅原创 Spark个人总结
1 RDD分布式集合的5大属性分区列表: A list of partitions计算函数: A function for computing each split依赖关系: A list of dependencies on other RDDs分区器: Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)计算位置：Optionally, a list of pre
2021-01-04 21:03:20
245
原创 Scala个人总结
1 集合中的问题1 不可变类型中除了Array类型直接打印是地址值,需要转为可变集合ArrayBuffer再打印以外,其他所有集合直接打印都是打印集合中的内容,并且不可变集合中只有Array类型是内容可变,长度不可变的,其他都是长度和内容都不可变. 元组中的元素全部为不可变的2 val list2: List[Int] = 1::2::3::Nil表示把1,2,3放到一个空列表Nil中,再赋值给list23 list3 ++= list4表示把list3和list4中的内容加到
2020-12-28 21:53:10
342
2
原创 Kafka个人总结
1 Kafka是什么?简单来说,Kafka就是一个消息系统/消息中间件,虽然Kafka新增了流处理(统计分析计算)的新特性,但是我们一般还是使用Spark,Flink等作为流处理的软件.2 Kafka的作用是什么?1)应用解耦:多个应用可通过消息队列对消息进行处理，应用之间相互独立，互不影响.图例:2)异步处理:相比于串行和井行处理，异步处理可以减少处理的时间.3)流量削峰:流量高峰期，可通过消息队列来控制流量， 避免流量过大而引起应用系统崩溃.4)消息通信:实现点对点消息队列,或者多对多的
2020-12-25 15:04:05
1590
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人