- 博客(23)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 使用Akka实现一个简单的RPC框架（一）
Akka用Scala语言开发，基于Actor并发模型实现，Akka具有高可靠、高性能、可扩展等特点，使用Akka可以轻松实现分布式RPC功能。
2017-11-30 11:44:26
3997
原创 快学Scala-Actor并发编程实现WordCount
使用scala的多线程来做wordcount之前至少要知道单击版怎么做wordcount，所以先在命令行做单机版的单词计数，具体解释参考 单词计数
2017-11-28 15:16:44
578
原创 快学Scala- Scala Actor 并发编程
Scala中的Actor能够实现并行编程的强大功能，它是基于事件模型的并发机制，Scala是运用消息（message）的发送、接收来实现多线程的。使用Scala能够更容易地实现多线程应用的开发。
2017-11-28 13:41:19
364
原创 快学Scala-模式匹配、样例类、Option类、偏函数
Scala有一个十分强大的模式匹配机制，可以应用到很多场合：如switch语句、类型检查等。 并且Scala还提供了样例类，对模式匹配进行了优化，可以快速进行匹配
2017-11-27 22:51:17
406
原创 快学Scala-单词计数程序、并行计算
hadoop和strom都有介绍过怎么进行单词计数，这里使用Scala来实现个简易的单词计数程序，在这之前补充几个常用方法
2017-11-25 17:52:48
802
原创 jdk安装与环境变量配置、Scala编译器安装、IDEA安装Scala插件
Spark是由Scala编写的，学Scala大部分就是为了学Spark，至少能读懂一些源码，但是主语言又是java，所以快速学习下Scala挺有必要的但是既然不是主语言也不打算做深究了
2017-11-24 16:10:49
1296
1
原创 Kafka java api-消费者代码与消费分析、生产者消费者配置文件详解
Kafka java api-消费者代码与消费分析、生产者消费者配置文件详解
2017-11-22 15:33:52
2857
原创 Kafka java api-生产者代码、高性能吞吐
前面做过命令行让生产者发送消息，现在使用java api来进行消息的生产，以及解释kafka高性能是如何实现（来源于学习资料）。
2017-11-22 13:43:15
3195
原创 kafka的消息消费机制、consumer的负载均衡、文件存储机制
这篇笔记的内容回答了上篇 Kafka运行机制与各组件详解 剩余的问题（这些内容来自于学过的学习资料）。
2017-11-21 23:31:12
7992
原创 Kafka运行机制与各组件详解
图中从左到右能比较明显的看到三部分：对应生产者，目的地，消费者，生成者生成消息发送到目的地，消费者则从目的地主动拉取消息。
2017-11-21 22:04:24
2593
原创 Kafka集群部署与shell命令行操作
在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。KAFKA + STORM +REDIS1、Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。
2017-11-21 20:09:27
1768
原创 Storm集群部署与单词计数程序
要搭建storm集群首先需要由zookeeper，关于zookeeper集群的搭建参考zookeeper集群搭建，这里使用三台机器，一台做做nimbus（mini1机器），两台做supervisor（mini2和mini3机器）。
2017-11-07 16:49:18
657
原创 Storm核心组件、编程模型
storm是用来做实时计算的框架，所以介绍storm之前需要知道什么是流式计算。 流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示 代表技术：Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、持久化存储(mysql)。一句话总结：将源源不断产生的数据实时收集并实时计算，尽可能快的得到计算结果。
2017-11-07 15:10:48
470
原创 java api操作hbase
HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBASE的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。
2017-11-01 18:06:35
964
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人