AceCream的博客

从这里学习的，讲的真好~ https://www.bilibili.com/video/av62992342/?p=41单数据MAP1.作用返回一个新RDD，该RDD由每个输入元素经过func函数转换后组成。2.需求创建一个1-10数组的RDD，将所有元素*2形成新的RDD3.解val conf = new SparkConf().setMaster("local[*...

最近在研究MQ，考虑用RabbitMQ性价比会高一些。这次学习的途径是看RabbitMQ官方网站的英文文档(好歹CET 4 Boy)。基本上就是把文档的东西翻译过来，加上点自己的理解。代码copy来，尽量把自己的注释写好。有什么错误遗漏还请指点~~~简介RabbitMQ官方解释是一种消息代理。它可以接受或转发消息。可以用快递来理解，我们把邮件包装好送到快递公司，快递公司将我们发...

在第一期里面我们写了个程序，给一个队列命名，并通过这个队列发送、接受消息。在这一期我们将会创建一个Work Queue用于在多个工作之间分配任务。（最后这句实在不知道咋翻译,看不懂的同学自行去官网查阅）简介工作队列(Work Queues)也叫任务队列(Task Queues)，主要思想是避免立即去执行资源密集型的任务，同时还要等待它的完成。相反的，我们的计划是稍后再完成任务。我们会将...

继续翻译~第一次尝试进行这样模式的学习，感觉好难进行，不过还是要坚持住~！简介在之前的教程中，我们创建了一个工作队列，工作队列使用情况的假设是：每个人物都交付给一个Worker，也就是消费者。在这部分中，我们将做一些完全不同的事情——我们将向多个消费者传递消息。这样的模式被称为“发布/订阅”模式，检查P/S模式。 为了说明这个模式，我们将会构建一个简单的日志记录系统。它将由两...

在前面的教程里，我们构建了一个简单的日志记录系统。我们已经能够向许多消费者传送日志消息啦。 在本期，我们将会做一些修改，为它添加一个特性——让它可以只订阅消息的一部分。比如，我们能够只把致命的错误消息指向日志文件(节省磁盘的空间)，同时，我们还可以在控制台打印出所有的日志消息。 绑定 在前面几期的例子中，我们已经用了绑定。回忆一下这段代码：channel.queueBind(queu...

在前面的教程里，我们改进了日志系统。我们用direct交换类型代替了fanout交换类型，并实现了可以有选择性的接收日志。虽然使用direct类型成功的改进了我们的系统，但是它仍然有一定的局限性——它不能够基于多个标准进行路由。在我们的日志系统中，我们可能希望自己不仅仅基于严重性去订阅日志，我们还应该关注发出日志的源。可能在syslog unix工具上可以了解到这个概念，这个工具根据“严重...

之前写过按照官方文档学习使用RabbitMQ，了解了大概之后，我们可以开始尝试在项目里使用它。1.前提准备RabbitMQ，可以搭建在linux环境和windows环境。安装比较简单，这边先不赘述了。以后补上。我们要引入jar包，给出maven <dependency> <groupId>org.springframework.amqp</grou...