jstorm源码阅读汇总(一)

jstorm源码阅读汇总(一) 将最近阅读jstorm的源码笔记汇总一下,主要包括jstorm的task,jstorm网络通讯,jstorm限流部分的代码 jstrorm task task是storm中任务的实质,也就是业务逻辑的载体,首先Task实现了Runnable接口,那我们大致可以...

2018-08-18 10:53:28

阅读数 318

评论数 1

源码阅读——hadoop yarn之AsyncDispatcher

最近看了读到了关于hadoop中yarn的编程模型的文章 http://dongxicheng.org/mapreduce-nextgen/programming-model/,想深入了解下它的事件机制是怎么实现的,就看了看其中的AsyncDispatcher类的源码,幸好该类涉及到的其它类不多,...

2018-05-20 18:48:58

阅读数 125

评论数 0

自定义简单协议

闲言:关于mesos的学习,因为某些原因(我的性能好的台式暂时不可用了)而搁置,搁置时间不定 最近在对接某个第三方的socket接口的时候,对与这种写socket服务完全不考虑粘包拆包的操作完全绝望了,所以写一下粗浅的关于如何自定义协议,以及编写可处理粘包拆包的编解码器。关于tcp粘包拆包的概念...

2018-05-20 15:48:17

阅读数 142

评论数 1

mesos入门(四)——docker应用的部署

简易的docker应用部署以及修改了部分启动脚本的bug bug修改 在启动了marathon后,我在mesos的webUI上发现marathon一直处于inactive状态,后来想了想,marathon是放在启动master的脚本中了,当它启动时,slave/agent还未启动,所以才会...

2018-04-08 11:52:31

阅读数 332

评论数 0

mesos入门(三)—— HA模式

搭建高可用的mesos时对原来的项目还是有很大规模的修改的,同时还修改了一些以前遗留的bug 简介 机器环境 [all] 192.168.50.4 192.168.50.5 192.168.50.6 192.168.50.7 [master] 192.168.50.4 192.16...

2018-03-30 14:57:58

阅读数 195

评论数 0

mesos入门(二)——简单环境搭建

上一篇文章我们了解了mesos解决的问题以及其大致的原理,这篇文章就开始实战搭建一个mesos实战环境 简介 具体地址+操作: https://github.com/ncuwaln/mesos-learn 环境搭建我们采用vagrant来最大程度的模拟真实环境,采用ansible来进行分...

2018-03-25 17:45:36

阅读数 970

评论数 0

Mesos入门(一)——白皮书阅读

学习mesos前先看看它的白皮书,对它有一个整体上的认知 mesos解决的问题 mesos的出现主要解决的问题是资源的粒度划分问题,当你在一个集群上跑多个不同的分布式计算框架时,你的资源分配的粒度基本都是以机器作为粒度的,而mesos上则是可以将一台机器分为更加细的粒度 原理 设计图:...

2018-03-23 22:17:00

阅读数 288

评论数 0

spring的webflux初探

spring的webflux初探 不久前, spring进行了较大的改动, 主要目的是为了增加对响应式编程的支持. spring 默认是采用了reactor项目作为响应式编程(reactive programming)的支持, 我也以此作为基础来谈. reactor项目地址: https:/...

2018-01-31 21:34:18

阅读数 21663

评论数 4

docker搭建kafka

分布式爬虫框架的部分功能已经开发的差不多了,现在要开始考虑接入kafka了.   kafka依赖于zookeeper, 所以同时需要安装zookeeper       dockerfile-kafka如下    FROM java:8u111-jdk MAINTAINER stcode...

2017-11-29 22:04:34

阅读数 549

评论数 0

akka分布式爬虫框架(一)——设计思路与demo

最近在学习akka,在读了一下解析actor model的文章以及熟悉了一下官方文档的例子的后 我觉得需要一个项目来帮我进一步熟悉akka与scala编程,进过一番思索,我觉得akka可以用来 实现一个分布式爬虫框架。    设计思路 1. 依赖的库,     http请求方面使用async-h...

2017-11-05 14:22:39

阅读数 939

评论数 0

面试中遇到的有趣的小问题

频繁地malloc与free内存会有什么问题 频繁的malloc与free会造成内存碎片化的问题,从而无法进行大容量内存的分配,当然,有的库对此进行了优化,比如glibc,free掉的内存不会立即返还给操作系统,而是先给空闲内存链表,然后当再次进行malloc时会先从空闲内存链表中寻找合适的内...

2017-10-10 22:42:53

阅读数 805

评论数 0

深入java虚拟机读书笔记——类加载与方法调用中的分派机制

类的生命周期 加载->验证->准备->解析->初始化->卸载->使用 验证+准备+解析统称为链接 解析过程不确定何时开始,其它的开始顺序固定 这只是开始顺序,不是执行完顺序 类的初始化前提 有且只有以下情况会进行类...

2017-10-05 12:27:43

阅读数 120

评论数 0

深入理解java虚拟机读书笔记——基础知识篇

运行时数据区 程序计数器:同CPU的程序计数器,存储字节码运行到哪了 栈:分为java虚拟机栈与本地方法栈,两个栈功能类似,java虚拟机栈用于java方法,本地方法栈用于native方法,即通过java调用其它语言的方法的栈 堆:用于存放对象的实例 方法区:存储加载了的...

2017-10-02 23:23:03

阅读数 95

评论数 0

deepin下安装docker-ce

系统版本:Deepin 4.9.8-4 (2017-04-17) x86_64 GNU/Linux   debian安装教程网址: https://store.docker.com/editions/community/docker-ce-server-debian    sudo apt-get...

2017-06-13 23:59:08

阅读数 2480

评论数 0

Java使用redis+sse实现带频道的网络聊天室

因为某些原因,需要将flask搭建的项目用spring boot重构一遍,其中有一个聊天室的功能,在flask下我采用了flask-sse这个第三方库来实现,该模块采用基于redis的消息订阅系统实现,当然类spring boot下自然没有这个方便的库了,但是spring boot对redis的消...

2017-06-10 11:26:12

阅读数 929

评论数 0

rust所有权理解(备忘)

最近闲的没事,就准备学习一下rust。rust是Mozilla开发的一门编程语言。 rust是为了多核系统而设计的一门编程语言,它因其特殊的机制有线程安全性,编译期查出内存错误的优点,可能语法有着那么点另类,但我想这不是问题。至于它和另外一门编程语言GO的优缺点,请自行了解,因为我也是小白,并不敢...

2017-04-27 17:56:01

阅读数 737

评论数 0

sqlalchemy 这原生sql中绑定list

这项目中有在一定范围内进行更新的要求,所以直接使用sqlalchemy执行sql语句进行更新,但是发现list无法绑定到参数上。Stack Overflow上查询到了解决方案,将list转成tuple才能进行绑定 示例代码 id_list=[1, 2, 3] sql = text("UP...

2017-03-29 21:47:16

阅读数 498

评论数 0

无法定位序数55于动态链接库zlib1.dll上

需要用libcurl,但是libcurl.dll依赖zlib1.dll,从网上下了多个版本的zlib1.dll都不可用,均显示"无法定位序数55于动态链接库zlib1.dll上"。从官网下源码包编译也失败了,最后在某篇博客下看到一老哥评论,把QQ的直接拿来用就可以了,试了下,真...

2017-01-19 14:52:41

阅读数 782

评论数 0

VS添加第三方C/C++库经验

近日准备学习ffmpeg,自然是准备研究下雷神的100行SDL播放器代码,在进行ffmpeg的VS配置移植时碰到了一些小麻烦,一一道来。由于引入ffmpeg情况比较特殊,除了正常步骤还有别的步骤,详情请参考  http://blog.sina.com.cn/s/blog_6bcde18101011...

2017-01-17 18:44:54

阅读数 5336

评论数 0

python cookbook读书笔记二

1.slice内置函数   slice函数用于创建一个切片对象,可以用于任何需要切片的地方,这样就可以避免了硬编码切片,因为切片不统一导致的问题 >>> sli = slice(2, 12, 2) >>> s = '..h.e.l.l.o....' >...

2017-01-16 15:37:52

阅读数 196

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭