![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
Agent_Tao
只关注算法和架构
展开
-
hadoop(2.7.3) 源码分析--RPC部分
hadoop(2.7.3) 源码分析,RPC原创 2017-02-02 16:58:02 · 1209 阅读 · 0 评论 -
Rocket MQ consumer 源码分析(绝对干货)
在使用rocket mq 的时候,接触最多的还是consumer端。在实际使用的时候,踩过不少坑,如订阅关系不一致、广播消息重复消费等,因此,是时候对rocket mq的源码进行一下分析了。消息订阅当consumer订阅topic时,例如 consumer.subscribe(“TopicTest”, “*”); 实际上,源码里只是将订阅消息放到rebalanceImpl对象的subscript原创 2017-05-04 12:17:07 · 4147 阅读 · 0 评论 -
ISO8601时间转换
最近处理logstash的日志,其中的时间是ISO8601格式的,需要对其转换。 查了下资料,下面给出java和python的实现。java实现引入joda-time,jdk的时间处理实现很麻烦。 <dependency> <groupId>joda-time</groupId> <artifactId>joda-time</artif原创 2017-06-26 11:24:31 · 13499 阅读 · 0 评论 -
Spark Pipe调用外部程序
spark 中,有种特殊的Rdd,即pipedRdd,提供了调用外部程序如基于CUDA的C++程序,使其能够更快的进行计算。caffe on spark 和tensorflow on spark 也是基于此机制,那么,spark 和 外部程序是怎么交互的呢? 下面通过一个简单的例子验证。步骤1:创建外部脚本#!/bin/sh echo "Running shell script" while rea原创 2017-07-07 16:00:13 · 3738 阅读 · 1 评论 -
JStorm部署备忘
1、部署zookeeper 下载zookeeper 编辑zoo.cfg, 启动zookeeper 如果集群部署,需要在zookeeper 目录新建myid文件,zookeeper的zab leader选举算法使用。 2、部署Jstorm 下载jstorm,并解压 编辑/etc/hosts,配置机器名与IP的映射。10.19.182.153 10-19-182-153127.0.0.1 loca原创 2017-07-10 11:26:24 · 720 阅读 · 0 评论