trumanz-CSDN博客

原创如何使用自己的Docker Registry

启动Docker service修改docker配置上传docker image下载docker iamge启动Docker service启动docker registry 服务，数据存储于目录 /data/docker-images/ $ docker run -d -p 5000:5000 --restart=always --name registry -v /data/dock

2016-09-12 17:30:43 777

原创 Kubernetes 之部署 cassandra + solr（datastax）解析

Kubernetes 之部署 cassandra + solr（datastax）解析Kubernetes 之部署 cassandra solrdatastax解析环境需求kubertes cluster环境datastax imageImage解析image增加kubernetes支持伸缩性支持image 增加启动脚本Kuberntes yaml 解析Kubernetes 是一个

2015-12-25 18:36:41 2540

原创通过编写一个YARN Application 来了解Hadoop YARN

YARN是Hadoop中的一个cluster资源管理系统。 MapReduce 就是泡在YARN 之上的，其关系如下图， MapReduce 通过YARN 在cluster内申请内存和cpu资源，YARN执行MapReduce Task. 最近学习了YARN，从部署的角度YARN支持三种调度器:FIFO, Capacity 和 Fair。从开发应用程序的角度，实现一个YA

2015-06-24 22:18:42 5005

原创 docker + ambari（hortonworks ）快速搭建hadoop 环境

最近在搭建hadoop 环境的时候，最初尝试去写一些脚本去安装包以及修改配置，后来发现源软件https://ambari.apache.org/可以管理部署监控hadoop集群，于是尝试用docker安装试验。ambaris: 是 hortonworks 开发的一个自动部署+管理+监控 HDP（Hortonworks Data Platform， http://hortonworks.

2015-06-14 17:04:06 11718 2

原创 memcached 之哈希一致性和虚拟节点分析

memcached 是一个简单高效的分布式内存缓存系统。对于memcached service 来说，行为比较简单，存储key-value数据，并且memcached 相互之间并不通信，所以不能提供HA， load balance的功能。这里的分布式实际是由客户端连接到不同的memcached，来做数据set/get 操作，这种数据分发行为完全是有客户端来做的, 客户端使用了哈

2015-06-11 16:04:12 1609

原创 openstack neutron 分析之network node报文跟踪

这里总结一下之前分析neutron 网络行为的方法，主要用的的工具有：tcpdump，用来查看某个网卡上的数据iptables：查看iptable 的ruleovs-vsctl， ovs-ofctl，查看OVS的bridge 信息和 openflow 信息。首先我的环境物理拓扑如下，Network node 的eth1 与eth2 分别连接到Data

2015-06-08 22:24:38 1198

原创动态配置脚本实现之链接库方法提取

上一次总结了，动态配置脚本实现之 flex，yacc应用, 这个方法还是比较简单额的，linux针对动态链接库提供了相应的api，这里主要用到一下两个方法,void *dlopen(const char *filename, int flag);void *dlsym(void *handle, const char *symbol);dlopen 用于加载动态

2015-06-08 15:40:20 653

原创动态配置脚本实现之 flex，yacc应用

之前安装kamailio试验的时候，看到其配置方式类似一个脚本方式控制call的流程，如下面的例子，loadmodule "../sip_router/modules/usrloc/usrloc.so"modparam("usrloc", "db_mode", 0)... if(!lookup("location"))

2015-06-07 23:59:58 1276 1

原创 hadoop源码分析，map输出

Mapper 的输入官方文档如下The Mapper outputs are sorted and then partitioned per Reducer. The total number of partitions is the same as the number of reduce tasks for the job. Users can control w

2015-06-07 00:30:19 604

原创 Hadoop源码分析，map输入

对于MapReduce的输入输出Hadoop的官网如下所示Input and Output types of a MapReduce job:(input) -> map -> -> combine -> -> reduce -> (output)这里将从源码分析 input ->map 的过程，Mapper 基类定义Mapper基类如下我们要重写其ma

2015-06-06 23:32:14 1322

原创公开课Introduction to Data Science的关系数据库总结

最近在学习公开课 Introduction to Data Science第二部分讲到关系数据库与关系代数（Relational Databases，Relational Algebra）SQL与RA 的关系下图表达了基本的SQL语句与关系代数的关系。1. 选择selection, 负号σc(R) 表示查询表R中符

2015-06-06 23:24:44 664

trumanz的博客