大数据、分布式
文章平均质量分 93
安然_随心
这个作者很懒,什么都没留下…
展开
-
大数据相关开源项目汇总
调度与管理服务Azkaban 是一款基于Java编写的任务调度系统任务调度,来自LinkedIn公司,用于管理他们的Hadoop批处理工作流。Azkaban根据工作的依赖性进行排序,提供友好的Web用户界面来维护和跟踪用户的工作流程。YARN 是一种新的Hadoop资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,解决了旧MapReduce框架的性能瓶颈。它的基本...转载 2018-09-01 16:29:45 · 12950 阅读 · 0 评论 -
Consul
参考文献:https://www.hi-linux.com/posts/6132.htmlhttps://www.tuicool.com/articles/M3QFvenhttp://dockone.io/article/3001.Consul简介Consul是HashiCorp公司推出的开源工具,用于实现分布式系统的服务发现与配置。Consul是分布式的、高可用的、 可横向扩展的。它具...原创 2019-02-02 19:01:12 · 1940 阅读 · 0 评论 -
docker
文章目录转载 2019-02-02 17:49:28 · 261 阅读 · 0 评论 -
HBase
文章目录1.简介1.1数据模型1.2 术语1.3概念视图1.4物理视图2.HBase Shell基本操作2.1 HBase shell2.1.1 命令举例3.HBase特点与使用场景3.1 HBase特点3.2 使用场景4. HBase基本组件分析4.1 HBase HMaster4.2 ZooKeeper: The Coordinator4.3 ReginServer4.4 Client5.存储...原创 2018-12-06 17:02:58 · 806 阅读 · 0 评论 -
Java JMX 四:MBeanServerInvocationHandler
参考文献:https://docs.oracle.com/javase/8/docs/api/javax/management/MBeanServerInvocationHandler.html相关文章:Java JMX 一:初步认识:https://blog.csdn.net/youyou1543724847/article/details/82933076Java JMX 二:MBea...原创 2018-11-25 21:25:20 · 735 阅读 · 0 评论 -
Java JMX 二:MBean and MBean Server
参考文献:https://docs.oracle.com/cd/E19698-01/816-7609/index.html文章目录1.MBean2.ObjectName3.MBeanServer3.1 MBeanServer接口1.MBeanMBean分为如下四种类型描述standard MBean这种类型的MBean最简单,它能管理的资源(包括属性,方法,时间)必须...原创 2018-11-21 22:05:17 · 5082 阅读 · 0 评论 -
Java JMX 三:Connector
参考文献:JMXServiceURL : https://docs.oracle.com/javase/7/docs/api/javax/management/remote/JMXServiceURL.htmlJMXConnector :https://docs.oracle.com/javase/7/docs/api/javax/management/remote/JMXConnector....原创 2018-11-20 20:12:49 · 2964 阅读 · 0 评论 -
NTP
文章目录1.安装配置2.ntp slave节点时间同步1.安装配置在ntp 主节点中安装:apt-get install ntp安装完成后,编辑/etc/ntp.conf文件进行配置,主要配置ntp服务器的时间从那得来。可将本机时间配置成标准时间,其他机器时间根据此时间进行同步,则配置如下:server 127.127.1.0127.127.1.0 stratum 8pool ...原创 2018-11-12 14:19:01 · 222 阅读 · 0 评论 -
Java 正确的做字符串编码转换
原文地址:https://blog.csdn.net/h12kjgj/article/details/73496528文章目录1.字符串的内部表示2. 乱码如何产生?3.如何正确的将GBK转UTF-8 ? (实际上是unicode转UTF-8)4.UTF-8 转GBK5. getBytes函数的作用1.字符串的内部表示字符串在java中统一用unicode表示( 即utf-16 LE) ,...转载 2018-11-11 10:05:37 · 45018 阅读 · 4 评论 -
Thrift入门初探--thrift安装及java入门实例
原文地址:https://www.cnblogs.com/fingerboy/p/6424248.html文章目录1. 什么是thrift?2. 什么是RPC框架?3. thrift的跨语言特型4. thrift的协议栈结构5.进入thrift大门的第一个java小实例1. 什么是thrift?简单来说,是Facebook公布的一款开源跨语言的RPC框架.那么问题来了.2. 什么是RPC...转载 2018-11-11 09:43:39 · 244 阅读 · 0 评论 -
Hive
文章目录1.Hive是什么1.1 Hive与传统数据库的区别1.2 关于Hive的索引与事务2.Hive架构3.Hive 上SQL执行的大致过程4.Hive 服务组件及用途4.1 服务端组件4.2 客户端组件:5.Hive配置6.数据存储、数据文件6.1 关于分区与分桶6.1.1 Hive 分区表6.1.2 Hive 桶6.2 Hive元数据存储6.3 Hive数据文件存储:存储文件格式7.Hiv...原创 2018-10-29 19:39:28 · 3275 阅读 · 0 评论 -
HDFS
原文地址:https://www.cnblogs.com/wxplmm/p/7239342.htmlhttp://www.cnblogs.com/mindwind/p/4833098.html文章目录1. 概览2.HDFS基本结构2.1 NameNode2.1.1 简介2.1.1 NameNode启动过程(待完善)2.2 DataNode2.2.1 简介2.2.2 DataNode启动过程(待...转载 2018-10-06 17:45:55 · 1871 阅读 · 0 评论 -
Zookeeper
原文地址:https://blog.csdn.net/mayp1/article/details/52026797https://blog.csdn.net/taurus_7c/article/details/81143830https://blog.csdn.net/gaoshan12345678910/article/details/67638657https://www.cnblog...转载 2018-10-05 15:33:28 · 3393 阅读 · 0 评论 -
并行编程入门
目录 1. 并行编程简介 2. MapReduce 2.1 MapReduce简介 2.2 MapReduce框架 2.3 Hadoop介绍 2.4 Hadoop基本类 2.5 Hadoop编程实例1.并行编程简介1.1.并行编程作用,用途商业用途,科学计算,大数据分析1.2.并行编程兴起原因目前的串行编程的局限性 使用的流水线等隐式并行模式的局限性 硬件的发展1.3.并行算法设计原创 2016-10-14 20:10:38 · 6811 阅读 · 3 评论 -
一致性Hash
一致性Hash目录 什么是一致性Hash 怎么实现 总结什么是一致性Hash主要应用于分布式环境,当出现单点故障、新的机器加入时,原来的好的映射不会改变。 举个例子: 加入目前有11台机器用于向用户提供服务,为了提高服务速度或是服务的需要,服务器上一般都会缓存用户的信息、请求-响应数据,提高服务速度。单hash算法是使用某个标志如ip或是用户ID将用户请求映射到某台服务器上。如ID转载 2016-08-12 18:04:12 · 536 阅读 · 0 评论 -
Hadoop: Writing YARN Applications
原文地址:https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.html文章目录1.Concepts and Flow1.1 本节要点2. Interfaces3.Writing a simple Yarn Applicaiton3.1 Writing a simpl...翻译 2018-10-11 17:20:54 · 445 阅读 · 0 评论 -
[转载]《Paxos Made Simple》翻译
原文地址:https://www.cnblogs.com/YaoDD/p/6150498.html1 Introduction可能是因为之前的描述对大多数读者来说太过Greek了,Paxos作为一种实现容错的分布式系统的算法被认为是难以理解的。但事实上,它可能是最简单,最显而易见的分布式算法了。它的本质其实就是共识算法——the “synod” algorithm of。在下一节中我们...转载 2018-09-02 16:43:57 · 274 阅读 · 0 评论 -
Redis Queue(rq)
参考文献:http://python-rq.org/Redis Queue 是一个轻量级的python 库,用于将任务放入到队列将,并在后台异步执行。Redis Queue依赖Redis ,且Redis 的版本要求>=3.0.01.基本概念与基础对象1.1 workerrq worker 就是python 进程,主要任务是从执行长时间、或是阻塞任务。1.1.1 启动worker...翻译 2019-02-06 21:54:14 · 6285 阅读 · 0 评论