开源系统大集合
文章平均质量分 67
iie_libi
这个作者很懒,什么都没留下…
展开
-
hadoop hive mahout
大数据环境hadoop hive mahout调研文档 2016、8、17 李碧大数据环境hadoop hive mahout调研文档 1调研环境 1HIVE原创 2017-02-23 21:52:20 · 523 阅读 · 0 评论 -
Redis数据“丢失”问题
from: https://zhuoroger.github.io/2016/08/14/redis-data-loss/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io?ref=myreadRedis数据“丢失”问题Redis大部分应用场景是纯缓存服务,请求后端有Primary Storage的组件,如MyS转载 2017-12-09 21:52:04 · 633 阅读 · 0 评论 -
Consul和ZooKeeper的区别
Consul和ZooKeeper的区别【编者的话】Consul是一个在国外流行的服务发现和配置共享的服务软件。本文翻译自Consul的官方文档,文中重点讲述:在与主流同类软件ZooKeeper、Doozerd以及Etcd比较时,Consul的优势所在。ZooKeeper、Doozerd、Etcd在架构上都非常相似,它们都有服务节点(server node),而这些服务节点的转载 2017-12-08 20:16:03 · 4061 阅读 · 0 评论 -
测算Redis处理实际生产请求的QPS/TPS
测算Redis处理实际生产请求的QPS/TPSBenchmark工具redis发布版本中自带了redis-benchmark性能测试工具;示例: 使用50个并发连接,发出100000个请求,每个请求的数据为2kb, 测试host为127.0.0.1 端口为6379的redis服务器性能:./redis-benchmark -h 127.0.0.1 -p 6379 -转载 2017-12-08 11:40:44 · 5327 阅读 · 0 评论 -
PB级大规模文件分发系统“蜻蜓”
https://mp.weixin.qq.com/s/J0O4jD0d4jCjU56wpEJu1w转载 2017-11-14 16:05:56 · 927 阅读 · 0 评论 -
FastDFS常见问题
1. FastDFS适用的场景以及不适用的场景?FastDFS是为互联网应用量身定做的一套分布式文件存储系统,非常适合用来存储用户图片、视频、文档等文件。对于互联网应用,和其他分布式文件系统相比,优势非常明显。具体情况大家可以看相关的介绍文档,包括FastDFS介绍PPT等等。出于简洁考虑,FastDFS没有对文件做分块存储,因此不太适合分布式计算场景。 2转载 2017-11-18 16:54:59 · 1446 阅读 · 0 评论 -
FastDFS
分布式文件存储FastDFS(一)初识FastDFSFastDFS是一款开源的、分布式文件系统(Distributed File System),由淘宝开发平台部资深架构师余庆开发。作为一个分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题,特别适合中小文件(建议范围:4KB 二转载 2017-11-01 18:28:28 · 273 阅读 · 0 评论 -
LevelDB:一个快速轻量级的key-value存储库(译)
作者:Jeff Dean, Sanjay Ghemawat原文:http://leveldb.googlecode.com/svn/trunk/doc/index.html译者:phylips@bmy 2011-8-16译文:http://duanple.blog.163.com/blog/static/70971767201171705113636/LevelDB库提供了一种永久转载 2017-06-08 15:04:29 · 548 阅读 · 0 评论 -
云HBase助力物联网建设
云HBase助力物联网建设 qis摘要: 物联网最大的特点写入量大,要求延迟低,且数据存量巨大。云HBase非常满足物联网存储需求,存储数P甚至百P的空间存储需求,延迟稳定在数毫秒之内,跟Hadoop分析体系有较为深入的结合,满足分析类的需求。引言从有线互联网到无线互联网,本质是加强了人与人之间随时随地的关联。下一个互联的时代是万物互联,也就是物联网。有人说,这个是第三次信转载 2017-03-16 15:50:16 · 496 阅读 · 0 评论 -
flume 1.7.0用户手册
原文链接:http://www.jianshu.com/p/50f384b86bdf介绍概述Apache Flume是为有效收集聚合和移动大量来自不同源到中心数据存储而设计的可分布,可靠的,可用的系统。Apache Flume的用途不仅限于日志数据聚合。由于数据源是可定制的,Flume可用于传输大量事物数据包括但不限于网络流量数据,社交媒体产生的数据,Email消息和很多其它类型的翻译 2017-04-07 11:26:56 · 458 阅读 · 0 评论 -
大数据面试题
如何实现 hadoop 的安全机制。1.1 共享 hadoop 集群:a: 管理人员把开发人员分成了若干个队列,每个队列有一定的资源,每个用户及用户组只能使用某个队列中指定资源。b: HDFS 上有各种数据,公用的,私有的,加密的。不用的用户可以访问不同的数据。1.2 HDFS 安全机制client 获取 namenode 的初始访问认证( 使用 kerberos )后,会转载 2017-02-24 20:01:36 · 426 阅读 · 0 评论 -
flume+kafka+storm+hdfs
实时架构:flume+kafka+storm+hdfs 个人观点:大数据我们都知道hadoop,但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理,hadoop还是比较适合的,但是对于实时性比较强的,数据量比较大的,我们可以采用Storm,那么Storm和什么技术搭配,才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读本文章:1.一个好的项目架构应转载 2017-03-03 19:21:39 · 207 阅读 · 0 评论 -
云计算 云服务 与 HADOOP
云:是一种虚拟化的技术,重在资源管理。云服务是云计算的一种商业模式,有三个层次:Iaas:场外服务器,存储和网络硬件;节省了维护成本和办公场地,公司可以在任何时候利用这些硬件来运行其应用Paas:中间件,虚拟服务器和操作系统;Saas:任何一个远程服务器上的应用都可以通过网络来运行,就是SaaS了。 企业云?google (产品):资源管理系统kubernetes+AI服务 能否原创 2017-01-05 12:58:20 · 336 阅读 · 0 评论 -
关于架构的思考
参考:大型网站设计初期,一个合适的架构设计,后期可以省去不少财力和物力,即使对于一个成型的系统来说,代码层次的优化只能是20%,有其瓶颈,但是架构的优化确是80%,因此怎么设计一个高效,高可用,可扩展的架构尤其重要。优化进阶动静分离以及与db物理分离web服务器 数据库服务器缓存优化 浏览器缓存 尽量使用get 节省成本,压缩页面(图片,文件等),节省带宽使原创 2017-01-06 16:04:09 · 388 阅读 · 0 评论 -
阿里云数据库全新功能Redis读写分离,全维度技术解析
背景目前的阿里云redis不管主从版还是集群规格,slave作为备库不对外提供服务,只有在发生HA,slave提升为master后才承担读写。这种架构读写请求都在master上完成,一致性较高,但性能受到master数量的限制。经常有用户数据较少,但因为流量或者并发太高而不得不升级到更大的集群规格。为满足读多写少的业务场景,最大化节约用户成本,阿里云redi转载 2017-12-12 15:51:59 · 1671 阅读 · 0 评论