![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据&分布式相关
李生龙
这个作者很懒,什么都没留下…
展开
-
一文教你看懂大数据的技术生态圈:Hadoop,hive,spark
大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆,各有各的用处,互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤,你可以用小刀或者刨子去皮。但是每个工具有自己的特性,虽然奇怪的组合也能工作,但是未必是最佳选择。大数据,首先你要能存的下大数据。传统的文件系统是单机的,不能横转载 2015-06-12 11:26:37 · 694 阅读 · 0 评论 -
100万并发连接服务器笔记之准备篇
http://www.blogjava.net/yongboy/archive/2013/04/09/397559.html前言测试一个非常简单服务器如何达到100万(1M=1024K连接)的并发连接,并且这些连接一旦连接上服务器,就不会断开,一直连着。 环境受限,没有服务器,刚开始都是在自己的DELL笔记本上测试,凭借16G内存,和优秀的vmware workstation虚转载 2016-04-11 14:31:06 · 581 阅读 · 0 评论 -
晒淘宝网技术内幕
http://blog.chinaunix.net/uid-28302540-id-3431394.html淘宝网是一个在线商品数量突破一亿,日均成交额超过两亿元人民币,注册用户接近八千万的大型电子商务网站,是亚洲最大的购物网站。那么对于淘宝网这样大规模的一个网站,我猜想大家一定会非常关心整个网站都采用了什么样的技术?前端设计和后台架构有哪些内幕?淘宝所依赖的数据库到底是什么?它用到了哪些存储转载 2015-09-24 18:02:15 · 859 阅读 · 0 评论 -
2.2 架构模式在新浪微博的应用
http://book.51cto.com/art/201310/412836.htm短短几年时间新浪微博的用户数就从零增长到数亿,明星用户的粉丝数达数千万,围绕着新浪微博正在发展一个集社交、媒体、游戏、电商等多位一体的生态系统。同大多数网站一样,新浪微博也是从一个小网站发展起来的。简单的LAMP(Linux+Apache+MySQL+PHP)架构,支撑起最初的新浪微博,应用程序用PHP开转载 2015-09-24 17:36:27 · 446 阅读 · 0 评论 -
技术博客网址
阿里云产品 http://blog.aliyun.com/?spm=0.0.0.0.kUFHFk原创 2015-09-23 18:01:04 · 378 阅读 · 0 评论 -
新浪微博技术架构分析
http://tech.sina.com.cn/i/2010-11-16/14434871585.shtml新浪科技讯 11月16日下午消息,由新浪微博主办的中国首届微博开发者大会在北京举行,这是国内微博行业的首场技术盛宴。作为国内微博市场的绝对领军者,新浪微博将在此次大会上公布一系列针对开发者的扶持政策,以期与第三方开发者联手推动微博行业的整体发展。 以下为演讲实录: 大家下转载 2015-09-23 18:14:53 · 461 阅读 · 0 评论 -
redis&zookeeper集群
http://blog.csdn.net/yangbutao/article/details/16896669disgear是笔者参考solrcloud架构基于redis实现的分布式的缓存,支持数据切分到多台机器上,支持HA,支持读写分离和主节点失效自动选举,目前把它开放到github上,开放给大家github:https://github.com/yangbutao/disgear总转载 2015-10-20 20:18:32 · 7143 阅读 · 0 评论 -
分布式服务框架 Zookeeper -- 管理分布式环境中的数据
http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/index.html#icommentsZookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。本文将从使用者角转载 2015-10-20 20:20:12 · 340 阅读 · 0 评论 -
分布式服务框架 Zookeeper — 管理分布式环境中的数据
http://www.superwu.cn/2014/11/26/1461/ 本节本来是要介绍ZooKeeper的实现原理,但是ZooKeeper的原理比较复杂,它涉及到了paxos算法、Zab协议、通信协议等相关知识,理解起来比较抽象所以还需要借助一些应用场景,来帮我们理解。由于内容比较多,一口气吃不成胖子,得慢慢来一步一个脚印,因此我对后期ZooKeeper的学习规转载 2015-10-16 16:21:54 · 1256 阅读 · 0 评论 -
分布式设计与开发(二)------几种必须了解的分布式算法
http://blog.csdn.net/cutesource/article/details/5813379分布式设计与开发中有些疑难问题必须借助一些算法才能解决,比如分布式环境一致性问题,感觉以下分布式算法是必须了解的(随着学习深入有待添加):Paxos算法 一致性Hash算法 Paxos算法 1)问题描述分布式中有这么一个疑难问题,客户端向一个分布式集群的服务端发转载 2015-09-25 10:04:10 · 635 阅读 · 0 评论 -
C/C++快速读写磁盘数据的方法-块读取/异步/优化分析算法/内存文件映射的原理和使用
快速读写磁盘数据的方法:1.块读取:一下子将数据读取到内存的(无论是文本还是二进制),而不是一行行的读取。2.异步的IO,创建多线程,或者使用重叠IO,IO复用,异步的事件回调通知机制(可以用事件对象,信号驱动来实现)。3.优化分析文件的算法和尽量延后分析,分析算法里面频繁的申请字符串内存和释放字符串内存,尽量用指针解析出来,分析文件的内容可以延期到使用的时候才分析。如果不注意转载 2015-07-07 15:27:23 · 1799 阅读 · 0 评论 -
dd 命令用来测试硬盘及网络带宽读写速度
dd 是 Linux/UNIX 下的一个非常有用的命令,作用是用指定大小的块拷贝一个文件,并在拷贝的同时进行指定的转换。1. 命令简介,dd 的主要选项: 指定数字的地方若以下列字符结尾乘以相应的数字: b=512, c=1, k=1024, w=2, xm=number m if=file 输入文件名,缺省为标准输入。 of=file 输出文件名,缺省为标转载 2015-07-07 14:55:14 · 4966 阅读 · 0 评论 -
高并发服务端分布式系统设计概要(上)
高并发服务端分布式系统设计概要(上)http://www.cnblogs.com/ccdev/p/3338412.html高并发服务端分布式系统设计概要(上) ======张峻崇 原创。转载请注明出处。====== 又是快一年没写博客了,2013年也只剩尾巴,也不知道今年都忙了些什么。写这篇文章的目的,主要是把今年以来学习的一些转载 2016-04-13 17:48:19 · 680 阅读 · 0 评论