- 博客(1)
- 资源 (5)
- 问答 (1)
- 收藏
- 关注
转载 京东评价系统海量数据存储设计
作者:韦仕,京东商城交易平台评价社区负责人,2010年加入京东,先后参与了用户、商品、评论等系统的架构升级工作。 京东的商品评论目前已达到数十亿条,每天提供的服务调用也有数十亿次,而这些数据每年还在成倍增长,而数据存储是其中最重要的部分之一,接下来就介绍下京东评论系统的数据存储是如何设计的。 整体数据存储包括基础数据存储、文本存储、数据索引、数据缓存几个部分。 基础数据存储
2016-10-11 17:38:56 4336
趣谈网络协议
网络协议是每个程序员入门的必修课,但是彻底掌握并应用网络协议知识却并非易事,比如常见的 TCP/IP、HTTP。网络协议的内容很基础,但基础知识不等于简单知识,更不等于不重要的知识。在网络协议的学习过程中,如果你也有过这样的感受: 协议知识琐碎又枯燥,一看书就头大; 协议内容很基础,但面试一问就“崩盘”; 工作遇到才去查书,现学却没法现卖; 协议知识太底层,不知道如何在热门领域应用。 那么,“趣谈网络协议”专栏就是为你量身定制的
2018-12-03
CSDN在线培训——Hadoop 2.0新特性剖析及应用
课程介绍:Hadoop 2.0新特性剖析及应用
课程大纲:
1. HDFS 2.0新特性剖析及应用
(1)NameNode HA
(2)NameNode Federation
(3)HDFS 快照(snapshot)
(4)HDFS 缓存(in-memory cache)
(5)HDFS ACL
(6)异构层级存储结构(Heterogeneous Storage hierarchy)
2. YARN新特性剖析及应用
(1)ResourceManager HA
(2)对多框架的支持
(3)对多类型资源的调度策略
(4)history log server与timeline server
(5)对long-lived service的支持
3. MapReduce新特性剖析及应用
(1)MapReduce as a client library好处
2014-12-01
nutch 直接通过 api接口 爬取 可行吗?
2016-04-21
TA创建的收藏夹 TA关注的收藏夹
TA关注的人