2018-02-04-分布式计算-资源收集

---

layout: post
title: 2018-02-04-分布式计算-资源收集
key: 20180204
tags: 分布式计算 置顶
modify_date: 2018-02-04
---

分布式计算-资源收集

说明：

• 本文发布于: gitee,github,博客园
• 转载和引用请指明原作者和连接及出处.

正文：

• 本贴收集了作者认为有用的资料，方便各方参考，免去找寻之苦，提升信息交叉引用价值。
• 部分内容根据作者主观感受做了评注，仅供参考，不作为评价倾向。
• 作者自己撰写的均有“(原创)”标识，其余均为转载。如涉及版权等问题，请积极联系作者协商处理。

CONTENTS OF CHAPTERS

• 1. Blog
• 2. CoreProject
  • 2.1 Spark
  • 2.2 Hadoop
  • 2.3 Yarn
  • 2.4 Kafka
  • 2.5 Flink
  • 2.6 Akka
• 3. OtherResource
  • 3.1 libs
    • 3.1.1 Network
    • 3.1.2 Android
  • 3.2 links

1. Blog

• 董的博客,(http://dongxicheng.org/)
• bigdata-余建新,(http://my.csdn.net/wl101yjx)
• 徽沪一郎(许鹏),(http://www.cnblogs.com/hseagle/)
• 石山园,(http://www.cnblogs.com/shishanyuan)
• 过往记忆,(http://www.iteblog.com/)

2. CoreProject

2.1 Spark

SPARK：从Hadoop生态诞生，前身是MapReduce，但彻底重构并架构了新的以RDD为核心的处理模型，是未来大数据分布式处理的不二之选。

• SparkAPI,(http://spark.apache.org/docs/latest/api/scala/index.html)
• ScalaAPI,(http://www.scala-lang.org/api/2.11.8/)
• Spark入门实战系列-10章-18篇-含数据,(http://www.cnblogs.com/taichu/articles/5215751.html)
• spark1到7,(http://litaotao.github.io/introduction-to-spark)
• Spark性能优化指南.基础篇20160429[精],(http://tech.meituan.com/spark-tuning-basic.html)
• 运用Spark进行交通数据案例分析:大型活动大规模人群的检测与疏散(含实际数据和具体分析及呈现,具一定参考价值)
  • (http://mp.weixin.qq.com/s?__biz=MzA3MDg0MjgxNQ==&mid=2652389847&idx=1&sn=d3b69b40b002b14a55cca38eed3d7329&scene=23&srcid=0824BAjSquMZng80rM0DBahM#rd)

2.2 Hadoop

• HADOOP安装指南-Ubuntu15.10和hadoop2.7.2(原创),(http://www.cnblogs.com/taichu/p/5264185.html)

2.3 Yarn

• Yarn公平调度简介(Fair Scheduler),(http://blog.csdn.net/redtommy/article/details/49177435)

2.4 Kafka

KAFKA: 消息分发存储系统，轻量级，模型简单，高效，消息持久化到硬盘，存取速度和磁盘顺序读成线性相关，分布式。多和spark，storm等系统合用。不仅仅是传递一次性的消息队列这么简单，也并非是ActiveMQ，RabiitMQ这样严格的典型消息处理系统，而是一个带着海量存储的，以消息队列形式存在的分布式信息分发系统。

• Kafka,(http://kafka.apache.org/downloads.html)
• Kafka深度解析
• Kafka设计解析:
  • Kafka设计解析（一）- Kafka背景及架构介绍,(http://www.jasongj.com/2015/03/10/KafkaColumn1/)
  • Kafka设计解析（二）- Kafka High Availability （上）,(http://www.jasongj.com/2015/04/24/KafkaColumn2/)
  • Kafka设计解析（三）- Kafka High Availability （下）,(http://www.jasongj.com/2015/06/08/KafkaColumn3/)
  • Kafka设计解析（四）- Kafka Consumer设计解析,(http://www.jasongj.com/2015/08/09/KafkaColumn4/)
  • Kafka设计解析（五）- Kafka性能测试方法及Benchmark报告,(http://www.jasongj.com/2015/12/31/KafkaColumn5_kafka_benchmark/)
• Kafka专栏含例子(2014较旧),(http://blog.csdn.net/suifeng3051/article/category/2386223)
• Kafka源码解析(2016年|21篇),(http://blog.csdn.net/wl044090432/article/category/6123025)

2.5 Flink

Flink：从数据库角度发展而来的分布式计算框架，相对偏DB但是最新情况是开始学习Spark，且在计算抽象层次上比Spark的RDD物理抽象级别更偏向算法抽象级别，而且某些benchmark显示，同类型的计算比Spark略快些，尤其是实时流数据流计算达到ms毫秒级（接近storm），超过亚秒级的Spark Streaming。

• Flink,(http://flink.apache.org/)
• Spark和Flink比较(偏Flink),(http://www.csdn.net/article/2015-07-16/2825232)
• Spark和Flink对比(Spark开发者问答),(http://www.zhihu.com/question/30151872)
• Flink成为顶级Apache项目,(http://www.infoq.com/cn/news/2015/01/big-data-apache-flink-project)

2.6 Akka

AKKA: 是已经普遍成熟并用于电信业等行业的并发计算框架，极其高效，架构优雅，几乎无法改进，符合自然层级处理模型。

• Akka入门,(http://www.gtan.com/akka_doc/intro/getting-started-first-java.html)

3. OtherResource

3.1 libs

3.1.1 Network

• Netty: 是mina库的作者最新撰写的更简便好用的网络异步IO(NIO)JAVA库。
  • 1.《Netty 4.x 用户指南》,(https://github.com/waylau/netty-4-user-guide/blob/master/SUMMARY.md)
  • 2.《Netty 实战(精髓)》,(https://github.com/waylau/essential-netty-in-action/blob/master/SUMMARY.md)
  • 3.netty5.0第三方介绍网站,(http://www.itstack.org/)
  • 4.Way Lau(netty好博客),(https://github.com/waylau)

  • 5.Netty官网,(http://netty.io/)

    3.1.2 Android

• 1.JavaApk,(http://www.javaapk.com/)

3.2 links

• 网站
  • InfoQ,(http://www.infoq.com/cn/)
• 电子书
  • 《免费的编程中文书籍索引》,(https://github.com/waylau/free-programming-books-zh_CN)
  • 《程序员的开源免费图书集合》,(https://github.com/waylau/books-collection)
  • 《rest-in-action》,(https://github.com/waylau/rest-in-action/blob/master/SUMMARY.md)
  • 《Java 编程要点》,(https://waylau.gitbooks.io/essential-java/content/)
• 工具
  • MD(Markdown)
    • 七款MD优秀工具,(http://sspai.com/27792)
    • 好用的MD编辑器一览,(http://www.williamlong.info/archives/4319.html)

转载于:https://www.cnblogs.com/taichu/p/8412642.html