2019年03月_6点A君

12月 11月 10月 09月 08月 05月 04月 03月 02月

原创大数据学习(四)-用MapReduce实现表关联

前面使用MapReduce，可以进行单词计数，单词去重，数字排序等，那么结合到数据库应用，如何实现表关联呢？MapReduce更像算法题，怎么通过Map和Reduce这两个步骤来实现关联，得到所需数据呢？例如有一张表，里面两个字段，child和parent，现在让你找出里面的grandChild和grandParent来。...

2019-03-23 00:08:29 1119

原创大数据学习(三)--利用MapReduce对多文件数据进行排序

先来一个小插曲MapReduce Job中的全局数据在MapReduce中如何保存全局数据呢？可以考虑以下几种方式读写HDFS文件，即将变量存在一个地方配置Job属性，即将变量写道配置（Configuration）中使用DistributedCache，但是DistributedCache是只读的排序首先联想MapReduce过程，先Map，给输入，并给输出。Reduce则是将结...

2019-03-22 17:55:39 4421 3

原创大数据学习(二)-手把手运行Hadoop的WordCount程序

前一篇文章介绍了Hadoop的安装以及简单配置，博主以伪分布式的方式安装，即单机安装极有master也有cluster。本篇文章将展示如何运行经典的WordCount程序。源代码首先例子源代码如下：package com.anla.chapter1;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop...

2019-03-22 12:03:59 1010

原创大数据学习(一)-Hadoop安装及配置

在前一章已经学习了Hadoop的基本结构，本章内容包括Hadoop的安装以及Hello World。安装博主电脑环境是Ubuntu 16.04 LTS下载首先，从Hadoop官网下载https://hadoop.apache.org/releases.html然后使用tar -vxzf xxx.tar.gz 到目标软件目录配置及使用Hadoop根据不同使用情况提供了三种运行模式单...

2019-03-22 11:46:30 479

原创 Hadoop项目简介

首先看一张图：Common，是为Hadoop其他子项目提供的常用工具，主要包括FileSystem、RPC和串行化库。为廉价硬件上搭建云环境提供基本服务，并且会为该平台的软件开发提供所需APIAvro：Avro是用于数据序列化和系统，提供了丰富的数据结构类型，快速可压缩二进制数据格式。MapReduce：是一种编程模型，用于大规模数据集（大于1TB）的并行运算。映射(Map)、化简(Re...

2019-03-21 13:48:32 677

原创读书笔记-队列和Nginx

在系统中，不是所有的处理都必须实时处理，不是所有请求都必须实时反馈给用户。对于这样的业务，保证最终一致性，不需要强一致性。此时，更应该考虑使用队列来解决问题。当然，也需要考虑是否需要保证消息处理的有序性及如何保证，是否保证能重复消费及如何保证重复消费的幂等性。应用场景异步处理，比如用户注册成功后的优惠券，积分，异步更新缓存，异步写日志系统解藕：拆分系统后的进一步处理数据同步：比如将My...

2019-03-17 22:19:56 357

原创读书笔记-扩容

扩容对于一个系统，随着产品使用的用户越来越多，网站的流量会增加，最终单台服务器无法处理那么大的流量，此时需要用分而治之的思想来解决问题。扩容的方式：单体应用垂直扩容：直接通过增加单机硬件，如果CPU由32核升级到64核，硬盘扩展等。单体应用水平扩容：通过部署更多的镜像来实现。即负载均衡。应用拆分：讲一个大系统拆分成多个子系统，如网站系统和交易系统，而进行解耦。也可理解为SOA化，以RM...

2019-03-13 22:19:45 204

原创读书笔记-缓存、数据库连接池

缓存，就是让数据更接近于使用者，目的是让访问速度更快。应用级缓存即在程序员层级进行缓存利用。缓存回收策略缓存主要有以下回收策略：基于空间。基于容量基于空间基于Java引用对象：软引用：当JVM堆内存不足时，垃圾回收器对其进行回收。弱引用：当垃圾回收器回收内存时，发现弱引用，则立即回收。回收算法：FIFO（First In First Out）：先进先出算法LRU（Leas...

2019-03-11 23:35:04 758

原创读书笔记-超时重试、回滚与压测

超时与重试在开发中，很多故障都是没有设置超时时间导致的，可能会导致请求慢，连锁反映，甚至是雪崩。超时与重试可分为以下几个方面：代理层超时与重试：入Haproxy，Nginx，Twemproxy，这些组件可实现代理功能，入Haproxy和Nginx可以实现请求的负载均衡，而Twemproxy可以实现Redis的分片代理。需要设置代理与后端真实服务器之间的网络连接/读/写。Web容器超时：入...

2019-03-10 17:12:27 487

原创读书笔记-限流与降级

限流限流目的是通过对并发访问/请求进行限速或者一个事件窗口内的请求进行限速，来保护系统。一般高并发系统常见限流有：限制总并发数（如数据库连接池、线程池）瞬时并发数（如Nginx的limit_conn模块）限制时间窗口内平均速率（如Guava的RateLimiter、Nginx的limit_req模块，用来限制每秒的平均速率）限制远程接口调用速率限制MQ消费限流算法主要有令牌桶...

2019-03-09 21:47:42 769

原创读书笔记-隔离

隔离是指将系统或资源分开，系统隔离是为了在系统发生故障时，能够限定传播范围和影响范围，即发生故障后不回出现滚雪球效应，从而保证只有出问题的服务不可用，其他服务可用。线程隔离主要指线程池隔离，实际使用时，将请求分类，交给不同线程池处理进程隔离讲系统拆分成多个子系统来实现物理隔离，使得某一个子系统出现问题时，不会影响到其他子系统集群隔离单实例服务无法满足需求，此时需要服务化技术，通过部署多...

2019-03-07 22:07:55 324

原创读书笔记-负载均衡与反向代理

当访问一个域名例如www.baidu.com时候，浏览器首先查询DNS服务器获取对应IP，然后通过IP访问对应服务。一个很简单问题，当某台服务器重启或者故障，DNS有一定缓存事件，故障后切换时间长。外网DNS应该用GSLB（全局负载均衡）进行流量调度，将请求分配到最近服务器以提升体验。而当某一区域机房出现问题，可以通过DNS指向其他区域机房。对于内网DNS，使用一般轮询就可以了。对于一般应...

2019-03-06 22:09:39 268

原创读书笔记-系统设计原则

在设计系统时，需要多思考二八定律，在系统设计初期将有限的资源用到刀刃上，以最小可行产品方式迭代推进。高并发原则无状态应用是无状态，配置文件有状态，比如，不同机房需要不同数据源，那么需要通过配置文件或者配置中心指定。功能拆分，从大到小：系统维度，功能维度，读写维度，AOP维度（根据访问特征，按照AOP拆分，比如，商品详情页分为CDN、页面渲染系统等。CDN就是AOP系统）服务化负载均衡...

2019-03-05 21:49:15 649