anLA_的专栏

记录知识的地方~记录成长的地方~

读书计划

计划从2019年4月中旬开始: 亿级流量网站架构核心技术 时间:2019年3月到4月初 作者:张开涛 读完了张开涛所著的《亿级流量网站架构核心技术》,从里面学到了对架构构建,优化的一些思路,还有许多的业界成熟的解决大流量的方法。 大型网站系统与Java中间件实践 时间:2019年4月初到5月初 ...

2019-05-19 23:14:01

阅读数 2

评论数 0

解决svn清理失败,路径显示乱码问题

如果遇到这种问题,如下图: 解决方法可以更改svn的内置数据库记录,解决方法如下: 下载sqlite.exe 将解压后的SQLite.exe放到svn/.svn/下面 使用SQLite.exe连接wc.db,然后就可以执行sql了。 可以先执行 sqlite3 wc.db select *...

2019-05-08 14:02:41

阅读数 12

评论数 0

ZooKeeper学习(一)- ZooKeeper伪集群搭建

所谓伪集群,就是所有集群都在一个机器上,但还是以集群的特性对外gong服务。 下面以3个机器为例子简单记录下搭建过程。 下载ZooKeeper:http://www.apache.org/dist/zookeeper/ 使用tar命令解压文件加到文件夹 将zoo_example.cfg拷贝一份成...

2019-04-26 23:47:04

阅读数 18

评论数 0

大数据学习(四)-用MapReduce实现表关联

前面使用MapReduce,可以进行单词计数,单词去重,数字排序等,那么结合到数据库应用, 如何实现表关联呢? MapReduce更像算法题,怎么通过Map和Reduce这两个步骤来实现关联,得到所需数据呢? 例如有一张表,里面两个字段,child和parent,现在让你找出里面的grand...

2019-03-23 00:08:29

阅读数 69

评论数 0

大数据学习(三)--利用MapReduce对多文件数据进行排序

先来一个小插曲 MapReduce Job中的全局数据 在MapReduce中如何保存全局数据呢?可以考虑以下几种方式 读写HDFS文件,即将变量存在一个地方 配置Job属性,即将变量写道配置(Configuration)中 使用DistributedCache,但是Distribu...

2019-03-22 17:55:39

阅读数 54

评论数 0

大数据学习(二)-手把手运行Hadoop的WordCount程序

前一篇文章介绍了Hadoop的安装以及简单配置,博主以伪分布式的方式安装,即单机安装极有master也有cluster。 本篇文章将展示如何运行经典的WordCount程序。 源代码 首先例子源代码如下: package com.anla.chapter1; import org.a...

2019-03-22 12:03:59

阅读数 82

评论数 0

大数据学习(一)-Hadoop安装及配置

在前一章已经学习了Hadoop的基本结构,本章内容包括Hadoop的安装以及Hello World。 安装 博主电脑环境是Ubuntu 16.04 LTS 下载 首先,从Hadoop官网下载https://hadoop.apache.org/releases.html 然后使用tar -...

2019-03-22 11:46:30

阅读数 46

评论数 0

Hadoop项目简介

首先看一张图: Common,是为Hadoop其他子项目提供的常用工具,主要包括FileSystem、RPC和串行化库。为廉价硬件上搭建云环境提供基本服务,并且会为该平台的软件开发提供所需API Avro:Avro是用于数据序列化和系统,提供了丰富的数据结构类型,快速可压缩二进制数据格...

2019-03-21 13:48:32

阅读数 33

评论数 0

读书笔记-队列和Nginx

在系统中,不是所有的处理都必须实时处理,不是所有请求都必须实时反馈给用户。对于这样的业务,保证最终一致性,不需要强一致性。此时,更应该考虑使用队列来解决问题。 当然,也需要考虑是否需要保证消息处理的有序性及如何保证,是否保证能重复消费及如何保证重复消费的幂等性。 应用场景 异步处理,比如...

2019-03-17 22:19:56

阅读数 34

评论数 0

读书笔记-扩容

扩容 对于一个系统,随着产品使用的用户越来越多,网站的流量会增加,最终单台服务器无法处理那么大的流量,此时需要用分而治之的思想来解决问题。 扩容的方式: 单体应用垂直扩容:直接通过增加单机硬件,如果CPU由32核升级到64核,硬盘扩展等。 单体应用水平扩容:通过部署更多的镜像来实现。即...

2019-03-13 22:19:45

阅读数 29

评论数 0

读书笔记-缓存、数据库连接池

缓存,就是让数据更接近于使用者,目的是让访问速度更快。 应用级缓存 即在程序员层级进行缓存利用。 缓存回收策略 缓存主要有以下回收策略: 基于空间。 基于容量 基于空间 基于Java引用对象:软引用:当JVM堆内存不足时,垃圾回收器对其进行回收。弱引用:当垃圾回收器回收内存时,...

2019-03-11 23:35:04

阅读数 51

评论数 0

读书笔记-超时重试、回滚与压测

超时与重试 在开发中,很多故障都是没有设置超时时间导致的,可能会导致请求慢,连锁反映,甚至是雪崩。 超时与重试可分为以下几个方面: 代理层超时与重试:入Haproxy,Nginx,Twemproxy,这些组件可实现代理功能,入Haproxy和Nginx可以实现请求的负载均衡,而Twemp...

2019-03-10 17:12:27

阅读数 54

评论数 0

读书笔记-限流与降级

限流 限流目的是通过对并发访问/请求进行限速或者一个事件窗口内的请求进行限速,来保护系统。 一般高并发系统常见限流有: 限制总并发数(如数据库连接池、线程池) 瞬时并发数(如Nginx的limit_conn模块) 限制时间窗口内平均速率(如Guava的RateLimiter、Ngin...

2019-03-09 21:47:42

阅读数 63

评论数 0

读书笔记-隔离

隔离是指将系统或资源分开,系统隔离是为了在系统发生故障时,能够限定传播范围和影响范围,即发生故障后不回出现滚雪球效应,从而保证只有出问题的服务不可用,其他服务可用。 线程隔离 主要指线程池隔离,实际使用时,将请求分类,交给不同线程池处理 进程隔离 讲系统拆分成多个子系统来实现物理隔离,使得...

2019-03-07 22:07:55

阅读数 38

评论数 0

读书笔记-负载均衡与反向代理

当访问一个域名例如www.baidu.com时候,浏览器首先查询DNS服务器获取对应IP,然后通过IP访问对应服务。 一个很简单问题,当某台服务器重启或者故障,DNS有一定缓存事件,故障后切换时间长。 外网DNS应该用GSLB(全局负载均衡)进行流量调度,将请求分配到最近服务器以提升体验。而当...

2019-03-06 22:09:39

阅读数 45

评论数 0

读书笔记-系统设计原则

在设计系统时,需要多思考二八定律,在系统设计初期将有限的资源用到刀刃上,以最小可行产品方式迭代推进。 高并发原则 无状态应用是无状态,配置文件有状态,比如,不同机房需要不同数据源,那么需要通过配置文件或者配置中心指定。 功能拆分 ,从大到小:系统维度,功能维度,读写维度,AOP维度(根据...

2019-03-05 21:49:15

阅读数 47

评论数 0

Netty权威指南学习笔记

最近花了一段时间系统的学习了Netty框架,包括《Netty in Action》以及《Netty权威指南》,对于博主自己来说,我觉得《Netty权威指南》要更适合博主。 很厚的《Netty权威指南》权威指南,虽然上面一大部分是例子代码,当然有种跟着Netty官网学小demo的感觉。 好记性不如烂...

2019-02-28 23:30:42

阅读数 70

评论数 0

Linux的history命令

Linux中history命令,用于查看当前用户历史的命令,最近有所用到,感觉还是很有用的。 记事本,免费记录命令哈哈 基本意思 history: 用法: history [-c] [-d 偏移量] [n] 或 history -anrw [文件名] 或 history -ps 参数 [参数.....

2018-12-23 23:35:10

阅读数 86

评论数 0

Linux 中不同文件的 解压缩 压缩命令 总结

tar 本文列出tar常用命令意思,更多信息,自行tar --help 查看 c: 建立压缩档案 x:解压 t:查看内容 r:向压缩归档文件末尾追加文件 u:更新原压缩包中的文件 这五个是独立的命令,压缩解压都要用到其中一个,可以和别的命令连用但只能用其中一个。下面的参数是根据需要在压缩或解压...

2018-12-23 21:35:42

阅读数 88

评论数 0

Python中对象转Json

如何用python和redis交互呢? 该怎样定义数据存储格式,从而使得数据跨平台使用?当然是Json 并在其他项目中,采用redis缓存进行读取,并由Python进行写入。 这里就简单记录两种语言在读写写Json时候需要注意的点。 Python 的Json.dumps Json模块的dumps方...

2018-12-22 15:36:45

阅读数 161

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭