gtfaww的博客

转载 哪些 Python 库让你相见恨晚？

知乎用户，A European Swallow.苇叶、Aran He、jerry 等人赞同补充三个有助于自动化日常工作的：sh：sh 1.08 — sh v1.08 documentation可以用 Python 函数的语法去调用 shell 命令，sh 之于 subprocess 类似 requests 之于 urllib2。Watchdog：Watchdog —

原创 代码整洁之道 对象和数据结构

数据抽象使用变量取值器和赋值器是为了隐藏实现，但隐藏实现关乎抽象。我们应该暴露抽象接口，以便用户无需了解数据的实现就能操作数据实体。数据、对象的反对称性过程式代码（使用数据结构的代码）便于添加新函数，面向对象代码便于在不改变既有函数的前提下添加新类。对于面向对象较难的事，对于过程式代码就较容易。得墨忒耳律对象不应通过存取器暴露其内部结构。函数式编程不符合

原创 代码整洁之道 注释

注释不要给糟糕的代码写注释，重新写吧。好的代码根本不需要注释。注释总是一种失败，因为我们无法找到不用注释就能表达自我的方法。注释会撒谎，程序员往往不能坚持维护注释。不准确的注释要比没有注释更糟糕。尽管有时候需要注释，但是我们应该多花心思减少注释。每个函数、变量都要有Javadoc是愚蠢可笑的。不要有注释掉的代码，直接删掉。去掉注释中的HTML标记。好注释唯一好的注释

原创 代码整洁之道 命名 函数

整洁的代码只做一件事。一个函数、一个类、一个工程只做一件事。铭记三点：消除重复、提高表达力、提早构建简单抽象。读代码和写代码话费的时间比例是10:1。童子军军规：让营地比你来时更干净。每次签入时都要比签出时更干净。有意义的命名名副其实。用方法替换掉魔法数字。避免误导。做有意义的区分。废话都是冗余。要以读者能鉴别不同之处的方式来区分。使用读的出来的名称

转载 每个架构师都应该研究下康威定律

今天的分享主要来自我之前的工作经验以及平时的学习总结和思考。我之前的背景主要是做框架、系统和平台架构，之前的工作过的公司eBay、携程、唯品会都是平台型互联网公司，所以今天主要带着平台架构视角和大家分享心得体会。架构的视角每个人都不一样，可以说一万种眼光，有业务架构、安全架构、平台架构、数据架构，各不相同，这里仅是我的一家之言，欢迎大家加入『聊聊架构』社群参与讨论。今天聊的话题主要包括以下几点：

转载 八个Docker的真实应用场景

Flux 7介绍了常用的8个Docker的真实使用场景，分别是简化配置、代码流水线管理、提高开发效率、隔离应用、整合服务器、调试能力、多租户环境、快速部署。我们一直在谈Docker，Docker怎么使用，在怎么样的场合下使用？也许本文可以帮到你。有需要交流的地方，可以通过评论与我们交流。几周前我们参加了DockerCon ，Dockercon是首个以Docker为中心的技术

转载 非常详细的 Docker 学习笔记

一、Docker 简介Docker 两个主要部件：Docker: 开源的容器虚拟化平台Docker Hub: 用于分享、管理 Docker 容器的 Docker SaaS 平台 -- Docker HubDocker 使用客户端-服务器 (C/S) 架构模式。Docker 客户端会与 Docker 守护进程进行通信。Docker 守护进程会处理复杂繁重的任务，例如建立、

转载 LXC(Linux containers)快速入门

1.LXC是什么？LXC是Linux containers的简称，是一种基于容器的操作系统层级的虚拟化技术。2.LXC可以做什么？LXC可以在操作系统层次上为进程提供的虚拟的执行环境，一个虚拟的执行环境就是一个容器。可以为容器绑定特定的cpu和memory节点，分配特定比例的cpu时间、IO时间，限制可以使用的内存大小（包括内存和是swap空间），提供device访问控制，

原创 JVM 内存模型

JVM 内存模型其中方法区和Java堆由多线程共享，栈、程序计数器、本地方法栈由线程私有。另外NIO还可以调用directMemory.程序计数器的就是给编译好的字节码添加行号，这样这些字节码就以程序计数器的编号来作为调度时候的标识了。字节码解释器工作时就是通过改变这个计数器的值来选取下一条需要执行的字节码指令，分支、循环、跳转、异常处理、线程恢复等基础功能都需

原创 程序员修炼之道 读书笔记 3

fix the problem,not the blame.修正问题，而不是发出指责。bug不管是谁的过错，并不是很重要。它还是你的问题。最容易欺骗的人是一个人自己。do not assume it, prove it. 不要假定，要证明他。you can not write perfect software. 你不可能写出完美的软件。finish wh

原创 flume 实践

1.下载http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.7.0/2.上传到服务器并解压上传apache-flume-1.7.0-bin.tar.gz到/home/youxin/hadoop,然后解压缩tar -zxvf apache-flume-1.7.0-bin.tar.gz 3.修改配置文件cd apac

转载 分布式消息系统：Kafka

Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了已在同时搞定在线应用（消

转载 spark 介绍

1、Spark介绍      Spark是起源于美国加州大学伯克利分校AMPLab的大数据计算平台，在2010年开源，目前是Apache软件基金会的顶级项目。随着 Spark在大数据计算领域的暂露头角，越来越多的企业开始关注和使用。2014年11月，Spark在Daytona Gray Sort 100TB Benchmark竞赛中打破了由Hadoop MapReduce保持的排序记录。S

原创 程序员修炼之道 读书笔记2

DRYdo not repeat yourself. 这是开发伟大软件的唯一途径。系统中的每一项知识都必须具有单一、无歧义、权威的表示。make it easy to reuse.正交性（解耦）eliminate effects between unrelated things. 消除无关事物间的影响。我们要设计自足的组件，独立，具有单一、良好定义的目的，也就是内聚

转载 Redis 4.0 新功能简介

Redis 的作者 antirez 在三天之前通过博客文章《 The first release candidate of Redis 4.0 is out 》发布了 Redis 4.0 的第一个 RC 版本， 在博文中他说， 因为这个新版本的 Redis 出现了多项改变， 所以他决定从原来的 3.x 版本直接跳到 4.0 版本， 以此来强调这次更新的变化之大。本文将对 Redis 4

转载 大数据

大数据（Big Data）大数据，官方定义是指那些数据量特别大、数据类别特别复杂的数据集，这种数据集无法用传统的数据库进行存储，管理和处理。大数据的主要特点为数据量大（Volume），数据类别复杂（Variety），数据处理速度快（Velocity）和数据真实性高（Veracity），合起来被称为4V。大数据中的数据量非常巨大，达到了PB级别。而且这庞大的数据之中，不仅仅包括结构化

原创 程序员修炼之道 读书笔记

负责我们要为自己和自己的行为负责，要为我们的职业生涯负责。一旦我们承诺，我们就应该切实负起责任来。如果出现问题那就是我们的问题，不要把问题归咎于别人。Provide options,do not make lame excuses.提供各种选择，不要找蹩脚的理由。不要说事情做不到，要提供各种选择来挽回局面。从客户的角度想，他们会怎么看我们和我们的公司。

转载 HTTP 2.0的那些事

在我们所处的互联网世界中，HTTP协议算得上是使用最广泛的网络协议。最近http2.0的诞生使得它再次互联网技术圈关注的焦点。任何事物的消退和新生都有其背后推动的力量。对于HTTP来说，这力量复杂来说是各种技术细节的演进，简单来说是用户体验和感知的进化。用户总是希望网络上的信息能尽可能快的抵达眼球，越快越好，正是这种对“快”对追逐催生了今天的http2.0。1. HTTP2.0的前世

转载 HTTPS 攻击实例与防御

先说一下我的测试环境，WIFI局域网，两台计算机，其中一台是Windows 7用于发起攻击。另一台测试机用于测试攻击，配置为Windows XP SP3，IE8，Chrome 17。在开始之前，再回顾一下SSL证书验证失败的三点原因：SSL证书不是由受信任的CA机构颁发的证书过期访问的网站域名与证书绑定的域名不一致一、SSL劫持攻击SSL劫持也就是SSL

转载 HTTPS SSL证书

一、证书的类型实际上，我们使用的证书分很多种类型，SSL证书只是其中的一种。证书的格式是由X.509标准定义。SSL证书负责传输公钥，是一种PKI（Public Key Infrastructure，公钥基础结构）证书。我们常见的证书根据用途不同大致有以下几种：1、SSL证书，用于加密HTTP协议，也就是HTTPS。2、代码签名证书，用于签名二进制文件，比如Windows内核驱

转载 HTTPS原理

一、什么是HTTPS在说HTTPS之前先说说什么是HTTP，HTTP就是我们平时浏览网页时候使用的一种协议。HTTP协议传输的数据都是未加密的，也就是明文的，因此使用HTTP协议传输隐私信息非常不安全。为了保证这些隐私数据能加密传输，于是网景公司设计了SSL（Secure Sockets Layer）协议用于对HTTP协议传输的数据进行加密，从而就诞生了HTTPS。SSL目前的版本是3.0，被

原创 GC 总结

GC的三种基本方式1.标记清除从根开始扫描，标记存活对象，清除不使用对象。缺点：当分配大量对象时，消耗时间大大超过必要值。2.复制收集从根开始扫描，把使用对象复制到新空间，不使用的对象清除。缺点：复制对象开销比较大3.引用计数为对象引用进行计数，变为0回收。优点：实现容易，对象立即释放，中断时间比较短缺点：无法

转载 SAAS、 PAAS、 IAAS

Platform as a Service: 平台即服务, 是面向软件开发者的服务, 云计算平台提供硬件, OS, 编程语言, 开发库, 部署工具, 帮助软件开发者更快的开发软件服务. 比如Google的GAE.SaaS: 软件即服务, 是面向软件消费者的, 用户无需安装, 通过标准的Internet工具(比如浏览器), 即可使用云计算平台提供的软件, 比如Salesforce的CRM管理

原创 整体性学习法

知识存储大脑是相互关联的神经元组成的，并不像电脑那样，所以机械性学习是最低效的学习。我们应该为我们的知识建立联系。整体性学习基于三个主要观点：结构 我们的知识结构就像我们思想中的城市，建筑物之间由道路相互连接。模型 简化的结构，结构的目录高速公路 不同的知识结构通过比喻等方法建立高速公路吃饭模型学习法获取：获取信息要准确，尽量简化理解：理解信息的意义

原创 nexus 3.1 发布jar包

1.配置发布库在工程pom.xml中配置： nexus_release Nexus Release Repository http://ip:8081/repository/maven-releases/ nexus_snapshot Nexus Snapshot Reposi

原创 maven 思维导图

原创 think in UML读书笔记10 获取非功能性需求

需求层次论人的需求层次：对应软件系统的5个层次：非功能性需求主要包括：可靠性 包含：安全性、事务性、稳定性可用性 主要从容易学习、使用效率、美观、用户手册、错误恢复等有效性 包含：性能、可伸缩性、可扩展性可移植性