总结、分享、交流

原创 企业上云之路-如何评估上云风险（读书笔记）

1 如何评估不可预知的云化内容IT行业经过几十年的发展，对IT应用层面的开发和运维人员而言，已经出现了越来越多的黑盒。在被封装的部分越来越多、使用越来越便利的同时，应用层面的开发和运维人员对黑盒内部的了解也越来越少，设计、实现和交付结果之间的割裂也带来越来越多的“不可预知”的心理压力。2 确认“不可预知”IT行业的环境从横向分为三大类 ： 理论研究；场景、技术和框架研发；应用技术开发。纵向可以分为：基础设施；底层软件和框架；应用系统。理论研究场景、技术和框架研发应用技术开发应

翻译 TOGAF9.2第I部分 第2章核心概念

本章提供的核心概念适用TOGAF标准。2.1 什么是TOGAF标准?TOGAF标准是一个架构框架。 它提供了协助接受，生产，使用和维护企业架构的方法和工具。 它基于支持最佳实践和可重用的现有架构资产集的迭代过程模型。2.2 TOGAF标准中的架构是什么？ISO/IEC/IEEE 42010:2011对架构的定义:“系统在其环境中的基本概念或属性，体现在其元素，关系以及设计和演化的原理中。”TOGAF标准包含但不严格遵循ISO/IEC/IEEE 42010:2011术语。 除了“体系结构”的I

翻译 TOGAF9.2 第I部分 第1章简介

TOGAF标准是一个企业架构框架，它可用于任何希望开发企业架构的组织(参考1.4.1 使用条件).TOGAF标准由Open Group的成员开发和维护，他们在架构论坛下工作 (参考 www.opengroup.org/architecture-forum). 1995年基于美国国防部（DoD）开发的信息管理技术架构框架（TAFIM）开发了TOGAF最初的第一个版本。 国防部给予开放团体明确的许可和鼓励，以在TAFIM的基础上创建TOGAF标准的第1版，这本身就是多年发展努力和美国政府数百万美元投资的结果。

原创 KubeVela解读

本文基于KubeVela-v0.1.1版本。介绍KubeVela使用KubeVela个人理解使用OAMOAM要解决的是在云原生环境下，尤其是结合k8s的特性，由开发人员和运维人员在各自关注的领域一起定义定义应用的类型和运维特性。金丝雀发布参考：https://martinfowler.com/bliki/CanaryRelease.html2 使用KubeVela完整命令：https://kubevela.io/#/en/deve

原创 NPDP思维导图

原创 Ingress session sticky

service session stickykind: ServiceapiVersion: v1metadata: name: my-servicespec: selector: app: my-app ports: - name: http protocol: TCP port: 80 targetPort: 80 sessionAffinity: ClientIP sessionAffinityConfig: clientIP:

原创 MacOS安装kafka

安装如果还没有安装Java, 可以先安装Java: brew cask install java然后安装zookeeper和kafka。bash-3.2$ brew install kafka ==> Downloading https://homebrew.bintray.com/bottles/kafka-2.3.1.catalina.bottle.tar.gz==>...

原创 企业数据湖-1数据导论

1 数据导论数据的定义数据是指一组定性或定量变量的值。“数据可以被测量、收集、报告和分析，然后可以使用图像、图形和其他分析工具进行可视化。一般意义上，数据指的是现有的信息或知识，并以一种适合使用或处理的方式进行表示或编码。”-维基百科数据的类型结构化数据、半结构化数据、非结构化数据。![数据类型 ](https://img-blog.csdnimg.cn/2020031016531144...

原创 李宏毅机器学习课程-01机器学习入门

原文PPT地址:http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html视频地址:https://www.youtube.com/watch?v=CXgbekl66jc&list=PLJV_el3uVTsPy9oCRY30oBPNLCo89yu49AI、机器学习、深度学习的关系Since an early flush of op...

原创 软件架构师思维导图

刚通过软考的架构师考试，附图一张，以作留念。

原创 Python开发环境-Anaconda搭建

本文主要讲解Anaconda环境的搭建以及如何安装pytorch.在这里插入图片描述1 AnacondaAnaconda是一个用于科学计算的Python发行版，支持Linux,Mac,winndows系统，能让你在数据科学的工作中轻松地安装经常使用的程序包。下载地址为：https://www.anaconda.com/distribution/#macos在介绍Anaconda之前，先介绍下...

翻译 Linux性能定位

首先通过机器的各类资源指标，看现象，定位问题所在点。本文翻译自Netflix Performance Engineering 团队的文章:https://medium.com/netflix-techblog/linux-performance-analysis-in-60-000-milliseconds-accc10403c55稍微增加了一点解释性内容。这篇文章讲解在命令行中进行一次最...

原创 论软件的安全性设计

摘要：2018年5月我参与了某省电信智慧BSS系统的运营管理平台（NOSP）项目的开发。该项目为解决BSS系统的日常运营中提前发现故障、快速定位问题、保障服务稳定运行等方面提供全方位的软件支撑,我在该项目中担任系统架构师，主要负责系统的总体架构设计和技术选型。本文以该项目为例，主要论述了安全技术和解决方案在项目中的具体应用。通过设置防火墙和加密技术保证内部网络的安全。在应用层采用RBAC模型和T...

原创 论软件架构风格的选择

摘要：2018年5月我参与了某省电信智慧BSS系统的运营管理平台（NOSP）项目的开发。该项目为解决BSS系统的日常运营中提前发现故障、快速定位问题、保障服务稳定运行等方面提供全方位的软件支撑,我在该项目中担任系统架构师，主要负责系统的总体架构设计和技术选型。本文以该项目为例，主要论述了软件架构风格在该项目中的具体应用，通过采用微服务架构有效降低了系统耦合度；通过模型-视图-控制器架构解决自定义...

原创 论面向服务架构及其应用

摘要：2018年5月我参与了某省电信智慧BSS系统的运营管理平台（NOSP）项目的开发。该项目为解决BSS系统的日常运营中提前发现故障、快速定位问题、保障服务稳定运行等方面提供全方位的软件支撑,我在该项目中担任系统架构师，主要负责系统的总体架构设计和技术选型。本文以该项目为例，主要论述了微服务架构在项目中的具体应用，通过采用适配的方式解决不同技术栈的服务提供者之间的互联互通;通过配置中心解决服务...

原创 论软件的可靠性设计

摘要：2018年5月我参与了某省电信智慧BSS系统的运营管理平台(NOSP)项目的开发。该项目为解决BSS系统的日常运营中提前发现故障、快速定位问题、保障服务稳定运行等方面提供全方位的软件支撑,该系统包含资源管理中心、组件管理中心、数据运营中心、监控告警中心、运营日志中心、运营分析中心等子系统。我在该项目中担任系统架构师，主要负责系统的总体架构设计和技术选型。本文以该项目为例，主要论述了容错技术...

原创 Spark开发环境搭建

开发环境Spark 2.4.4使用Scala2.12:Java安装bash-3.2$ java -versionjava version "1.8.0_211"Java(TM) SE Runtime Environment (build 1.8.0_211-b12)Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed m...

翻译 Uber Go语言规范

翻译自https://github.com/uber-go/guide一. 介绍样式(style)是支配我们代码的惯例。术语“样式”有点用词不当，因为这些约定涵盖的范围不限于由gofmt替我们处理的源文件格式。本指南的目的是通过详细描述在Uber编写Go代码的注意事项来管理这种复杂性。这些规则的存在是为了使代码库易于管理，同时仍然允许工程师更有效地使用Go语言功能。该指南最初由Prasha...

原创 《重构-改善既有代码的设计》第一版

简介重构的前提：先构建安全网，然后在不改变功能外在行为的前提下重构。重构的心法：旧的不变，新的创建，一步切换，旧的再见。代码坏味道列表有些重构手法没有包含在这份列表中。Duplicated cod 重复代码重构方式Extract Method：同一个类中有重复代码，则提取公共函数；Extract Class:如果某个类做了应该由两个类做的事情，那么创建一个新类，将相关的字段和函数...

原创 ThreadPoolExecutor

作用：大量异步任务的场景下，可以提升性能，避免了每个任务都要分配一个线程带来的资源消耗。提供管理资源的能力，包括统计当前的线程使用情况，任务的各种状态统计(已完成的任务数量、已提交的任务数量、排队的任务数量等)参数：corePoolSize:池中固定的线程数量，当然也和创建时的策略有关，取决于是prestartCoreThread还是prestartAllCoreThreads，是一...

原创 TDD重构

Gilded Rose 需求描述https://github.com/emilybache/GildedRose-Refactoring-Kata欢迎来到”镀金玫瑰”！这是一家魔兽世界里的小商店，但地段超好。老板叫艾利森，是个友善的人。我们出售的商品也都是高质量的。但不妙的是，随着商品逐渐接近保质期，它们的质量也不断下滑。我们用一个IT系统来更新库存信息。开发这个系统的程序员叫勒罗伊，他已经不...

原创 实现模式-Kent Beck

最近在学习熊节老师的TDD实战营，大师特意推荐的一本提升编程技能的书。10年前的著作，今天读来还是感同身受，可见本书所传承的价值观、原则和77种实现模式，对于今日的开发人员，仍然具有指导作用。序言中通过对什么是好的代码下了一个定义。所谓好的代码，除了其他所有要求之外，比如可以工作的、性能良好的、没有Bug的代码，还应该清晰准确地传达写作者的想法。Martin Fowler在《重构：改善既有代码...

原创 Oracle ASM单实例静默安装+升级

6年没碰Oracle了，今天有个项目需要远程安装一套DataGuard的备库，记录安装过程。安装步骤Step 1 Add Required RPMs.Step 2 Configure the Kernel.Step 3 Create directories, Add groups.Step 4 Create Grid & Oracle Users and give permis......

原创 ngnix邮件代理

1. 背景最近在做k8s的监控，采用Prometheus方案，在Alertmanager中设置邮件告警，但受限于DCN网环境，不能直接访问外网，只能通过一台OA网的机器来代理访问。新版本nginx有TCP反向代理功能，于是本文就用TCP反向功能作mail代理。2. Nginx安装gzip模块需要 zlib 库:http://www.zlib.net/fossils/wget http:...

原创 kubernetes日志采集方案EFK

https://www.qikqiak.com/post/install-efk-stack-on-k8s/EFK简介Kubernetes中比较流行的日志收集解决方案是Elasticsearch、Fluentd 和 Kibana（EFK）技术栈，也是官方现在比较推荐的一种方案。Elasticsearch是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大量...

原创 kubernetes日志采集方案

1 总体介绍关于kubernetes的日志分几种，针对kubernetes本身而言有三种：资源运行时的event事件。比如在k8s集群中创建pod之后，可以通过kubectl describe pod 命令查看pod的详细信息。容器中运行的应用程序自身产生的日志，比如tomcat、nginx、php的运行日志。k8s各组件的服务日志，比如systemctl status kubelet。...

原创 blackhole引起k8s DNS访问异常

环境背景3个节点的k8s集群：[root@kube-196 ~]# kubectl get nodesNAME STATUS ROLES AGE VERSIONkube-195 Ready <none> 8d v1.14.2kube-196 Ready master 12d v1.14.1kube-197 ...

原创 kubernetes环境部署Spring Cloud

目标将sc的所有组件和微服务部署到k8s环境上。部署环境k8s环境Host NameRoleIPmaster1k8s-master01/etcd192.168.200.87master2k8s-master02/etcd192.168.200.206master3k8s-master03/etcd192.168.200.209node1...

原创 部署微服务

部署一般涉及到两个互相关联的概念：流程和架构。部署流程包括一些由开发人员和运维人员执行的步骤，以便将软件投入到生产环境。部署架构定义了该软件运行的环境结构。下图说明了重量级、长生命周期的物理机已被越来越多轻量级、短声明周期的技术所抽象：下面结合自己的工作经历，回顾下部署流程和架构的演进路线：早先开发人员将代码和配置脚本扔给测试人员，测试通过后，在提交代码和生产环境的配置给到运维人...

翻译 kubernetes学习例子

http://kubernetesbyexample.com/基于Red Hat的Openshift在线环境。podsA pod is a collection of containers sharing a network and mount namespace and is the basic unit of deployment in Kubernetes. All container...