qianfeng_dashuju的博客

1.直接编译得到运行文件 22M使用的项目源码地址 (https://github.com/scoful/kingProject)本地直接编译打一个linux运行包结果是22M不编译直接运行的镜像 941MDockerfile文件内容编译镜像后查询结果如下：结果是941M，基本跟基础镜像golang的大小一致，而且因为没有预先编译，等到运行的时候再编译并拉取依赖包，run起来很慢编译后的镜像 1.14GDockerfile文件内容结果是1.14G，更大了，因为加上了编译过程中拉取的包，但是

Docker的技术依赖于Linux内核的虚拟化技术的发展，Docker使用到的网络技术有Network Namespace、Veth设备对、Iptables/Netfilter、网桥、路由等。接下来，我将以Docker容器网络实现的基础技术来分别阐述，希望给大家能形成一个稳固的基础知识网。Network Namespace为了支持网络协议栈的多个实例，Linux在网络栈引入了Network Namespace，这些独立的协议栈被隔离到不同的Namespace中，处于不同Namespace中的网络

引言在项目的开发中，对于我们前端开发人员而言，总是无法避免需要对数据进行可视化分析和设计的需求。但事实上，如果单纯的依靠Html5 Canvas想要快速地创建简洁，美观，炫酷的可视化作品难度极大且可维护性差。而现如今随着技术的迭代更新发展，已经出现很多可靠，易用，操作便捷，可交互，跨平台的一些可视化解决方案如ECharts，HighCharts,，Chart.js等。于是在本文中，我们以ECharts为例，来尝试将可视化解决方案应用于React-当前最流行的前端框架之一。 ​ 因为React的性能优越，

前后端分离式开发需要进行数据交互，传输的数据被偷窥、被抓包、被伪造时有发生，那么如何设计一套比较安全的API接口方案呢？并不是所有的接口都需要考虑安全的，有些接口是公开的，任何人只要知道地址都可以调用，对于一些项目中需要用户登录才能访问的接口才需要考虑安全问题。一般解决的方案有以下几类：token令牌认证（jwt）AK（app key）&SK（secret key）【用户名&密码】时间戳超时验证+签名算法字符串URL签名（算法，非对称算法）数据脱敏（防范数据库数据泄露）.

如果你是JavaScript的新手，诸如模块捆绑器与模块加载器，Webpack与浏览器,AMD与CommonJS之类的术语,可能会变得不知所措,但了解它对Web开发人员至关重要,下面我们就一起来看看。什么是模块？好的作者将他们的书分为章节，优秀的程序员将其程序分为模块，好的模块是高度独立的，具有独特的功能，可以根据需要对它们进行改组，删除或添加，而不会破坏整个系统。为什么要使用模块？可维护性模块是独立的。设计良好的模块旨在尽可能减少对代码库各部分的依赖，从而使其能够独立增长和改进。当模块与

1.在磁盘只做Sequence I/O 顺序读写kafka 生产者写数据是有序的，即 Partition 内部有序，数据以 append 的方式顺序追加写入。Consumer 消费数据也是有序的，指定 offset 后顺序读出 offset 之后的数据。顺序读写可以避免磁盘读数据时的多次寻道和旋转延迟2.传统的IO流程举个例子说明传统IO流程，比如：从磁盘读取数据，然后从Socket发送到网络传统IO流程：1、第一次：将磁盘文件，读取到操作系统内核缓冲区；2、第二次：将内核缓.

GitLab结合Git小乌龟实现dev分支,合并代码到release,master等不同分支的操作步骤本案例以dev分支合并代码到master分支为例,Git小乌龟图形化界面步骤为:1.提交dev分支的新代码到本地和远程仓库中:①.进入到dev分支的目录下;②.提交代码到dev的本地和远程仓库中:右键dev目录的任意位置---->Git Sync...--->Fetch & Rebase---->填写必要的提交信息,Ok...不需要过多的操作---->

Java最新面试题精讲系列01之Java数据类型及类型转换对于初级或部分中级Java程序员来说，关于Java数据类型的面试题是属于比较高频的一个考点，关于数据类型的面试题及笔试题还是比较多的。一. Java数据类型1. 概述Java语言是静态类型的(statical typed)，也就是说所有变量和表达式的类型在编译时就已经完全确定了。由于是statical typed，也就导致了Java语言是强类型(Strong typed)的。强类型则意味着每个变量都属于某一种类型，每个表达式也都属于某

一.订单号生成的原则:1.全局的唯一性2.自增长3.长度的要求4.具有一定的可读性5.保密,不可推测性6.效率性二.实现方案常见的ID生成策略。 1. 数据库自增长序列或字段 2. UUID 3. UUID的变种*【UUID to Int64;NHibernate在其主键生成方式中提供了Comb算法（combined guid/timestamp）】 4. Redis生成ID 5. Twitter的snowflake算法 6. 利用zookeeper的znode生成唯一ID

说明:Spark是目前大数据中非常流行的运算框架,Spark的Shuffle机制是完成运算最重要的一环,面试时经常会被问到.在Spark中，Shuffle分为map阶段和reduce阶段，也可称之为shuffle write和shuffle read阶段，Spark在1.1以前的版本一直是采用Hash Shuffle的实现的方式，到1.1版本时参考Hadoop MapReduce的实现开始引入Sort Shuffle，在1.5版本时开始Tungsten钨丝计划，引入UnSafe Shuffle优化内存及

内存结构图动态内存管理1.设定基本的存储内存和执行内存区域（spark.storage.storageFraction参数），该设定确定了 双方各自拥有的空间的范围。2.双方的空间都不足时，则存储到硬盘；若己方空间不足而对方空余时，可借用对方的空间;（存储空间不足是指不足以放下一个完整的Block）。3.执行内存的空间被对方占用后，可让对方将占用的部分转存到硬盘，然后“归还”借用的空间。4.存储内存的空间被对方占用后，无法让对方“归还”，因为需要考虑Shuffle过程中的很多因素，实

Spark Streaming 反压机制是1.5版本推出的特性，用来解决处理速度比摄入速度慢的情况，简单来讲就是做流量控制。当批处理时间(Batch Processing Time)大于批次间隔(Batch Interval，即BatchDuration)时,说明处理数据的速度小于数据摄入的速度，持续时间过⻓或源头数据暴增，容易造成 数据在内存中堆积，最终导致Executor OOM。反压就是来解决这个问题的。spark streaming的消费数据源方式有两种：1. 若是基于Receiver的数据源，

1Sparkrepartition和coalesce的区别1.1. repartition只是coalesce接口中shuffle为true的实现1.2. 不经过 shuffle，也就是coaleasce shuffle为false，是无法增加RDD的分区数的，比如你源RDD 100个分区，想要变成200个分区，只能使用repartition，也就是coaleasce shuffle为true。1.3. 如果上游为Partition个数为N，下游想要变成M个PartitionN >..

这里我们讲解一下SparkSQL的优化器系统Catalyst，Catalyst本质就是一个SQL查询的优化器，而且和 大多数当前的大数据SQL处理引擎设计基本相同（Impala、Presto、Hive（Calcite）等）。了解Catalyst的SQL优化流程，也就基本了解了所有其他SQL处理引擎的工作原理。*SQL优化器核心执行策略主要分为两个大的方向：基于规则优化（RBO）以及基于代价优化(CBO)，基于规则优化是一种经验式、启发式地优化思路，更多地依靠前辈总结出来的优化规则，简单易行且能够覆盖

许多大公司如阿里巴巴，腾讯，微博，滴滴等，已经采用现在所谓的微服务架构模式解决了我们前文所提到的单体应用遇到的种种问题。主要的思路：将应用程序分解成一套较小的互连服务。一、微服务解决方案一个服务通常实现了一组不同的特性或功能，例如订单管理、客户管理等。每一个微服务都是一个小型迷你应用，在需要依赖的地方，通过REST API连接其他所需要的服务之星业务逻辑。微服务架构 一些微服务会向外暴露一组供其他模块访问和使用的API。其他微服务实现了自己的业务逻辑，在必要时，可以通过API进行业务逻辑访问。

上节课我们讲了，我们在进行开发一个新的应用时，可以构建一个整体的应用系统，我们称之为单体应用。当我们的应用刚开始起步，业务功能少，代码量可控时，我们还能正常的开发。局限性但是，随着系统业务的不断增长，代码量不断增加，我们维护创建的单体应用系统的性能和维护成本都会受到限制，限制了我们继续新增新业务的能力。单体应用发展趋势成功的应用有一个趋势，整个项目随着时间推移会变得越来越臃肿。而开发团队在每个迭代开发周期中都要实现更多的用户需求，这意味着需要添加许多行代码。当原来的单体引用运行维护几年之后，

互联网技术发展迅速的今天，微服务倍受关注：文章、博客、社交媒体讨论和会议演讲都在谈论。与此同时，也有持怀疑态度的软件社区人员认为微服务没什么新鲜可言。反对者声称它的思想只是面向服务架构的重塑。然而，无论是炒作还是怀疑，不可否认，微服务架构模式具有非常明显的优势 —- 特别是在实施敏捷开发和复杂的企业应用迭代开发方面。从本篇文章开始，我们来开学了解学习微服务的相关知识。单体应用我们先不问微服务是什么？微服务该如何实现？让我们从我们原本最熟悉的创建一个应用和一个普通的项目开始说起。打车系统我

程序员的思考：用函数还是用复杂表达式Perl语言的原作者Larry Wall曾经说过，伟大的程序员都有三个优点：懒惰、暴躁和自负。乍一看这三个词语没有一个是褒义词，但在程序员的世界里，这三个词有不同的意义。首先，懒惰会促使程序员去写一些省事儿的程序来辅助自己或别人更好的完成工作，这样我们就无需做那些重复和繁琐的劳动；同理能够用3行代码解决的事情，我们也绝不会写出10行代码来。其次，暴躁会让程序员主动的去完成一些你还没有提出的工作，去优化自己的代码让它更有效率，能够3秒钟完成的任务，我们绝不能容忍1分钟的

几个技巧让你的Python代码更专业最近几年时间，国内的Python开发者越来越多，但是很多开发者都是从其他编程语言转换阵营来到Python的。正是因为这样的原因，很多Python开发者的代码中都保留了其他语言的编程习惯，这样的代码看起来就显得很不专业，非常的不”Pythonic“。其实Python语言有很多专属的“编程惯例”，”惯例“这个词按照词典上的解释就是“习惯的做法，常规的办法，一贯的做法”。作为一个Python开发者，尤其是”跨界程序员“，如果能够掌握这些惯例，就可以写出“Pythonic

最近，国家依法查处了部分编写爬虫程序，盗取其他公司数据的不良企业。一时间风声鹤唳，关于爬虫程序是否违法的讨论遍布程序员圈子。那么到底编写爬虫程序是否违法呢？其爬虫下载数据，一般而言都不违法，因为爬虫爬取的数据同行也是网站上用户打开页面能够看到的数据，但是如果符合下列条件的网站进行强行数据采集时，会具有法律风险。采集的站点有声明禁止爬虫采集时。2. 网站通过Robots协议拒绝采集时。Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion

一个小例子助你彻底理解协程协程，可能是Python中最让初学者困惑的知识点之一，它也是Python中实现并发编程的一种重要方式。Python中可以使用多线程和多进程来实现并发，这两种方式相对来说是大家比较熟悉的。事实上，还有一种实现并发的方式叫做异步编程，而协程就是实现异步编程的必要方式。所谓协程，可以简单的理解为多个相互协作的子程序。在同一个线程中，当一个子程序阻塞时，我们可以让程序马上从一个子程序切换到另一个子程序，从而避免CPU因程序阻塞而闲置，这样就可以提升CPU的利用率，相当于用一种协作的

如何快速搭建自己的博客平台对于一个程序员来说，搭建一个属于自己的博客平台是非常有意义的事情。首先，博客可以记录自己的成长历程，也是对自己一段时间学习和工作的总结和沉淀；其他，通过博客可以营销自己，增强自己在互联网或行业内的影响力，为将来更好的职业生涯打一个坚实的基础。前几年有一本名为《软技能 - 代码之外的生存指南》的畅销书，我记得书中有这么一段话：“流行乐队的音乐才华可能并不比夜店驻场乐队高多少，他们为什么就可以在全世界巡回演出，创造一个又一个白金记录？……你的营销做得越好，你的才华才能表现得淋漓尽致

前面几节课程我们向大家讲了从单体应用如何发展到微服务架构的项目架构的转变，以及单体应用和微服务架构各自的优缺点。本节课，我们来看一看微服务的定义和标准，以及在实践中解决的问题。微服务的定义结合我们之前所了解到的文章和相关知识，并结合相关资料。我们借鉴微服务之父Martin先生给微服务的定义：将一个单体应用拆分成一组微小的服务组件，每个微小的服务组件运行在自己的进程上，组件之间通过如RESTful API这样的轻量级机制进行交互，这些服务以业务能力为核心，用自动化部署机制独立部署，另外，这些服务可以用

Protobuf 协议语法message：Protobuf中定义一个数据结构需要用到关键字message，这一点和Java的class，Go语言中的struct类似。 标识号：在消息的定义中，每个字段等号后面都有唯一的标识号，用于在反序列化过程中识别各个字段的，一旦开始使用就不能改变。标识号从整数1开始，依次递增，每次增加1，标识号的范围为1~(2^99)-1，其中[19000-19999]为Protobuf协议预留字段，开发者不建议使用该范围的标识号；一旦使用，在编译时Protoc编译器会报出警告。

Go语言中有对应的实现Protobuf协议的库，Github地址：https://github.com/golang/protobuf环境准备使用Go语言的Protobuf库之前，需要相应的环境准备：1、安装protobuf编译器。可以在如下地址：https://github.com/protocolbuffers/protobuf/releases选择适合自己系统的Proto编译器程序进行下载并解压，如图：2、配置环境变量protoc编译器正常运行需要进行环境变量配置，将protoc..

前言在执行 I/O 密集型任务的时候，程序会因为等待 I/O 而阻塞。比如我们使用 requests 库来进行网络爬虫请求的话，如果网站响应速度过慢，程序会一直等待网站响应，最终导致其爬取效率十分低下。本文以爬取 IP 代理池为例，演示 Python 中如何利用异步协程来加速网络爬虫。协程协程（Coroutine），又称微线程，纤程，协程是一种用户态的轻量级线程。协程拥有自己的寄存器上下文和栈。协程调度切换时，将寄存器上下文和栈保存，在调度回来的时候，恢复先前保存的寄存器上下文和栈。因此协程

Python中格式化字符串更酷的方式在 Python 中，大家都习惯使用 %s 或 format 来格式化字符串，在 Python 3.6 中，有了一个新的选择 f-string。使用对比我们先来看下 Python 中已经存在的这几种格式化字符串的使用比较。# %susername = 'tom'action = 'payment'message = 'User %s has logged in and did an action %s.' % (username, action)

用 pprint 代替 print 更友好的打印调试信息pprint 是 “pretty printer” 的简写，“pretty” 的含义是 “漂亮的、美观的”，因此 pprint 的含义便是：漂亮的打印。这是个相当简单却有用的模块，主要用于打印复杂的数据结构对象，例如多层嵌套的列表、元组和字典等。先看看 print() 打印的一个例子：mylist = ["Beautiful is better than ugly.", "Explicit is better than implici

快捷键编辑命令：Ctrl + a ：移到命令行首Ctrl + e ：移到命令行尾Ctrl + xx：在命令行首和光标之间移动Ctrl + u ：从光标处删除至命令行首Ctrl + k ：从光标处删除至命令行尾Ctrl + w ：从光标处删除至字首Ctrl + d ：删除光标处的字符Ctrl + h ：删除光标前的字符​重新执行命令：Ctrl + r：逆向搜索命令历史Ctrl + p：历史中的上一条命令ESC + .：打印之前执行过的命令的最后一部分 以空格为分隔符​控制命令

常见远程桌面工具RealVNC地址:https://www.realvnc.com/en/RealVNC远程控制程序是VNC （Virtual Network Computing）众多操作平台版本中的一员，它可以安装在Windows中而让使用者在世界各地远端遥控自己的电脑，就算是遥控不同的操作平台也没有问题。VNC软件主要由两个部分组成：VNC server及VNC viewer。用户需先将VNC server安装在被控端的计算机上后，才能在主控端执行 VNC viewer 控制被控端。

zabbix基于钉钉报警 准备工作 1，安装钉钉---注册钉钉账号。 首先创建一个群聊把需要得到监控信息的人加到一起. 在钉钉上面添加一个机器人.创建机器人机器人添加成功2、登陆zabbix-server的机器创建python脚本： [root@zabbix-server ~]# cd /usr/lib/zabbix/alertscripts/ [root@zabbix-server alertscripts]# vim dingding.py

上节课我们提到了服务的注册于发现机制，可以引入一个服务注册发现组件来实现对服务的管理，完成服务注册，信息查询，存储配置等功能。虽然引入了服务注册发现组件解决了就问题，但是会引入新问题。Consul环境配置1、将下载的consul_1.5.1_darwin_amd64.zip进行解压，解压后得到可执行文件consul。 2、将consul可执行文件拷贝到电脑本地的环境变量中。 Unix系统中：可以拷贝到~/bin或/usr/local/bin目录下，这两个目录是常见的安装目录。 Windows

在微服务简介篇，我们已经介绍过微服务架构中要解决的四个基本的问题。从本节课开始我们来学习如何实现服务的管理。为什么要使用服务发现设想下，我们写了一些通过REST API或者Thrift API调用某个服务的代码，为了发起这个请求，代码需要知道服务实例的网络地址(IP 地址和端口号）。在传统运行在物理机器上的应用中，某个服务实例的网络地址一般是静态的，比如，代码可以从只会偶尔更新的配置文件中读取网络地址。然而在现在流行的基于云平台的微服务应用中， 有更多如下图所示的困难问题需要去解决：.

几乎所有的javascript开发者最常使用的日志打印调试api都是console.log(),其实还有很多的选项供我们选择，笔者下面就为大家一一介绍.一、console.table()console.table()是我非常建议大家去使用的方法，它可以接受JSON或数组并以表格格式打印，在对json对象和数组进行可视化打印的时候简单易用，结果直观。比如下面的json数据对象使用console.table()打印 console.table({ "id":"1", ..

非HTTP状态下开启web视频的临时方案引子新版本的chrome在调用摄像头的时候，会有安全警告，所以调用摄像头的js方法就无法使用了，如下：意思是保证安全，你要在HTTPS的情况下，才能调用浏览器摄像头。但是我们平时开发的时候，本地环境往往没有HTTPS，如何解决呢？禁用浏览器默认安全模式复制如下命令到浏览器的地址栏：chrome://flags/#unsafely-treat-insecure-origin-as-secure如下图，找到黄色部分，然后enabled开启，并且把你自

爬虫程序一般分成数据采集模块、数据分析模块和反爬策略模块，如果能针对这三个模块进行优化，可以让爬虫程序稳定持续的运行。1.采集模块一般来说目标服务器会提供多种接口，包括url、app或者数据api，研发人员需要根据采集数据难度、每天数据量要求、目标服务器反爬限制频率分别进行测试，选择适合的采集接口及方式。2.数据分析模块由于网络采集存在各种不确定性，数据分析部分在根据需要做好数据解析之后，要做好异常处理及定位重启功能，避免出现程序异常退出或者数据采集遗漏、重复的情况3.反爬策略模块分

毫无疑问，Kotlin 目前很受欢迎，业界甚至有人认为其将取代 Java 的霸主地位。它提供了 Null 安全性，从这一点来说它确实比 Java 更好。那么是不是这就意味着开发者应该毫不犹豫地拥抱 Kotlin，否则就落伍了？等等，或许事情并非如此。在开始使用 Kotlin 编程之前，本文想要分享个故事给你。在这个故事中，作者最早使用 Kotlin 来编写一个项目，后来 Kotlin 的各种怪异模式以及一些其他障碍越来越让人厌烦，最终，他们决定重写这个项目。以下为译文：一直以来，我对基于 JV

DNS域名解析服务域名解析域名对应ipwww.baidu.com这个域名--对应IP---183.232.231.174解析方式：本地解析：/etc/hosts 默认先使用本地解析[root@linux-server ~]# vim /etc/hosts #添加如下内容127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost loc

系统优化知识点：（简介：系统优化其本质是系统在提供服务的同时，承受压力过大需进行参数调优）1、查看平均负载系统负载System Load：系统CPU繁忙程度的度量，即有多少进程在等待被CPU调度,平均负载（Load Average）：一段时间内系统的平均负载，这个一段时间一般取1分钟、5分钟、15分钟[root@linux-server ~]# uptime20:42:26 up 6:12, 2 users, load average: 0.00, 0.01, 0.051分钟

1.1Web服务器介绍nginx1.2Nginx基本使用获取NginxNginx的官方主页： http://nginx.org关闭防火墙关闭selinux[root@soso666 ~]# systemctl stop firewalld #关闭防火墙[root@soso666 ~]# systemctl disable firewalld #开机关闭防火墙[root@soso666 ~]# setenforce 0 #临时关闭selinux[root@soso666 ~]# ge