- 博客(57)
- 收藏
- 关注
RSS订阅原创 单例模式理解
单例模式的意义在面向过程语言中，可以通过全局变量的方式实现参数的赋值和引用。但是在完全面向对象的环境中不允许全局变量的存在，那么有什么办法来解决这个问题呢？也许我们可以创建一个公共的类，用来类的成员变量来实现这个目标。成员变量需要结合具体对象使用，在使用时需要将对象传递，使用起来特别不方便。于是我们想到使用静态全局变量作为这个目标。使用起来只要引用类，就可以利用类的静态全局变量实现。但是在完全面向对象的语义下，万物皆对象，使用这种类的共有成员变量并不符合这一思想。鉴于此，单例模式就应运而生了。特别适用于配
2020-05-25 22:16:25
218
原创 TCP三次握手的原因
为什么需要握手TCP相对于UDP最大的特点是其数据传输是可靠的。那么TCP协议是如何保证数据传输的可靠呢？这里TCP引入了序列号的字段，通过通信的双方相互确认对方的序列号来保证的。为什么需要3次握手而不是2次或者4次握手因为2次不足以保证序号的相互确认，而4次握手不需要，3次就可以完成相互确认如果第三次握手失败会出现什么影响根据协议，如果在第3次握手失败，服务端就无法确认客户端是否收到自...
2020-04-22 19:49:36
358
原创 HDFS与NFS区别
#相同点两者的文件系统数据均能够在相关系统内的多台机器上进行数据读取和写入，都是分布式文件系统#不同点##NFS是通过RPC通信协议进行数据共享的文件系统，所以NFS必须在运行的同时确保RPC能够正常工作。在不同的文件进行读取和写入时，实际上是对服务端的共享文件地址进行操作，一旦服务端出现问题，那么其他所有的机器无法进行文件读取和写入，并且数据无法找回。所以NFS系统的文件其实并没有备份，并...
2020-04-21 19:20:51
3503
原创 python+chrome+docker运行环境配置
正常爬取网页不需要有浏览器支持，只要python配置相应的包就行。但是如果想要进行模拟登陆等功能，就需要有浏览器支持了。我采用的是selenium+bs4的模块，浏览器驱动采用的是chrome的webdriver，这个在selenium中有。from selenium import webdriverimport timefrom bs4 import BeautifulSoup...
2020-04-20 20:27:26
579
原创 kafka消息中间件的数据一致性
kafka之理解分区功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入kafka是一种分布式的基于发布/订阅模式的消息中...
2020-04-20 20:20:44
365
原创 利用栈实现队列
栈是先进后出，而队列是先进先出。利用两个栈能够将顺序颠倒。前提是第一个栈不为空时，应改完全导入到第二个栈。如果新的数据到来，第一个栈不为空应改等待一个栈完全压入第二个栈才能压入第一个栈。第二个栈在不为空时，第一个栈的数据不能压入到第二个栈。...
2020-04-17 18:59:05
125
原创 HDFS数据如何保持一致性
HDFS是如何确保数据的一致性。hdfs在namenode上备份元数据，并将数据存储在datanode上的，默认备份3份。那么hdfs是如何保证数据的一致性呢？1、hdfs的namenode机制hdfs只有一个namenode,一旦namenode出现问题，数据块信息无法寻找。namenode中的元数据信息在工作时，会将元数据信息缓存在内存中。namenode将这些内存中的数据备份到...
2020-04-16 18:26:42
2823
原创 匈牙利算法的python实现
该算法主要解决的是两个不相交的两个集合最大配对数的问题。假如有两个独立的集合A,B,在AB 中当满足一定条件时能进行匹配，但是每个元素的匹配可能不止一个，那么如何匹配使得AB两个之间匹配达到最大。# 编写配置函数,其中used列表用来记录B是否被占用，这个在每次对A发现的时候需要清空# match列表表示B与A中的匹配# link表示A，B匹配的条件，满足返回真，失败返回FALSEd...
2020-04-15 17:42:43
661
原创 CICD之jenkins
jenkins是什么？为什么要用jenkins？jenkins如何安装和使用？本篇文章主要回答这些问题。jenkins是什么从官网（https://jenkins.io/zh/）介绍来看：Jenkins是开源CI&CD软件领导者， 提供超过1000个插件来支持构建、部署、自动化， 满足任何项目的需要。CI&CD(Continous Integration & Co...
2020-04-15 16:40:34
150
原创 net/http: TLS handshake timeout
该错误表明http连接超时，这是因为docker默认使用的引擎无法下载国外的镜像源。通过配置/etc/docker/daemon.json为国内的加速引擎可以解决这个问题。{ "registry-mirrors": ["https://registry.docker-cn.com"]}systemctl reload-daemon重新加载配置，利用systemctl rest...
2020-04-14 18:16:24
5661
1
原创 logging日志带颜色
在控制台打印时通常使用print函数，但是如果我们需要打印一些进度信息，这些信息通常包含统一的格式，使用print函数是不是比较繁琐，另外，当需要将信息写入文件，创建文件和写入信息，文件的管理和频繁的打开关闭是不是比较危险。对于python语言来说，一个logging模块就能解决上述问题。...
2020-04-02 20:22:10
9606
1
翻译 spark并行计算
目标：解释RDD在SPARK的集群是如何分布的。 分析SPARK如何对基于文件的RDD进行分区。 阐述SPARK如何并行执行RDD操作 说明如何通过分区来实现并行控制 分析如何查看和监控任务task和阶段stage.首先来看一看spark是如何在云模式(cluster mode)工作的。spark cluster一个云模式下的spark程序运行流程如下所示。用户可以...
2020-01-19 19:16:38
2005
转载 包含jdk和python3的dockerfile编写
由于在做的项目大多是基于python3的，很多都需要在之前的镜像上加入python3环境，这里是python3.6.10官网dockerfile的编写，供参考。## NOTE: THIS DOCKERFILE IS GENERATED VIA "update.sh"## PLEASE DO NOT EDIT IT DIRECTLY.#FROM alpine:3.11# ens...
2020-01-09 17:13:52
1444
1
原创 airflow调度原理及k8s调度原则
Airflowairflow是一个任务调度组件，主要是基于DAG（有向无环图）来定义整个工作流。他主要解决了crontab调度无法完成的任务依赖，网页服务，任务暂停等功能。并且airflow能够很好的支持python，spark，hive，k8s等 airflow架构 airflow包含以下组件：元数据库（存储DAG）执行器worker（负责执行task)...
2019-12-06 18:36:19
3876
原创 python3 爬取天气网页
我的环境是python3，目标是爬取中国天气网（http://www.weather.com.cn）中的各大城市天气信息入MySQL库。首先引入HTMLParser模块，request网络请求模块，pymysql(连接mySQL)模块，json模块，pandas模块，日期datetime模块from html.parser import HTMLParserfrom urllib im...
2019-09-18 21:03:50
940
原创 使用smtp服务器发送邮件（python）
在很多场景使用中，我们需要代码执行完毕之后发送短信或者邮件给特定人进行通知，所以代码要具备发送邮件和短信的功能。这里仅仅介绍使用smtp服务器发送邮件的功能部分，我使用的163邮箱的smtp服务器，编辑语言是python3.import smtplibfrom email.mime.text import MIMETextfrom email.header import Header#...
2019-07-02 20:53:35
2197
原创 开发机登陆主键证书错误
在登陆远程开发机时发现有如下错误@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@I...
2019-06-26 10:32:54
95
原创 python之字典
python中很重要的三个数据结构为元组，列表，字典，分别对应(),[]和{}表示。由于字典在数据存储方面功能十分强大，这里对dict即字典进行介绍。基本构成字典的基本组成单位为键值对，各个键值对用,分开，键与值用：分开。a = {"beijing":2,"guangzhou":1}1.1键字典的键必须为可哈希的，集合set，列表list和字典dict就不适合作为键，因为这两种...
2019-06-11 21:18:43
156
原创 红绿灯的人工智能需求
红绿灯在今天的交通中变得越来越重要，如果行人车辆都按照红绿灯规则，那么在路口中交通事故将会大大降低。但是，在安全性保证的同时，效率并没有很好的满足。红绿灯在不同方向上的设定时间是不一样的，但是这个时间是固定的。在红绿灯安装过程中，现场人员应该已经根据岔口方向车流方向进行过统计，然后设定了时间。这种方式在一定时间内正好满足指挥交通的需求，但是在夜间就车少人少的时候就不太适用了。不合理的交通指挥不仅仅...
2019-04-25 11:42:11
1160
原创 计算机结构
自从第一台计算机诞生到现在，计算机在计算，通信，交通，娱乐等方面展现出了强大的生产力，那么是什么赋予它的能力呢？下面是我对计算机的个人理解。在计算机领域两个伟大的先驱不得不提，一个图灵，一个冯诺依曼。图灵解决了如何完成任务的方法。他将任务分成数据流和控制流，数据流在控制流的指引下得到最后的结果。这个在今天方案解决工程中依然适用，数据流就是我们常用的数据结构，而控制流就是算法。冯诺依曼提出了由运...
2019-04-23 14:35:55
324
原创 通信之HTTP协议
HTTP协议是互联网常用的通信协议，在OSI标准中划分中属于应用层协议。而通常所说的TCP/UDP通信协议是传输层协议。HTTP是对TCP通信的封装。HTTP协议分为请求报文格式定义和响应报文格式定义。请求报文中应包含请求头和内容，响应报文中包含状态头和内容。参考（https://www.cnblogs.com/jiu0821/p/5641600.html）请求报文内容 详细说明 ...
2019-04-22 16:04:24
219
原创 C++11特性
C++11在很早就已经发布了，但是一直没注意，现在总结一下理解的特性：auto关键字的引入，编辑器可以根据上下文自动判定类型，但是不能用于声明和内联函数。 NULLPtr的引入，由于NULL在某些问题上的局限性，引用NULLPtr将更加准确。 for循环中引入:，来表示集合，相当于其他语言的区间迭代（Python中foreach x in xx） 引入了std::Thread，使得线程的...
2019-03-28 15:10:45
90
转载 PCA理解
pca（Principal Component Analysis）即主成分分析法用于降维运算。深度学习的运算量常常随着维度的增加计算量将呈现指数级的增加，PCA利用正交基将维度进行优化，有效减少了运算量。那么PCA是如何实现降维的呢？如果有兴趣，可以参考https://blog.csdn.net/program_developer/article/details/80632779介绍的比较全面...
2019-03-17 14:53:25
362
原创 编译语言比较
现在我已经接触了几种不同语言，简单的做个总结。C语言，C++ 语言以及Qt语言都是类似的高级语言。只不过后两者相对于c拥有更多的库。C++将c语言中的class进行扩展，延伸出类，通过构造函数和析构函数来进行对象的创建和释放；同时根据属性和接口将语言由过程转变为以对象为核心，大大提高了设计的便利化。而Qt通过丰富的库可以进行友好的界面设计，拥有设计即所得并便于平台移植的优势。面向对象的语言在编...
2019-02-27 21:59:32
210
原创 指针
在c语言系列中，指针使得使用这种语言编写程序灵活。然而，灵活的另一面常常会带来多变，多变则容易出错。这篇将就指针进行深入理解和学习。指针的定义是指向某一数据类型或者类的变量。也可以理解为地址。但是地址在一般意义上是一种常量，严格意义上这样理解指针是不对的。指针根据指向的类型来区分。比如说int型指针p,就是int *p。随着指针指向的类型复杂而变得复杂。比如说，指向类A派生类B的指针p，那么p...
2018-12-27 21:46:16
126
原创 铁路发展历程
自从工业革命以来，人类社会发生了翻天覆地的变化。作为工业革命产物的代表，铁路至今依然蓬勃发展。铁路为工业提供了廉价高效的运输手段，在整个工业发展中至关重要。如果说资本主义社会的核心是商品交换，那么铁路就为这种交换提供最基础的保证。那么这么重要的铁路都经历过怎样的发展阶段呢,今天小王就带你走进铁路发展的历程。蒸汽机时代 第一次工业革命发生地英国率先开启了铁路铺设和火车运营。第一列火车...
2018-05-28 23:05:42
6978
原创 大数据时代的思考
信息爆炸这个早就听说过，但是为什么现在才出现大数据一说？人工智能更是60年代的概念，现在为什么会火？语音识别，图像识别为什么变得越来越重要？并行处理器，云计算，数据挖掘，机器学习为什么广泛需求高级人才？这两天看了吴军的《智能时代》，这些问题有了比较清楚的了解。按照这位前辈的理解，我们应该正在处于一次技术革命的拐点。以上提到的这些概念都是解决了人类之前无法解决的一些事，这种方法就是利用大数据处理技术...
2018-04-16 22:16:03
444
原创 Android 环境的安装
这几天一直在折腾Android环境的安装。至从了解了RAM架构+android系统的优势后，感觉是非常有必要的。由于RAM架构的低功耗（最低可以降到1w以下，而能耗最低的x86架构也需要30w以上），另外，RAM架构并不垄断，各个厂家只要取得设计标准都能生产，这些优势使得RAM架构在移动终端和智能设备大量应用。以往Intel+windows的时代将逐渐面临挑战，现在windows已经开始向RAM架...
2018-04-11 19:37:33
309
原创 缓冲机制
计算机为什么需要缓冲机制？如何实现缓冲呢？我们知道cpu的主频可以达到2.6GHz，这还是在单核的情况下，如果多核再加上超线程技术，cpu的计算主频可以更高。而普通的硬盘只有几十MHz，我们自己用的u盘如果3MHz就感觉可以了。可以看到cpu计算速度是硬盘等存储设备拷贝数据的几十甚至上百倍，如果cpu等待从硬盘的来的数据（硬盘存储数据而数据运算必须拷贝到内存）进行运算，不仅仅会极大的浪费资源还会影...
2018-04-02 20:14:57
1684
原创 类的构造与析构函数
每个类都有构造函数和析构函数。即使用户创建的类，系统也会为该类创建默认的构造函数。构造函数不能是虚函数。在面向对象语言里，这两个函数特别重要。面向对象的语言里，其成员变量和函数都属于对象（除了静态全局变量和静态函数）。我们知道类不能够直接在定义时对其成员变量进行初始化，这部分工作一部分统一放到构造函数来完成（静态成员变量需要在类外进行初始化）。构造函数没有返回值，其函数名和类名相同。构造函数可以有...
2018-03-30 19:43:09
829
原创 GDI对象的选择与释放
GDI对象通过SelectObject来选择。GDI对象主要有以下几类。GDI对象产生方法销毁方法位图（HBITMAP）CreateBitmap,CreateBitmapIndirect,CreateCompatibleBitmap,CreateDIBitmap,CreateDIBSection,CreateDiscardableBitmapDeleteObject画刷（HBRUSH）Create...
2018-03-30 19:31:38
1356
原创 后台任务调度剖析
对于操作系统或者其他相关平台来说，在同一时间内有多个任务需要等待执行，那么作为服务端如何对这些任务进行响应调度是一个问题？假设处理系统或者平台只能一维调度，也就是说在一个时刻只能运行一个任务，那么我们就面临如何选择执行的问题了？这实际就是排队问题。最简单的方法就是谁先来先响应，这种调度方式能够很好的保证先来的请求得到响应。并且实现方式简单，不易发生冲突。但是这样调度方式会使得有紧急请求得不到响应，...
2018-03-30 18:33:26
1239
原创 中断机制
为什么需要中断？I/O设备（输入输出）是如何向用户发送信号呢？比如我按下了鼠标的左键，软件是如何感知呢？一种方法是cpu对所管理的硬件I/O设备进行轮询，不停的对硬件扫描。这样输入设备一旦按下左键，那么cpu就可以将鼠标左键按下事件传递给对应的应用程序。但是这会产生若干问题，首先如果cpu连接多个设备比如说n个鼠标，当第n个鼠标产生左键按下事件，而此时cpu正在扫描第一个鼠标，那么鼠标事件就不能及...
2018-03-28 23:04:12
1124
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人