自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

转载 HttpRunner核心特性

HttpRunner源码阅读功能介绍 链接: https://debugtalk.com/post/httprunner-2.0-release/ https://pypi.org/project/httprunner/ https://docs.httprunner.org/ https://t...

2020-04-14 10:52:50 74 0

原创 《代码的艺术》学习笔记

需求分析和系统设计 需求分析: 定义系统/软件黑盒的行为(external what) 需求需要用精确的数字来进行刻画 系统设计: 设计系统/软件白盒的机制(internal how& why) trade-off ...

2020-03-19 09:07:42 66 0

原创 Python中的编码问题

Python 中遇到的最大的问题就是编码问题了,之前也是一知半解,但是谨遵教训尽量使用utf-8 编码,文件格式也使用utf-8保存,避免了一些问题,但是最近在做网络爬虫的时候遇到了编码的问题,于是查询资料,稍微有些明白,整理如下。 首先谈一谈编码问题 参考了知乎上关于Python编码的问题。 了...

2019-04-23 10:14:28 93 0

转载 linux 操作小技巧

1.如何查询linux 是Ubuntu还是centos系统? 第一种方法: # lsb_release -a LSB Version: :core-4.0-ia32:core-4.0-noarch:graphics-4.0-ia32:graphics-4.0-noarch:printing-...

2019-03-05 14:37:23 81 0

原创 加密算法的分类及应用

加密算法基本上可以分为三类,分别是对称性加密算法、非对称性加密算法和消息摘要算法,每一类算法中又有多个不同的具体算法,下面就分别进行介绍。 对称性加密算法 对称性加密算法使用同一个密钥对信息进行加密和解密,其信息的安全性一部分取决于加密算法和密钥的长度,另一部分取决于密钥在传递过程中是否会被截获或...

2019-01-16 14:08:59 333 0

原创 ssh两种认证方式的原理介绍

SSH是一种加密的网络传输协议,可在不安全的网络中为网络服务提供安全的传输环境。SSH通过在网络中创建安全隧道来实现SSH客户端与服务器之间的连接。虽然任何网络服务都可以通过SSH实现安全传输,SSH最常见的用途是远程登录系统,人们通常利用SSH来传输命令行界面和远程执行命令。ssh 协议交互过程...

2018-11-01 15:49:30 3182 4

原创 配置Linux ssh 免密登录

linux 常用的ssh登录方式主要有两种:密码登录和证书登录 有两台机器,机器A和机器B: 如从A登录机器B: 密码登录方式:在机器A上操作 ssh root@机器B的ip 提示输入密码,登录成功! 免密登录方式:在机器A上操作 ssh root@机器B的ip 直接登录成功! 要做到免密登录需要...

2018-10-31 17:02:23 113 0

转载 python回调函数

今天接触到了回调函数这个词,想深入了解下,看到一篇文章讲得很清楚,摘录下来,详细参考文末链接 编程分为两类:系统编程(system programming)和应用编程(application programming)。所谓系统编程,简单来说,就是编写库;而应用编程就是利用写好的各种库来编写具某种功...

2018-10-16 17:20:50 345 0

转载 python 多进程与子进程

多进程: 1.os.fork() 2.from multiprocessing import Process 3.form multiprocessing import Pool 子进程: subprocess 很多时候,子进程并不是自身,而是一个外部进程。我们创建了子进程后,还需要控...

2018-10-10 15:47:36 665 0

转载 如何理解Linux下,使用top命令看到内存占用情况

linux 下使用top命令之后看到内存占用情况如下: Mem: 32849260k total, 32630656k used, 218604k free, 445512k buffers Swap: 0k total, 0k used, ...

2018-09-07 15:04:41 2307 0

转载 安装protobuf

下载路径: 安装步骤: ./configure make make install 第一次出现这个问题: Traceback (most recent call last): File "<stdi...

2018-09-05 11:08:40 104 0

原创 centos 离线安装confluent_kafka 模块

centos 离线安装confluent_kafka 模块 背景:需要安装Python模块的机子不能上网,只能下载源码进行安装 说明:如果可以上网直接pip install confluent_kafka 即可 需要安装模块,confluent_kafka 依赖librdkafka 模块: ...

2018-08-16 17:18:00 1161 0

原创 tensorflow 升级失败 ImportError: cannot import name abs

之前安装的比较早,版本是1.6.0,最近想要升级,于是参考网上链接进行升级 pip install --upgrade --ignore-installed tensorflow 升级之后运行出现了模块导入错误 ImportError: cannot import name abs 网上搜...

2018-07-20 18:35:14 11749 3

原创 ubuntu Docker 环境下设置crontab

设置crontab 第一个问题就是时区不对的问题,默认系统时区为UTC,时间不同步,设置定时任务时会有偏差。因此,先更改时区 解决办法:在Dockerfile中加入即可 RUN echo”Asia/Shanghai” > /etc/timezone RUN dpkg-recon...

2018-06-22 14:27:58 1467 0

原创 python中json串特殊字符替换问题

在json串中发现特殊字符”\n”,使用str.replace("\n","")进行替换,在终端测试ok。但是脚本运行(从文件中读取json串)一直不能成功,后使用str.replace("\\n&q...

2018-06-04 16:13:27 4726 0

原创 使用python编写hadoop的mapper 和reducer

参考: https://www.cnblogs.com/hopelee/p/7476145.html https://blog.csdn.net/zhaoyl03/article/details/8657031 上一篇文章,学习了搭建hadoop 环境,现学习如果使用pyth...

2018-05-21 19:06:14 1748 0

转载 【转】史上最详细的Hadoop环境搭建

GitChat 作者:鸣宇淳 原文: 史上最详细的Hadoop环境搭建 前言 Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远。 这是一篇入门文章,Hadoop的学习...

2018-05-18 17:45:19 290 0

原创 linux 下批量杀死包含某个关键字的进程

前几天因工作需要,需在linux下批量杀死包含某个关键字的进程,在网上一通搜,倒是有很多讲的不错的。参考了这篇博主的文章,讲的很详细。大家也可以参考。http://blog.csdn.net/bluecloudmatrix/article/details/36200079 如果不明白意思,可以从...

2018-05-18 11:53:16 217 1

原创 MAC pydotplus.graphviz.InvocationException: GraphViz's executables not found

在学习机器学习-决策树算法,使用决策树算法进行训练,在保存为pdf时遇到错误: pydotplus.graphviz.InvocationException: GraphViz's executables not found 网上一通搜,有说是GraphViz 和pydot 安装...

2018-03-20 15:23:37 3573 2

原创 机器学习-K近邻算法

用例一: from sklearn.neighbors import NearestNeighbors import numpy as np X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]]) nbrs ...

2018-03-20 14:27:38 164 0

原创 Linux 下批量杀死包含某个关键字的进程

前几天因工作需要,需在linux下批量杀死包含某个关键字的进程,在网上一通搜,倒是有很多讲的不错的。参考了这篇博主的文章,讲的很详细。大家也可以参考。http://blog.csdn.net/bluecloudmatrix/article/details/36200079 如果不明白意思,可以从...

2018-03-13 10:14:04 559 0

原创 MacOS python shell下使用命令运行ok,但是在eclipse上运行失败

问题描述:mac 系统,使用pip 安装了python 模块之后,在shell 下导入模块ok,程序运行也OK。在eclipse下没有报模块不存在的问题,但是程序运行时模块调用的某一部分一直报错。 问题分析:因为安装的python 模块依赖比较多,当时因为权限的问题没有安装成功反复尝试过几次,猜...

2018-03-10 14:13:48 356 0

原创 ssh公钥私钥认证原理

转载链接:http://blog.csdn.net/cnbird2008/article/details/8038926通常,通过ssh登录远程服务器时,使用密码认证,分别输入用户名和密码,两者满足一定规则就可以登录。但是密码认证有以下的缺点: 用户无法设置空密码(即使系统允许空密码,也会十分危险...

2017-12-12 18:13:09 1303 0

原创 gcc 编译遇到 pcap 库问题

首先在ubuntu中编译c文件遇到的问题是:xxx.c:2:18: fatal error: pcap.h: No such file or directory #include <pcap.h> ^ compilation terminated....

2017-11-15 14:43:33 6911 0

原创 NetBIOS初步了解

NetBIOS定义及作用 NetBIOS:是Network Basic Input/Output System的简称,一般指用于局域网通信的一套API。作用是为了给局域网提供网络以及其他特殊功能,系统可以利用WINS服务、广播及Lmhost文件等多种模式将主机名解析为相应IP地址,实现信息通讯,...

2017-11-01 18:24:12 3809 0

原创 为什么wirshark 抓到54B的包,以太网最小包不是64B吗?

以太网的最小包不是64B吗?为什么我在用wireshark 抓包的时候抓到了60B,有时候还会抓到54B?以下进行解答。首先先看一下以太网帧格式,参照RFC894的标准,以太网有14B的头和4B的CRC校验,数据字段范围:46—1500B。Q1:那么为什么会抓到60B呢? A:因为以太网帧的最后...

2017-10-20 14:53:15 1029 1

原创 mac 下包管理工具 brew

之前使用ubuntu,apt-get 实在好用,现在用mac 什么工具比较好呢?当然是brew啦! 网站:https://brew.sh命令行使用/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homeb...

2017-10-20 14:38:26 552 0

原创 网络编程中的常用函数整理

网络编程常用到的函数,进行整理。先上图基于TCP协议: 基于UDP协议:常用函数:socket: 函数原型:int socket(int domain, int type, int protocol); 参数说明: domain:称协议族(family),常用的协议族有AF_INET、AF...

2017-10-10 14:27:47 1030 0

原创 sudo apt-get install winbind

今天在安装winbind的时候出现各种错误,提示需要有模块依赖,还有一些模块损坏:The following packages have unmet dependencies: winbind : Depends: samba(= 2:4.1.6+dfsg-1ubuntu2) but 2:4.1...

2017-09-26 20:03:39 879 0

原创 IP、TCP、UDP校验和计算

校验和计算: 1.对所有需要进行校验的数据(校验和部分全部置0),每16bit分成一组。 2.对所有的组,依次按位求和,求和时如有溢出,则进行回卷。 3.对所求的和进行反码运算。 4.将反码后所得数据填入校验和位置。具体例子参考RFC:https://tools.ietf.org/html...

2017-09-21 19:48:53 1061 0

原创 UDP 协议格式

UDP RFC:https://tools.ietf.org/html/rfc768 UDP协议和TCP协议同位于传输层,介于网络层(IP)和应用层之间:UDP数据部分位应用层报文。而UDP报文在IP中承载。 UDP 报文格式相对于简单,如下图: 源端口:端口号0-65535,1-1024保留...

2017-09-21 15:17:48 5097 0

原创 IP 协议帧格式

IP协议RFC:https://tools.ietf.org/html/rfc791IP协议在协议栈中位于网络层,网络数据传输封装方式如下:IP报文格式如下:版本:IP报文版本号 IPV4:4,IPV6:6 首部长度:IP header 长度,没有选项,则一般为5(5x32bit=20B) 8...

2017-09-21 14:23:37 9239 0

原创 NTP服务器搭建与测试

服务器 首先是安装: sudo apt-get install ntp 修改配置文件(ntp仅有的配置文件): sudo vi /etc/ntp.conf # 如果进行局域网配置,可参考如下: # Specify one or more NTP servers. server 192.16...

2017-09-19 16:33:58 3238 0

原创 wireshark 抓包ICMP 出现 no response seen

今天测试代码的时候抓包,发现icmp的包,wireshark 抓出来的包,显示黄色~~感觉有异常,抓包如下图:后来又抓了一个正常的包,如下图:这里显示 Response frame :391对比之后理解了,是因为wireshark 在抓的时候也会帮助自动分析,第一种场景中,发送的包,是正常包,只是...

2017-09-15 13:52:02 11556 4

原创 dns协议及帧格式

DNS(Domain Name System,域名系统),因特网上作为域名和IP地址相互映射的一个分布式数据库,能够使用户更方便的访问互联网,而不用去记住能够被机器直接读取的IP数串。DNS协议运行在UDP协议之上,使用端口号53。协议格式: ID(2字节):response 报文和reques...

2017-09-11 14:32:21 3037 0

原创 ubuntu搭建dns服务器

因为工作需要,需在局域网内搭建一台dns服务器。确实遇到一些问题,也有一些好的文章,作为记录。 参考链接如下: 搭建过程:http://www.linuxidc.com/Linux/2015-04/116350.htm 对于各个字段的说明:http://blog.csdn.net/aly19...

2017-09-07 20:45:58 1713 0

原创 linux 修改IP重启网卡方法

修改网卡命令:ifconfig eth0 192.168.0.3 netmask 255.255.255.0 ⚠️临时修改IP生效,如果想重启之后依然生效,可以修改网卡配置文件。重启网卡命令:centos: sudo service network restart ubuntu:sudo ...

2017-09-07 13:51:50 27104 0

转载 ubuntu 解决unable to resolve host的问题

参考链接:http://blog.csdn.net/ichuzhen/article/details/8241847如果ubuntu修改文件的时候一直提示:sudo:unable to resolve host abc那么就需要修改/etc/hosts文件: 如果之前为127.0.0.1 loc...

2017-09-07 13:03:23 17405 0

原创 ubuntu 配置dns之后可以nslookup 解析但是ping 显示ping: unknown host

参考文章: http://caok1231.iteye.com/blog/1561970 http://blog.csdn.net/huang_xw/article/details/8710888近期搭建了局域网dns服务器,配置完成之后,发现可用,其他的客户机配置dns,进行解析测试,遇到了...

2017-09-07 11:43:45 1080 0

原创 VIP(虚拟IP)设置-Ubuntu

近期因为工作需要设置VIP,做简单的负载均衡,就是访问一个IP可以随机访问不同的机子。于是就想到了VIP,假设有1到5有5台机子,每个机子的ip 分别是 192.168.0.101-192.168.0.105,对外提供服务的时候使用IP为 192.168.0.107,那么只需要对每个机子再设置一个...

2017-09-01 15:17:18 3813 0

提示
确定要删除当前文章?
取消 删除