程序员学编程-CSDN博客

原创 go基础之json格式数据处理

go基础之json格式数据处理1、结构体小写问题导致出错2、struct没有正确加tag3、struct加上tag4、struct tag扩展go基础之json格式数据处理go标准库里面提供了一个包进行go格式的数据处理，官方文档地址：https://golang.org/pkg/encoding/json/ 具体文档大家可以自己去看，这里只记录我自己作为一个...

2018-08-10 10:46:04 1056

原创 go基础之服务退出问题

最近学习公司微服务的代码，看到每一个微服务的main函数都阻塞在那里，然后里面起的goroutine一直在哪里运行。package mainimport( "fmt" "os" "os/signal" "syscall" "log" "time")func testFunc() error { go func(){

2018-07-31 19:31:04 1452

原创 Prometheus笔记（二）监控go项目实时给grafana展示

一、prometheus和grafana安装1、promethues安装2、grafana安装二、获取监控数据三、配置grafana展示数据1、修改配置重启promethues和grafana2、创建数据源3、创建dashboard参考资料一、prometheus和grafana安装1、promethues安装先写好配置文件，保存为promet...

2018-07-14 16:05:12 12605

原创 Prometheus笔记（一）metric type

Prometheus笔记（一）metric type1、Counter1.1 Counter1.2 CounterVec2、Gauge2.1 Gauge2.2 GaugeVec3、Summary4、Histogram二、参考资料Prometheus笔记（一）metric typePrometheus客户端库提供四种核心度量标准类型。这些...

2018-07-13 11:36:53 14369

原创 go基础之不定参函数

制定类型参数任意类型参数的变参go语言同其他编程一样也提供了对变参函数的支持。本文简单讲解一下go中变参函数的使用方法。制定类型参数不定参数是指函数传入的参数个数为不定数量，个数需要在调用的时候才能得到确定。go语言中接受不定参数的函数的原型如下所示：func myfunc(args ...type)func myfunc(arg1 int, args ...

2018-07-05 20:01:24 1146

原创 go基础之基本数据结构（数组、slice、map）

go基本的数据结构有数组、slice、map，高级数据结构为结构体为用户自定义类型。本片文章主要讲解三大基本数据结构。数组数组是包含单个类型的元素序列，但是长度固定的数据类型，一个数组声明时需要指定数据类型和长度进行。例如定义长度为6的整形数组var x [6]int声明一个数组x用于存储int类型的元素且长度为6，所以数组x将由6个整数元素组成。声明一个数组并赋值...

2018-07-01 15:36:02 6921 1

原创 mininet（三）简单的NAT实验

本次实验拓扑图如下：假设 Openvswitch switch1是一个带有NAT功能的路由器，H1 的IP地址为 192.168.1.10，MAC地址为：00:00:00:00:00:01， H2 的IP地址为 10.0.0.1 MAC 地址为 00:00:00:00:00:02。私有网络的默认网关为： 192.168.1.1。公网默认网关为： 10.0.0.2。在H1发送IP报文给...

2018-05-13 17:25:20 5213 5

原创 mininet（二）简单的路由实验

在网上找了好几个代码都是不能直接复现成功，这里把自己实现成功的代码给大家演示一下。实验的拓扑结构如下：试验中利用一台主机代替router，开启ip_forward选项，来链接两个子网。#!/usr/bin/pythonimport timefrom mininet.net import Mininetfrom mininet.node import Controller,...

2018-05-06 20:10:22 6514 1

原创 mininet（一）实验环境搭建

最近学习（https://github.com/mininet/openflow-tutorial/wiki ）虚拟网络相关知识，搭建一个实验环境花了不少时间，这里记录下过程。教程里面描述的使用的软件不太一样，因为我win10安装virtualbox，导入mininet虚拟机一直起不来，也没有使用教程里面的xshell和putty，使用了我经常使用secureCRT软件作为远程登入软件。软...

2018-04-14 22:53:50 4401 2

原创 python解析ifconfig 输出成字典

有个需求需要将ifcofig输出解析出来，这里将写的整理出来。方便后续使用。eth0 Link encap:Ethernet HWaddr 00:50:53:b2:23:e6 inet addr:10.190.179.83 Bcast:10.180.255.255 Mask:255.255.0.0 inet6 addr: fe80...

2018-04-11 08:46:25 1410

原创 python scapy的使用总结

基本命令ls() List all available protocols and protocol options lsc() List all available scapy command functions conf Show/set scapy configuration parameters生成数据包# Setting protocol fields>...

2018-02-09 15:48:01 19547

翻译 apache mpms和php概述

当设置一个Apache + PHP服务器来运行你的PHP应用程序时，有许多配置参数需要处理。最重要的是php服务器Api（server api：sapi），它决定了Apache将如何运行PHP脚本。除了php sapi之外，另一个重要的选择是apache mpm（多处理模块）。 mpms决定了apache如何处理一般的请求。mpms和sapis有多种选择，每种都有自己的优点和缺点。某些配

2018-01-31 14:07:10 732

欢迎加入python学习交流群 667279387最近在使用flask开发一个业余学习项目，由于之前都是“小打小闹”，整个程序都是放在一个文件夹里面的，也没有注意这个问题。这次项目整的稍微正规一点，发现自己没有吃透flask蓝图的功能。这里记录一下自己遇到的问题，方便以后查阅。问题：注册了蓝图，但是找不到对应的URL。后来发现是自己没有正确使用蓝图。原因下面以一个简单的示例框架进行说明。首先看下本次

2017-12-27 12:34:31 3011

原创 Django中直接执行SQL语句

今天在django views.py看到同事写的代码里面有段关于数据库查询的语句。因为涉及多个表的查询，所以django 的models的查询无法满足需求，所以直接执行了SQL语句。他是按照下面的方法实现的。 try: connection = MySQLdb.connect(host=SQL_IP, u

2017-12-04 17:13:17 14725 1

原创爬虫学习（二）--爬取360应用市场app信息

欢迎加入python学习交流群 667279387 爬虫学习爬虫学习（一）—爬取电影天堂下载链接爬虫学习（二）–爬取360应用市场app信息代码环境：windows10， python 3.5 主要用的软件包：SQLAlchemy，re初学爬虫，没有使用scrapy框架，而是自己简单打了一个框架。代码里面也没有考虑记录日志以及错误处理等方面的内容，只是能简单工作。如果需要可以在此源码

2017-12-02 16:49:35 6186

原创 pandas学习（四）--数据的归一化

欢迎加入python学习交流群 667279387Pandas学习（一）–数据的导入 pandas学习（二）–双色球数据分析 pandas学习（三）–NAB球员薪资分析 pandas学习（四）–数据的归一化 pandas学习（五）–pandas学习视频归一化方法有两种形式，一种是把数变为（0，1）之间的小数，一种是把有量纲表达式变为无量纲表达式。主要是为了数据处理方便提出来的，把数

2017-11-26 20:31:31 79220 4

原创简单http和https服务器python脚本

欢迎加入python学习交流群 667279387工作经常要用到测试http和https协议，这里写了两个简单的脚本实现简单的http服务器和https服务器。http服务器代码import sys import BaseHTTPServer from SimpleHTTPServer import SimpleHTTPRequestHandler HandlerClass = SimpleH

2017-11-26 16:29:45 10864 2

原创简单高效的端口扫描python脚本

from concurrent import futuresimport socketimport threadingimport timesocket.setdefaulttimeout(3)def scan_port(ip, PORT): try: if PORT>=65535: print "sacn over." s =

2017-11-16 15:43:35 1787

原创 python笔试题汇总

一、基本语法1、什么是lambda函数？它有什么好处？ lambda作为一个表达式，定义了一个匿名函数。lambda和普通的函数相比，就是省去了函数名称而已，同时这样的匿名函数，又不能共享在别的地方调用。2、请写出一段python代码实现删除一个list里面的重复元素。3、介绍一下except的用法和作用4、单引号，双引号，三引号的区别5、请解释下GIL6、copy和deepcopy的区别7、

2017-11-03 11:30:29 2573

原创利用python进行微信好友分析

本文主要利用python对个人微信好友进行分析并把结果输出到一个html文档当中，主要用到的python包为itchat，pandas，pyecharts等1、安装itchat 微信的python sdk，用来获取个人好友关系。获取的代码如下：import itchatimport pandas as pdfrom pyecharts import Geo, Baritchat.login(

2017-10-25 22:30:51 1383

原创爬虫学习（一）---爬取电影天堂下载链接

主要利用了python3.5 requests，BeautifulSoup，eventlet三个库来实现。1、解析单个电影的详细页面例如这个网址：http://www.dy2018.com/i/98477.html。要获取这个电影的影片名和下载地址。我们先打开这个网页来分析下这个这个网页的源代码。包含影片名字的字段：<div class="title_all"><h1>2017年欧美7.0分

2017-10-12 21:19:11 14308 5

原创数据挖掘算法（四）--线性回归

给定一个数据集{yi,xi1,...,xip}ni=1\{y_i,x_{i1},...,x_{ip}\}_{i=1}^{n} ，线性回归模型主要是为了找到变量yiy_i 和向量XX的线性关系。 This relationship is modeled through a disturbance term or error variable εi — an unobserved random var

2017-10-08 21:32:35 1465

原创数据挖掘算法（三）--logistic回归

数据挖掘算法学习笔记汇总数据挖掘算法（一）–K近邻算法（KNN）数据挖掘算法（二）–决策树数据挖掘算法（三）–logistic回归在介绍logistic回归之前先复习几个基础知识点，有助于后面的理解。基本数学知识点1、对数似然函数若总体X为离散型，其概率分布列为 P(X=x)=p(x,θ) P(X=x)=p(x,\theta) 其中θ\theta为未知参数。设 (X1,X2,...,

2017-09-26 19:18:36 1838

原创数据挖掘算法（二）--决策树

ID3算法在介绍ID3算法之前先介绍下熵的概念信息熵：它是随机变量不确定度的度量。一个离散随机变量X的概率密度函数为p(x)p(x)，那么X的熵可以定义为H(x)=−∑xp(x)log2p(x)H(x)=-\sum_{x}{p(x)log_2p(x)} 使用2为底的对数函数，熵的量纲一般情况下为比特（bite）。当对数底位e的情况，熵的单位为奈特（nat）。在平均意义下，它是为了描

2017-09-21 21:58:27 1229

原创数据挖掘算法（一）--K近邻算法（KNN）

数据挖掘算法学习笔记汇总数据挖掘算法（一）–K近邻算法（KNN）数据挖掘算法（二）–决策树数据挖掘算法（三）–logistic回归算法简介KNN算法的训练样本是多维特征空间向量，其中每个训练样本带有一个类别标签。算法的训练阶段只包含存储的特征向量和训练样本的标签。在分类阶段，k是一个用户定义的常数。一个没有类别标签的向量（查询或测试点）将被归类为最接近该点的k个样本点中最频繁使用的

2017-09-20 21:43:45 2505

原创 Pandas学习（三）——NBA球员薪资分析

欢迎加入python学习交流群 667279387学习笔记汇总 Pandas学习（一）–数据的导入 pandas学习（二）–双色球数据分析 pandas学习（三）–NAB球员薪资分析 pandas学习（四）–数据的归一化 pandas学习（五）–pandas学习视频本篇文章主要利用NBA球员的薪资数据处理来进一步学习pandas这个数据处理工具。1、获取数据并保存本文从网

2017-09-15 20:10:06 7629 3

原创 Pandas学习（二）——双色球开奖数据分析

学习笔记汇总 Pandas学习（一）–数据的导入 pandas学习（二）–双色球数据分析 pandas学习（三）–NAB球员薪资分析 pandas学习（四）–数据的归一化 pandas学习（五）–pandas学习视频本章主要利用双色球开奖数据来学习pandas的DataFrame数据选取，Series的统计功能，以及matplotlib画柱状图。ball.py# -*- co

2017-08-26 11:21:27 8034 2

原创 vmware虚拟机扩大硬盘

记录一下对vmware虚拟机扩大硬盘的过程。操作有风险，重要数据请先进行备份。1、首先在vcenter中将虚拟机下电，然后编辑虚拟机，将虚拟机硬盘扩大。具体操作见下图 2、打开虚拟机电源，利用fdisk -l可以看到虚拟机的硬盘变大了，但是df -h查看磁盘还是原来的。见下图 root@demo:~# df -hFilesystem Size Used Avail Use% Mou

2017-08-18 18:16:26 5104

原创 shell学习

一、数组1、数组遍历#!/bin/bashSUPPORTED_OPENSTACK_VERSION=('libtery' 'mitaka' 'ocata')for var in ${SUPPORTED_OPENSTACK_VERSION[@]}do echo $vardone运行结果root@vSOM:~# ./test.sh libterymitakaocata2、数组实现菜单

2017-08-15 21:23:19 696

原创 Pandas学习（一）——数据的导入

欢迎加入python学习交流群 667279387学习笔记汇总 Pandas学习（一）–数据的导入 pandas学习（二）–双色球数据分析 pandas学习（三）–NAB球员薪资分析 pandas学习（四）–数据的归一化 pandas学习（五）–pandas学习视频本文所有的环境：python ：3.5 pandas：0.19.2 numpy：1.12.1，sqlalchem

2017-04-25 10:45:21 25242 2

原创 openstack学习之neutron ml2初始化代码分析

这里没有去详细考虑neutron server怎么初始化的，而是直接从加载插件的地方开始分析。首先我们看下下面这个文件。Neutron/api/v2/router.pyclass APIRouter(base_wsgi.Router): @classmethod def factory(cls, global_config, **local_config): retu

2017-03-27 16:33:12 1560

原创 openstack Mitaka实验环境安装(centos系统)

本博文仅供参考，具体一定详细学习官方安装文档。一准备工作二安装过程1 安装NTP服务2 安装openstack包3 SQL数据库安装4 安装消息队列 message queue5 Memcached安装6 Identity 安装7 image服务安装glance快捷键一、准备工作博主采用的物理服务器是PowerEdge R420，服务器安装centos 64位系统（安装方法自行

2017-01-05 22:18:34 3437

翻译 openstack网络（四）-虚机流量分析

几种网络名词解释使用LinuxBridge时虚机流量分析VLANFLATLocalVXLAN使用OVS时虚机流量分析几种网络名词解释1、local网络：local网络是与其他网络和节点隔离的网络。连接到本地网络的实例可以与相同计算节点上的相同网络中的其他虚拟机通信，但是可能无法与驻留在另一主机上的相同网络中的虚拟机通信。由于这种设计限制，local网络仅推荐用于测试目的。2、flat网络

2016-12-15 22:39:53 6720

原创 openstack网络（三）

openstack网络架构Neutron中的基本网络元素插件扩展功能ML2Modular Layer 2 pluginNeutron架构图openstack网络架构Neutron中的基本网络元素Neutron使用所有网络管理员熟悉的元素来构建虚拟网络，包括网络，子网，端口，路由器，负载均衡器等。使用2.0版本核心Neutron API，用户可以构建一个由以下实体组成的网络：网络：网络（N

2016-12-13 22:44:18 3293

翻译 openstack网络（二）

连接物理服务器单网卡多网卡跨主机安装网络服务使用单个控制节点安装使用专用网络节点安装连接物理服务器每个物理主机所需的网卡数量取决于云平台使用领域，组织的安全性和性能要求以及硬件的可用性。要完全运行的OpenStack云必须具有管理网络和数据网络。如果物理服务器只有一个网卡接口，导致的是管理数据和业务数据走一个接口。这样的部署方式在规模比较小时可以用，但是如果大型的数据中心这种方法并不可取。

2016-12-11 10:40:03 2325

翻译 openstack网络（一）

什么是OpenStack NetworkingOpenStack网络的特性交换机路由器负载均衡防火墙虚拟专用网络网络功能虚拟化网络类型管理网络API 网络外部网络访客网络在一个现代的数据中心，网络设备要比以前复杂的多。服务器，交换机，路由器，存储系统和防火墙安全设备等都可能是以虚拟机和虚拟网络设备的形式存在。这些设备对传统网络管理系统造成巨大压力，因为它们无法提供可扩展的自

2016-12-11 00:58:47 2469

原创 python操作s3服务中的文件

亚马逊云aws提供了s3服务。国内一些云厂商也用了s3技术。要操作s3服务器中的文件需要用到boto这个python包。下面的代码是一个简单例子。#! /usr/bin/python# -*-coding:utf-8-*import loggingfrom boto.s3.key import Keyfrom boto.s3.connection import S3Connectionimp

2016-12-03 12:45:59 4788

原创统计代码行数

svn diff -r 1022:1000 > /home/diff先diff出两个版本的diff文件sed '/\/\*/,/\*\//d' diff | grep "^+" | sed 's/^.//g' | sed '/^[[:space:]]*$/d' | wc -l1、sed 's/^.//g'：s/pattern/xxxx/ pattern 是要被替换的字符串的正则表达式，

2016-11-22 10:05:57 609

原创 secureCRT脚本编写

secureCRT脚本编写secureCRT脚本编写脚本编写实例python脚本js脚本secureCRT支持三种脚本语言：vbs,Js,python。三种脚本分别以一下三种形式开头：//vbs# $language = "VBScript"# $interface = "1.0"//js# $language="JScript"# $interface="1.0"//pytho

2016-11-22 09:58:48 17728 1

原创 libcurl库浅析

先放上libcurl官方文档：链接第一步：全局初始化#include <curl/curl.h>CURLcode curl_global_init(long flags );在使用libcurl库的时候需要运行上面的函数生成所需要的环境。这个函数在整个程序进程当中只能运行一次。相对应的是curl_global_cleanup ：用来清除环境。常用的falgs为下面几个。CURL_GLOBAL_A

2016-06-16 15:26:59 861