- 博客(60)
- 收藏
- 关注
RSS订阅转载 nginx转发域名小记
使用nginx转发域名配置如下：server { listen 80; server_name git.louyifei.com; charset utf-8; access_log /var/log/nginx/git-access.log; error_log /var/log/nginx/g...
2019-06-10 10:35:00
163
转载 简化kubernetes应用部署工具之Helm应用部署
介绍微服务和容器化给复杂应用部署与管理带来了极大的挑战。Helm是目前Kubernetes服务编排领域的唯一开源子项目，做为Kubernetes应用的一个包管理工具，可理解为Kubernetes的apt-get / yum，由Deis 公司发起，该公司已经被微软收购。Helm通过软件打包的形式，支持发布的版本管理和控制，很大程度上简化了Kubernetes应用部署和管理的复杂性。随着...
2019-02-26 10:39:00
165
转载 docker-compose的使用
docker-compose的介绍Compose是一个定义和管理多容器的工具,使用Python语言编写。使用Compose配置文件描述多个容器应用的架构,比如使用什么镜像、数据卷、网络、映射端口等;然后一条命令管理所有服务,比如启动、停止、重启等。安装curl -L https://github.com/docker/compose/releases/download...
2019-01-21 09:56:00
98
转载 搭建k8s（一）
安装VMWareVMWare官网地址点击下载-->WorkStation Pro-->点击linux免费试用版下载安装完成后，创建一个虚拟机，去centos官网找到centos7iso镜像并下载值得一提的地方：“软件选择”不要选择“最小安装”，建议选择最后一个“开发及生产工作站”。安装位置选择默认自动分区，禁用Kdump，打开网络，让你的虚拟机可以连接到互...
2018-12-25 10:00:00
81
转载 linux环境下安装使用selenium Chrome
安装驱动http://chromedriver.storage.googleapis.com/index.html下载对应chrome浏览器版本的驱动程序chmod +x chromedriversudo mv -f chromedriver /usr/local/share/chromedriversudo ln -s /usr/local/share/chro...
2018-12-20 18:39:00
99
转载 常用User-Agent大全
浏览器User-Agent的详细信息PC端：safari 5.1 – MAC User-Agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50safari 5.1 – Windo...
2018-12-19 17:35:00
870
转载 缓存之Memcache
MemcacheMemcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程（daemon ）是用C写的，但是客户端可以用任何语言来编写，并通过memcached协议与守护进程通信。缺点:只能支...
2018-12-19 11:23:00
79
转载 git-commit Angular规范
commit message的格式每次提交，Commit message 都包括三个部分：Header，Body 和 Footer。<type>(<scope>): <subject>// 空一行<body>// 空一行<footer>其中，Header 是必需的，Body 和 Footer ...
2018-12-18 10:09:00
440
转载 Kubernetes介绍及基本概念
kubernetes介绍Kubernetes是Google在2014年6月开源的一个容器集群管理系统,使用Go语言开发,Kubernetes也叫K8S。K8S是Google内部一个叫Borg的容器集群管理系统衍生出来的,Borg已经在Google大规模生产运行十年之久。K8S主要用于自动化部署、扩展和管理容器应用,提供了资源调度、部署管理、服务发现、扩容缩容、监控等一整套功能。201...
2018-12-17 10:02:00
105
转载 mysql索引原理及慢查询优化
介绍1.什么是索引？一般的应用系统，读写比例在10:1左右，而且插入操作和一般的更新操作很少出现性能问题，在生产环境中，我们遇到最多的，也是最容易出问题的，还是一些复杂的查询操作，因此对查询语句的优化显然是重中之重。说起加速查询，就不得不提到索引了。2.为什么要有索引呢？索引在MySQL中也叫做“键”，是存储引擎用于快速找到记录的一种数据结构。索引对于良好的性能非常关键，...
2018-12-13 15:15:00
65
转载 Dockerfile命令大全
Dockerfile制作Dockerfile为Docker入门学习的第一步。Dockerfile可以快速的帮助我们去构建镜像， 是在工作中必备的一项技能， 下面整理了一些命令FROM功能为指定基础镜像，并且必须是第一条指令。如果不以任何镜像为基础，那么写法为：FROM scratch。同时意味着接下来所写的指令将作为镜像的第一层开始语法：...
2018-12-12 14:36:00
81
转载 redis的数据类型及使用
Redis 数据类型Redis支持五种数据类型：string（字符串），hash（哈希），list（列表），set（集合）及zset(sorted set：有序集合)。String（字符串）string 是 redis 最基本的类型，你可以理解成与 Memcached 一模一样的类型，一个 key 对应一个 value。string 类型是二进制安全的。意思是 redi...
2018-12-11 17:59:00
70
转载 docker的安装及使用
docker一个虚拟化的技术，可以帮我们打包我们的环境, 快速的部署到其他机器上, 类似于一个虚拟机, 但是docker消耗的资源比较少Docker 是一个开源的应用容器引擎，基于Go 语言并遵从Apache2.0协议开源。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是...
2018-12-09 22:28:00
62
转载 django rest framework
一. 什么是restfulREST与技术无关，代表的是一种软件架构风格，REST是Representational State Transfer的简称，中文翻译为“表征状态转移”REST从资源的角度类审视整个网络，它将分布在网络中某个节点的资源通过URL进行标识，客户端应用通过URL来获取资源的表征，获得这些表征致使这些应用转变状态REST与技术无关，代表的是一种软件架构...
2018-11-30 21:13:00
62
转载 django-celery的配置及使用
Celery简介Celery 是一个 基于python开发的分布式异步消息任务队列，通过它可以轻松的实现任务的异步处理celery的应用异步调用：那些用户不关心的但是又存在在我们API里面的操作 我们就可以用异步调用的方式来优化（发送邮件 或者上传头像）定时任务：定期去统计日志，数据备份，或者其他的统计任务相关概念task:需要执行的任务worker:负责干...
2018-11-29 20:24:00
145
转载 django中邮件、日志的配置
邮件的发送及配置# 配置邮件EMAIL_USE_SSL = TrueEMAIL_HOST = 'smtp.qq.com' # 如果是 163 改成 smtp.163.comEMAIL_PORT = 465EMAIL_HOST_USER = "xxx@qq.com" # 帐号EMAIL_HOST_PASSWORD = "xxx" # 授...
2018-11-28 13:52:00
124
转载 django内置的认证系统
Django自带的用户认证我们在开发一个网站的时候，无可避免的需要设计实现网站的用户系统。此时我们需要实现包括用户注册、用户登录、用户认证、注销、修改密码等功能，这还真是个麻烦的事情呢。Django作为一个完美主义者的终极框架，当然也会想到用户的这些痛点。它内置了强大的用户认证系统--auth，它默认使用 auth_user 表来存储用户数据。auth模块from d...
2018-11-27 18:47:00
114
转载 云服务器上mysql的配置
mysql的配置要想云服务器的mysql数据库能被外部连接,还需要做一些配置首先执行下面三条命令：sudo apt-get install mysql-serversudo apt isntall mysql-clientsudo apt install libmysqlclient-dev安装成功后可以通过下面的命令测试是否安装成功：sudo...
2018-11-26 19:14:00
102
转载 django中的CBV
CBV介绍我们在写一个django项目时,通常使用的都是FBV(function base views)而CBV(class base views)也有它自己的应用场景,比如在写一个按照rest规范写接口时,CBV的适用性就比FBV更强先来看看CBV在django中的写法,与FBV有什么不同的地方url(r'^students/', views.StudentsV...
2018-11-24 17:22:00
275
转载 使用pca/lda降维
PCA主成分分析import numpy as npimport pandas as pdimport matplotlib.pyplot as plt# 用鸢尾花数据集 展示 降维的效果from sklearn.datasets import load_irisiris = load_iris()data = iris.data # 特征值targ...
2018-11-23 11:18:00
182
转载 交叉验证
交叉验证以鸢尾花数据集为例from sklearn.datasets import load_irisiris = load_iris()data = iris.datatarget = iris.target# 交叉验证 把数据集分成 不同的训练集 和 测试集 然后多次测算模型的准确率# cross_val cross validate 交叉验证fr...
2018-11-23 10:52:00
83
转载 各模型选择及工作流程
速度问题不同的算法之间,必然有不同的应用场景,比如knn的训练时间特别短,但是使用的时候消耗的时间就比较长,因为训练的时候他只是记录了各个点的位置,并没有做别的事而lgc(逻辑回归)训练的时间比较长,要计算各种权重,通过梯度下降找到最优解,但是使用的过程中就比较快,因为模型已经训练完毕了,后续只需要代入样本的数据就可以拿到结果所以选择什么算法,和我们的速度有很大的关系!...
2018-11-23 10:00:00
161
转载 岭回归
岭回归1、原理# 线性回归可以求解 各个特征的权重# 但是如果特征比样本还多 这个时候用线性回归就无法求解了# 三元一次方程组y1 = w1*x11 + w2*x21 + w3*x31y2 = w1*x12 + w2*x22 + w3*x32y3 = w1*x13 + w2*x23 + w3*x331 2 32 4 64 8 12...
2018-11-22 17:26:00
87
转载 线性回归
线性回归导包import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom sklearn.linear_model import LinearRegression1. 简单演示1.1 创建一些有对应关系的散点，使用线性回归推测关系...
2018-11-22 16:49:00
53
转载 K-临近算法(KNN)
K-临近算法(KNN)K nearest neighbour1、k-近邻算法原理简单地说，K-近邻算法采用测量不同特征值之间的距离方法进行分类。优点：精度高、对异常值不敏感、无数据输入假定。缺点：时间复杂度高、空间复杂度高。适用数据范围：数值型和标称型。工作原理存在一个样本数据集合，也称作训练样本集，并且样本集中...
2018-11-22 13:13:00
81
转载 django中的中间件
中间件介绍什么是中间件?官方的说法：中间件是一个用来处理Django的请求和响应的框架级别的钩子。它是一个轻量、低级别的插件系统，用于在全局范围内改变Django的输入和输出。每个中间件组件都负责做一些特定的功能。但是由于其影响的是全局，所以需要谨慎使用，使用不当会影响性能。(比如你在中间件里定义了100个函数,那么每个请求都会去执行这100个函数,会降低性能,增加服务器的压...
2018-11-21 12:14:00
53
转载 django中form组件
Form介绍我们之前在HTML页面中利用form表单向后端提交数据时，都会写一些获取用户输入的标签并且用form标签把它们包起来。与此同时我们在好多场景下都需要对用户的输入做校验，比如校验用户是否输入，输入的长度和格式等正不正确。如果用户输入的内容有错误就需要在页面上相应的位置显示对应的错误信息.。在登录,注册的时候,校验的代码到底是前端来写还是后端来写??其实最好都写,...
2018-11-20 19:47:00
109
转载 javascript中的词法分析
词法分析JavaScript中在调用函数的那一瞬间，会先进行词法分析。词法分析的过程：当函数调用的前一瞬间，会先形成一个激活对象：Avtive Object（AO），并会分析以下3个方面：1:函数参数，如果有，则将此参数赋值给AO，且值为undefined。如果没有，则不做任何操作。2:函数局部变量，如果AO上有同名的值，则不做任何操作。如果没有，则将此变量赋值给AO，并...
2018-11-17 15:03:00
134
转载 Django之Model操作
字段AutoField(Field) - int自增列，必须填入参数 primary_key=True BigAutoField(AutoField) - bigint自增列，必须填入参数 primary_key=True 注：当model中如果没有自增列，则自动会创建一个列名为id的列 ...
2018-11-16 19:03:00
81
转载 线性回归原理
线性回归简介绘制一条 函数曲线 要求是 尽量去符合 观测到的值观测到的 x 和 y把x带入到 我们 假设的函数中 得到y_y-y_y = w*x+bw 是 斜率 也可以认为是权重 weightb 是 截距 也可以认为是偏差 bias图解先来看两张图左边这张是样本各个点的数据集，那么我们利用机器学习的线性回归模型绘制出来的如右图所示。根据已有的点...
2018-11-15 22:09:00
124
转载 人生苦短,我用python(目录)
一、python基础篇python中闭包及延时绑定问题python中的装饰器、生成器二、前端bootstrap框架BOM&DOMJavaScript中的词法分析三、数据库mysql数据库的基本指令mangodb数据库基本指令redis数据类型及使用mysql索引原理及慢查询优化缓存数据之Memcache四、后端django之...
2018-11-15 19:17:00
134
转载 matplotlib各图形绘制
2D图形import numpy as npimport pandas as pdfrom pandas import Series,DataFrameimport matplotlib.pyplot as plt散点图【散点图需要两个参数x,y，但此时x不是表示x轴的刻度，而是每个点的横坐标！】scatter()通过散点图 可以研究 两个特征之间...
2018-11-15 16:54:00
113
转载 数据分析库之matplotlib
一、Matplotlib基础知识Matplotlib中的基本图表包括的元素x轴和y轴 axis 水平和垂直的轴线轴标签 axisLabel 水平和垂直的轴标签x轴和y轴刻度 tick 刻度标示坐标轴的分隔，包括最小刻度和最大刻度x轴和y轴刻度标签 tick label 表示特定坐标轴的值...
2018-11-13 19:04:00
153
转载 pandas中的空值处理
1.空值1.1 有两种丢失数据：None: Python自带的数据类型 不能参与到任何计算中np.nan: float类型 能参与计算，但结果总是nan# None+2 # 报错# np.nan + 2 # 值仍然是nan1.2 np.nan（NaN）数组直接运算会得到nan，但可以使用np.nansum...
2018-11-11 16:17:00
600
转载 pandas数据结构之Dataframe
DataframeDataFrame是一个【表格型】的数据结构，可以看做是【由Series组成的字典】（多个series共用同一个索引）。DataFrame由按一定顺序排列的多列数据组成。设计初衷是将Series的使用场景从一维拓展到多维。DataFrame既有行索引，也有列索引。行索引：index列索引：columns值：values（numpy的二维数组）...
2018-11-10 11:55:00
164
转载 pandas的数据结构之series
Pandas的数据结构1、SeriesSeries是一种类似于一维数组的对象，由下面两个部分组成：index：相关的数据索引标签values：一组数据（ndarray类型）series的创建方法:1.直接传入一个列表s1 = Series([1,2,3,4])s10 11 22 33 4dtype: in...
2018-11-09 18:51:00
200
转载 ndarray对象的使用方法
ndarray的基本操作1.索引基本索引:一维与list完全一致 多维同理例如:import numpyndarr1 = numpy.random.randint(0,10.size=5)ndarr1[0] # 取数组中的第一个值, 以此类推ndarr1[1] ndarr1[-1]高级索引:整数数组形式的索引例如:nd = np.r...
2018-11-06 21:30:00
361
转载 数据分析库之Numpy
Numpy get startedNumPy中我们要学习的核心其实就是一个 ndarray n多 d dimension 维度 array数组 多维数组创建一个ndarray的几种方法import numpy as np1. 使用np.array()创建多维数组np.array([1,2,3]) # 多维数组的构造函数# 传入 列表 就可以创建响应的...
2018-11-05 20:05:00
57
转载 分布式爬虫
如何实现分布式爬虫scrapy的url队列存在哪里？ （单机内存）redis是支持分布式的内存数据库可以为scrapy做一个新的调度器(redis)，替换scapy的默认调度器, 从而实现分布式功能。scrapy-redisscrapy-redis是scrapy的一个组件（插件），和 scrapy、redis配合。从而实现支持分...
2018-11-03 10:30:00
89
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人