- 博客(121)
- 收藏
- 关注
RSS订阅原创 数据分析基础之numpy
一、基本概念1、什么是Numpy一个在Python中做科学计算的基础库，重在数值计算，也是大部分PYTHON科学计算库的基础库，多用于在大型、多维数组上执行数值运算二、numpy基础1、numpy创建数组(矩阵)import numpy as np# 三种创建数据的方法,数组的类名为ndarray,数据的类型为int32t1 = np.array([1, 2, 3])print(t...
2020-03-31 18:34:21
262
原创 数据分析基础之绘图库matplotlib
数据分析概念数据分析是用适当的方法对收集来地大量的数据进行分析，帮助人们做出判断，以便采取适当行动。数据分析的流程：绘图工具matplotlib能将数据进行可视化，更直观的呈现。使数据更加客观、更有说服力。matplotlib是python的顶层绘图库，主要做数据可视化图标，名字取材于MATLAB,模仿MATLAB构建例子：绘制一天24小时的气温折线图from matplotlib...
2020-03-29 17:01:25
384
原创 pip下载第三方包太慢的解决办法
1、国内几个镜像站点，镜像站点如下：https://pypi.douban.com/simple/ 豆瓣http://mirrors.aliyun.com/pypi/simple/ 阿里http://pypi.hustunique.com/simple/ 华中理工大学http://pypi.sdutlinux.org/simple/ 山东理工大学http://pypi.mir...
2020-03-09 22:03:31
299
原创 VMware环境下Linux虚拟机使用NAT模式和桥接模式联网
一、虚拟网络简介vmware为我们提供了三种网络工作模式，它们分别是：Bridged（桥接模式）、NAT（网络地址转换模式）、Host-Only（仅主机模式）。打开vmware虚拟机，我们可以在选项栏的“编辑”下的“虚拟网络编辑器”中看到VMnet0（桥接模式）、VMnet1（仅主机模式）、VMnet8（NAT模式）。VMnet0表示的是用于桥接模式下的虚拟交换机；VMnet1表示的是用于仅...
2020-03-05 20:37:30
3779
转载 char与varchar类型区别的深度剖析
char和varchar这两种类型是我们经常使用的类型，在使用的时候大家也没有特别注意有什么区别，好奇心驱使我对其进行探究，经过查阅一番资料手册以及做的小测试，有了一定...
2020-02-23 15:21:04
168
原创 MySQL必知必会——安全管理、数据库维护
一、安全管理1、访问控制MySQL服务器的安全基础是： 用户应该对他们需要的数据具有适当的访问权限，不能多也不能少。即用户不能对过多的数据具有过多的访问权限。管理访问控制需要创建和管理用户账号。在现实的日常工作中，需要创建一系列的账号，有的用于管理，有的供用户使用，还有的供开发人员使用。2、管理用户MySQL用户账号和信息存储在名为mysql的数据库中。一般不需要直接访问mysql数...
2020-02-22 22:42:05
302
原创 MySQL必知必会——全球化和本地化
字符集和校对顺序不同的语言和字符集需要用不同的方式存储和检索，因此MySQL需要适应不同的字符集，适应不同的排序和检索方法。几个名词术语：1、字符集：字母和符号的集合；2、编码：某个字符集成员的内部表示；3、校对(collation)：规定字符如何比较的指令。使用字符集和校对顺序查看所支持的字符集完整列表SHOW CHARACTER SET;这条语句显示所有可用的字符集以及每个...
2020-02-22 19:49:54
144
原创 MySQL必知必会——触发器、事务处理
一、游标1、简介游标(cursor)是一个存储在MySQL服务器上的数据库查询，它不是一条SELECT语句，而是被该语句检索出来的结果集。在存储了游标之后，应用程序就可以根据需要滚动或浏览其中的数据。游标主要用于交互式应用，其中用户需要滚动屏幕上的数据，并对数据进行浏览或做出更改。游标只能用于存储过程和函数。2、使用方法 声明一个游标: declare 游标名称 CURSOR for ...
2020-02-20 18:05:30
538
原创 MySQL必知必会——视图、存储过程及游标
一、视图1、了解视图视图是虚拟的表，与包含数据的表不一样，视图只包含使用时动态检索数据的查询。SELECT cust_name,cust_contactFROM customers,orders,orderitemsWHERE customers.cust_id = orders.cust_idAND orderitems.order_num = orders.order_numAN...
2020-02-15 20:29:26
430
原创 MySQL必知必会——创建和操纵表
一、创建表MySQL不仅用于表数据操纵，而且还可以用来执行数据库和表的所有操作，包括表本身的创建和处理。一般有两种办法来创建表： 使用具有交互式创建和管理表的工具 表也可以直接用MySQL语句操纵为了应用程序创建表，可使用SQL的CREATE TABLE语句。在使用交互式工具时，实际上使用的是MySQL语句。但是，这些语句不是用户编写的，界面工具会自动生成并执行相应的SQL语句。1...
2020-02-13 17:00:22
243
原创 MySQL必知必会——插入、更新和删除数据
一、插入数据1、插入本章节介绍如何利用SQL地INSERT语句将数据插入表中。插入可以用几种方式使用： 插入完整的行 插入行的一部分 插入多行 插入某些查询的结果2、插入完整的行INSERT语句要求指定表名和被插入到新行中的值。MariaDB [course]> INSERT INTO customers -> VALUES(NULL, 'Kob...
2020-02-12 20:35:29
179
原创 MySQL必知必会——组合查询、全文本搜索
一、组合查询该章节讲述如何利用UNION操作符将多余SELECT语句组合成一个结果集合。1、 组合查询MySQL允许执行多个查询，并将结果作为单个查询结果返回。组合查询的情况： 在单个查询中从不同地的表返回类似结构的数据。 对单个表执行多个查询，按单个查询返回结果。2、 创建组合查询可用UNION操作符来组合数条SQL查询，利用UNION可以给出多条SELECT语句，将它们的结...
2020-02-11 18:25:21
191
原创 MySQL必知必会——联表查询
一、联结SQL最强大的功能之一就是能在数据检索查询的执行中联结(join)表。联结是利用SQL的SELECT能执行的最重要的操作，很好地理解联结及其语法是学习SQL地一个重要部分。在能够有效地使用联结前，必须了解关系表以及关系数据库设计的一些基础知识。1、关系表假如有一个包含产品目录的数据库表，其中每种类别的物品占一行。对于每种物品要存储的信息包括产品描述和价格，以及生产该产品的供应商信息。...
2020-02-10 22:57:56
323
原创 MySQL必知必会——分组、子查询
一、分组数据本节介绍如何分组数据，以便能汇总表内容的子集。这涉及两个新SELECT语句子句，分别是GROUP BY子句和HAVING子句。1、数据分组目前为止的所有计算都是在表的所有数据或匹配特定的WHERE子句的数据上进行的。MariaDB [course]> SELECT COUNT(*) AS num_prods -> FROM products -&g...
2020-02-08 19:21:57
310
原创 MySQL必知必会——函数的使用
一、使用数据处理函数1、函数与其他大多数计算机语言一样，SQL支持利用函数来处理数据。函数一般是在数据上执行的，它给数据的转换和处理提供了方便。函数没有SQL的可移植性强。 能运行在多个系统上的代码称为可移植的。相对来说，多数SQL语句是可移植的，而函数的可移植性不强。几乎每种主要的DBMS的实现都支持其他实现不支持的函数，而且有时候差异还会很大。为了代码的移植性，许多SQL程序员不赞成...
2020-02-06 20:59:03
207
原创 MySQL必知必会——创建计算字段
一、计算字段存储在数据库中的数据一般不是应用程序所需要的格式，下面举几个例子：假如想在一个字段中既显示公司名又显示公司的地址，但这两个信息一般包含在不同的表列中。省、城市、邮编粗存储在不同的列中，但邮件标签打印程序却需要把它们作为一个恰当格式的字段检索出来。列数据是大小写混合的，但报表程序需要把所有数据按照大写来表示出来。物品订单表存储物品的价格和数量，但不需要存储每个物品的总价格。为...
2020-02-05 12:20:03
240
原创 MySQL必知必会——用正则表达式进行搜索
一、正则表达式1、正则表达式介绍前例博客中的过滤例子允许用匹配、比较和通配操作符寻找数据。对于基本的过滤，这样就足够了。但是随着过滤条件的复杂性的增加，WHERE子句本身的复杂性也有必要增加。这也就是正则表达式变得有用的地方，正则表达式(Regular Expression)是用来匹配文本的特殊的串(字符集合)。如果你想从一个文本文件中提取电话号码，可以使用正则表达式。如果想替换一个页面中的...
2020-02-04 18:20:18
223
原创 MySQL必知必会——数据过滤、通配符过滤
一、使用WHERE子句数据库表一般包含大量的数据，很少需要检索表中的所有行。通常会根据特定操作或报告的需要提取表数据的子集。只检索所需数据需要指定搜索条件(search criteria)，搜索条件也称为过滤条件(filter condition)。在SELECT语句中，数据根据WHERE子句中指定的搜索条件进行过滤。WHERE子句在表名(FROM子句)之后给出，如下所示：SELECT pr...
2020-01-28 20:46:22
256
原创 MySQL必知必会——检索、排序数据
Before start文内所使用样例来自MySQL Crash Course官网，后续内容均以样例展开。 脚本样例地址其中包含create.sql and populate.sql两个文件，下载了脚本后，可以使用它们来创建和填充学习所用的表。以下是步骤：创建一个新数据源(为安全考虑，不要使用已有的数据源)。保证选择新数据源(使用mysql命令行程序，使用USE命令)。执行create...
2020-01-12 21:26:29
189
原创 Ceph分布式存储集群原理及其部署
一、为什么要用Ceph⾼高扩展性⾼高性能⽆无单点的分布式⽂文件存储系统可⽤用于对象存储，块设备存储和⽂文件系统存储读写速度快利利于共享ceph FS 可以作为Hadoop后端数据存储池，可代替HDFS的存储方案。Ceph与KVM虚拟化结合，ceph块存储RBD可作为KVM虚拟化的后端存储。ceph块存储RBD可作为openstack的后端存储。Ceph的RGW与OwnClou...
2019-12-04 10:48:53
2303
原创 POST和GET的区别以及HTTP的状态码解析
什么是HTTP超文本传输协议（HTTP）的设计目的是保证客户机与服务器之间的通信。HTTP 的工作方式是客户机与服务器之间的请求-应答协议。web 浏览器可能是客户端，而计算机上的网络应用程序也可能作为服务器端。举例：客户端（浏览器）向服务器提交 HTTP 请求；服务器向客户端返回响应。响应包含关于请求的状态信息以及可能被请求的内容。两种 HTTP 请求方法：GET 和 POST在客户...
2019-03-04 22:16:01
448
原创 Linux系统的性能监控工具(top、ps、netstat)介绍
一、监控工具介绍1、概述企业级Linux发行版附带了许多监控工具。一些工具可处理度量标准，提供更好的格式化输出，便于我们理解系统活动。一些工具是针对特定的性能度量标准（比如磁盘I/O）的，并可以给出更详细的信息。熟悉这些系统工具我们就可以知道系统发生了什么，帮助我们找到问题可能出现的原因。2、工具功能描述top提供运行系统的动态实时视图。显示系统摘要信息以及任务列表...
2019-03-04 16:25:27
2380
原创 Linux下的find命令详解
一、find命令概述Linux find命令用来在指定目录下查找文件。任何位于参数之前的字符串都将被视为欲查找的目录名。如果使用该命令时，不设置任何参数，则find命令将在当前目录下查找子目录与文件。并且将查找到的子目录和文件全部进行显示。find path -option [ -print ] [ -exec -ok command ] {} \;处理动...
2019-03-02 16:44:39
293
原创 文本处理工具sed与awk
一、流编辑器sed1、sed的工作方式sed通过对输入数据执行任意数量用户指定的编辑操作。sed是基于行的，因此按顺序对每一行执行命令。然后，sed将其结果写入标准输出(stdout)，它不修改任何输入文件。2、sed命令格式调用sed命令有两种形式sed [选项] '命令' file(s)sed [选项] -f script file(s)3、sed对字符的处理p 显...
2019-02-27 21:15:46
259
原创 TCP/IP三次握手和四次挥手
一、OSI七层模型和TCP/IP四层模型应用层 (Application)：网络服务与最终用户的一个接口。协议有：HTTP FTP TFTP SMTP SNMP DNS TELNET HTTPS POP3 DHCP表示层（Presentation Layer）：数据的表示、安全、压缩。（在五层模型里面已经合并到了应用层）格式有，JPEG、ASCll、DECOIC、加密格式等会话层（...
2019-02-26 22:14:22
321
原创 LVS三种模式的原理解析
ipvs (IP Virtual Server)实现了传输层负载均衡，也就是我们常说的4层 LAN 交换，作为 Linux 内核的一部分。 ipvs 运行在主机上，在真实服务器集群前充当负载均衡器。Ipvs具体实现是由ipvsadm这个程序(命令)来完成一、DR(直接路由)模式先回答环境的概况，然后是如何对请求进行响应，最后回答优缺点。在DR模式中，调度器VS和RS在同一个VLAN中，V...
2019-02-26 21:09:33
289
原创 Shell的变量-环境和局部变量以及命令作为变量
一、Shell变量基础1、变量类型变量可以分为两类:环境变量(全局变量)和局部变量环境变量也被称为全局变量,可以在创建它们的shell及其派生出来的子进程shell中使用,局部变量只能在创建它们的shell函数或脚本中使用。还有一些变量是用户创建的,其他的则是专用shell变量。2、环境变量环境变量用于定义shell的运行环境,保证shell命令的正确执行,shell通过环境变量来确定登...
2019-01-29 12:17:46
880
原创 Shell实例——输出网站访问量TOP10
问题概述一个大型网站每天都有数以亿计的访问者,每个访问者的访问行为都会在服务器中都会留下访问记录。访问记录里有许多信息，其中包含两个字段:访问者的IP、访问者的用户id.例如，格式是这样的:>>> cat record. txt10:20 202.114.112.5 3212345310:21 213.89.113.21 34234234每条记录分为3个字段，第...
2018-12-15 22:20:29
906
原创 Git菜鸟教程
Git是目前世界上最先进的分布式版本控制系统（没有之一） 在Linux上安装Git[root@foundation7 ~]# yum install -y git创建版本库 版本库又名仓库，英文名repository，可以简单理解成一个目录，这个目录里面的所有文件都可以被Git管理起来，每个文件的修改、删除，Git都能跟踪，以便任何时刻都可以追踪历史，或者在将来某个时刻可以...
2018-08-24 23:12:33
1657
原创 GitLab的安装及使用
初始GitLabGitLab是利用Ruby on Rails一个开源的版本管理系统，实现一个自托管的Git项目仓库，可通过Web界面进行访问公开的或者私人项目。 与Github类似，GitLab能够浏览源代码，管理缺陷和注释。可以管理团队对仓库的访问，它非常易于浏览提交过的版本并提供一个文件历史库。团队成员可以利用内置的简单聊天程序(Wall)进行交流。 它还提供一个代码片段收集功能可以轻...
2018-08-23 18:05:07
811
原创 Docker私有仓库Registry的建立
了解Registry 官方的Docker hub是一个用于管理公共镜像的好地方，我们可以在上面找到我们想要的镜像，也可以把我们自己的镜像推送上去。但是，由于服务器在国外的原因，网速会非常的慢,我们在利用docker开发构建容器服务时，我们希望能够建立自己的私有registry,上传镜像值我们的私有registry中心，然后在其他物理机上部署的时候，可以快速的pull,然后实现大规模的分发以...
2018-08-22 23:35:46
342
原创 Docker安全机制及对资源的管理限制
设置docker的安全机制容器权限 设置特权级运行的容器:–privileged=true 有的时候我们需要容器具备更多的权限 比如操作内核模块,控制 swap交换分区,挂载 USB 磁盘,修改 MAC 地址等。[root@foundation7 test]# docker run -it --name vm1 ubunturoot@f34342f7343d:/# ip...
2018-08-22 13:48:55
298
原创 Docker数据卷管理
数据卷挂载 docker run 在创建容器时使用 -v 参数可以挂载一个或多个数据卷到当前运行的容器中 -v的作用是将宿主机上的目录作为容器的数据卷挂载到容器中,使宿主机和容器之间可以共 享一个目录。挂载数据卷到新创建的容器上:[root@foundation62 docker]# docker run -it --name vm1 -v /tmp/data1:/...
2018-08-21 22:21:40
360
原创 Docker-swarm集群搭建及visualize监控的相关配置
实验环境: 172.25.62.11:manager 172.25.62.12:worker 172.25.62.13:worker创建集群[root@docker1 ~]# docker swarm init 将worker添加至集群:[root@docker2 ~]# docker swarm join \> --token SWMTKN-1-0cfk...
2018-08-21 20:33:07
1057
原创 Docker应用容器部署
初始DockerDocker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。 一个完整的Docker有以下几个部分组成： dockerClient客户端 Docker Daemon守护进程 Docker Image镜像 D...
2018-08-20 17:54:56
1886
原创 Saltstack中的NETAPI模块的部署
rest_cherrypy官方文档模块部署[root@server1 ~]# yum install -y salt-api[root@server1 private]# pwd/etc/pki/tls/private[root@server1 private]# openssl genrsa 1024 > localhost.keyGenerating RSA ...
2018-08-18 23:57:02
341
原创 基于salt-syndic和salt-ssh安装部署saltstack
初始salt-syndicsalt-syndic如果大家知道zabbix proxy的话那就可以很容易理解了，syndic的意思为理事，其实如果叫salt-proxy的话那就更好理解了，它就是一层代理，如同zabbix proxy功能一样，隔离master与minion，使其不需要通讯，只需要与syndic都通讯就可以，这样的话就可以在跨机房的时候将架构清晰部署了salt-syndic的部...
2018-08-18 17:24:37
414
原创 Saltstack把数据返回到mysql服务器以及编写执行模块
Storing Job Results in an External System图解当配置外部作业缓存时，数据像往常一样返回salt master上的缺省作业缓存，然后使用在salt minion上运行的 Salt returne模块将结果发送到外部作业缓存。 在这种配置中，salt minions 像往常一样将数据发送到默认作业缓存，然后salt master使用运行在盐主机...
2018-08-18 15:35:31
169
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人