小生不才

原创 mysql数据库自测题-----多表查询习题

1.根据表的结构创建以下四个表表一. student（学生表）表二. teacher（教师表）表三. course（课程表）表四. score（成绩表）2.分别向以上四个表中插入如下数据Student表：Sno Sname Ssex Sbirthday class108 曾华 男 1977-09-01 ...

原创 数据库设计三范式

.数据库设计三范式1NF:字段不可分;2NF:有主键，非主键字段依赖主键;3NF:非主键字段不能相互依赖;解释:1NF:原子性 字段不可再分,否则就不是关系数据库;2NF:唯一性 一个表只说明一个事物;3NF:每列都与主键有直接关系，不存在传递依赖;第一范式（1NF）即表的列的具有原子性,不可再分解，即列的信息，不能分解。通俗理解即一个字段只存储一项信息。第二范式（2NF）...

原创 MySQL数据库-----多表查询--内连接，外连接，子查询，相关子查询

二、多表查询 使用单个select 语句从多个表格中取出相关的查询结果,多表连接通常是建立在有相互关系的父子表上;1交叉连接第一个表格的所有行 乘以 第二个表格中的所有行,也就是笛卡尔积创建一个消费者与顾客的表格：代码如下：-- create table customers(-- id int primary key auto_increment,-- name VARCHA...

原创 python基础--进程，线程，协程，线程锁的区别与联系

计算机只认识二进制计算机语言：1）机器语言----二进制2）汇编语言----直接操作寄存器，计数器等硬件3）高级语言—C/C++/java/php/等Python解释器：GIL是一个排它锁Python优点：开发简单，高效，因为拥有更多的第三方库Python缺点：效率差，因为Python中的多线程是伪多线程。什么时候用多线程，什么时候用多进程？计算密集的场景用多进程，对于IO密集型...

原创 网络编程基础/TCP协议三次握手四次挥手

网络编程：就是通过让不同计算机上运行的程序可以进行通信软件开发结构：两个程序之间的通讯分为两种：1，应用类程序 例如qq,微信2，Web类程序，通过浏览器访问程序客户服务端概念：客户端（client）:就是我们常用的微信等：服务端（server）：要一直运行给别人提供服务的机器C/S架构：client与server 就是客户端与服务端架构。B/S架构：B/S即： Brows...

原创 Python文件转换成exe文件

1.首先我们要安装 Pyinstaller，这里我们使用pip命令。打开cmd输入（Python 2.7.9 + 或 Python 3.4+ 以上版本自带 pip 工具）pip install Pyinstaller2.安装完毕后，cmd进入py程序项目目录输入下面指令（创建一个文件把.py文件丢进去）pyinstaller -F -w 文件.py --noconsole...

原创 python文件操作

Python读写、创建文件原文链接：http://www.cnblogs.com/juandx/p/4962089.htmlpython中对文件、文件夹（文件操作函数）的操作需要涉及到os模块和shutil模块。得到当前工作目录，即当前Python脚本工作的目录路径: os.getcwd()返回指定目录下的所有文件和目录名:os.listdir()函数用来删除一个文件:os.remove...

原创 深浅copy问题图解

原创 numpy数组计算基础（2）

1 数组形态改变创建一个数组：arr = np.arange(16) 生成一个一维数组print('arr:',arr)print('类型:',type(arr))print('形状:',arr.shape)可以通过shape和reshape求更改他的形状，不同的是reshape生成一个新的数组，二shape是在原来数组的基础上进行更改。举例说明：直接更改 通过shape直接...

原创 Numpy数组计算基础（1）

Numpy是用于数据科学计算的基础，不但能够完成科学计算任务，还能被用作高效地多维数据容器。用于存储和处理大型矩阵。Python提供了一个array模块，和list不同，它直接保存数值，但是由于Python 的array模块不支持多维，也没有各种运算函数。Numpy 弥补了这一遗憾。Numpy提供了一种存储单一数据类型的多维数组——ndarray(下文统称数组)1．数组属性：ndarr...

原创 对MVC,MTV的理解

首先；来说MVCM: model 模型，和数据库进行交互V: view 视图，负责产生html文件以及吧文件传到页面上C: Controller控制器，接收请求，进行处理，与 M 和 V 进行交互，返回应答1、 用户点击注按钮，将要注册的信息发送给网站服务器。2、 Controller 控制器接收到用户的注册信息，Controller 会告诉 Model 层将用户的注册信息保存到数...

原创 代码实现TornadoRESTful Api

代码实现：在写代码之前，应该将tornado的包放在统计目录下：导入步骤在上一篇的内容创建一个空的userapp的文件夹，用于我们的微服务的根目录然后里面再创建两个新的文件夹和一个app.py的文件再在models创建两个文件，init文件表示models可以被导入到其他的文件中在user.py文件中编写UserModel：class UserModel(object):#初...

原创 Tornado构建RESTful应用

1什么是RESTful全称：Representational State Transfer是HTTP协议（1.0和1.1）的主要设计者Roy Thomas Fielding提出资源（Resources） 表现层（Representational ）状态转化（State Transfer）是实现API的一种风格2 RESTful风格Resources（资源）：使用URL指向一个实体，例如...

原创 tornado入门案例

import tornado.ioloopimport tornado.web#创建一个接口处理类class MainHandler(tornado.web.RequestHandler): #只能处理get请求 def get(self): #返回给前端 self.write('<h1>hello torna...

原创 Tornado入门与实践---以及安装步骤

Tornado框架安装与使用使用pip安装：pip install tornado验证是否安装成功，输出tornado的版本号克隆Tornado的源代码、启动****Tornado应用先注册一个api的管理工具Api的管理工具：https://apizza.net/pro/#/注册完然后登陆进去：点击右上角新建项目安装Chrome扩展下载完后解压点击右上角现在扩展程序...

原创 钉钉监控代码

import pymysqlimport timeimport requests‘’’kpi小姐姐接口“https://oapi.dingtalk.com/robot/send?access_token=8daebe660297f090e6839b6a4454ff05382b59f3d515b3d7c14bc07f5fb642dd”‘’’class Moniter:def __in...

原创 邮件监控五个步骤

邮箱监控的基础五个步骤：邮箱监控实例# 导入发送邮件包import smtplibfrom email.mime.text import MIMEText # 用来创建文本格式的邮件体内容class Send_Email: def __init__(self, num): self.num = num self.smtp = self.g...

原创 Python爬虫监控简介

一、监控的意义爬虫脚本是基于网站的结构去写的，但是随着互联网的发展，很多公司的页面结构会发生变化，发生的变化就会导致我们写的爬虫失效，最主要的失效方式是xpath的失效。随着我们写的爬虫越来越多，越就越来越难以发现这些失效的脚本，导致数据更新失败，不及时，或者不满足抓取的质量和数量要求。这就需要对爬虫的脚本进行监控。监控的目的是让数据及时的更新，脚本及时的发现bug以及解决bug。提高我们的工...

原创 scrary爬取---新浪新闻

创建名令：1 scrapy startproject Myspider2 scrapy genspider sina sina,comspider下面sina里面的代码import scrapyimport re#导入items类，用于实例化对象，将字段存入itemsfrom mySpider.items import MyspiderItem#新建一个爬...

原创 scrapy框架爬取---链家房网

创建项目名令：首先打开一个文件夹，在pycharm里面打开scrapy startproject lianjiaspiders使用名令 cd lianjiaspiders在lianjiaspiders 里面创建一个项目：scrapy genspider lianjia https://www.lianjia.com/city/创建完成后显示：写爬虫代码在sqiders里...

原创 Scrapy 框架基础----以及Scrapy运行流程

一、Scrapy简介Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。Scrapy 使用了 Twisted’twɪstɪd异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完...

原创 scrapy创建项目步骤

（1）环境搭建—scrapypip install scrapy（2）创建项目scrapy startproject 项目名称（3）第一个爬虫项目1.scrapy startproject baidu2.pycharm打开项目3.在spider文件夹下，新建baidu.py文件4. cd 项目目录，启动爬虫，命令：scrapy crawl baidu问题：运行后，查看文件，发现...

原创 Scrapy的安装介绍

Scrapy框架官方网址：http://doc.scrapy.org/en/latestScrapy中文维护站点：http://scrapy-chs.readthedocs.io/zh_CN/latest/index.htmlPython 2 / 3升级pip版本：pip install --upgrade pip通过pip 安装 Scrapy 框架pip install Scrapy...

原创 Redis数据库常用命令

常用命令1、基本操作Redis 是 Key-Value 内存数据库，操作是通过各种指令进行的，比如 SET 指令可以设置键值对，而 GET 指令则获取某一个键的值。不同的数据结构，Redis 有不同的指令，这样指令一共有几十个，下面主要介绍一些常用的指令。Redis 对 Key 也就是键有各种各样的指令，主要有下面的指令（下面的指令中小写字符串都是参数，可以自定义）：keys * //...

原创 Redis数据库特点以及安装方法

一、Redis简介Redis 一个内存数据库，通过 Key-Value 键值对的的方式存储数据。由于 Redis 的数据都存储在内存中，所以访问速度非常快，因此 Redis 大量用于缓存系统，存储热点数据，可以极大的提高网站的响应速度。1、Redis优点（1）支持数据的持久化，通过配置可以将内存中的数据保存在磁盘中，Redis 重启以后再将数据加载到内存中；（2）支持列表，哈希，有序集合等...

原创 Python 访问 MongoDB

Python 访问 MongoDB对于使用 Python 访问 MongoDB，需要先安装 PyMongo 软件包，该包实现了 Python 的 MongoDB 驱动。通过以下命令建立工作环境，安装软件包：pip install pymongo安装后使用 pip3 list查看是否存在pymongo创建脚本或使用命令行模式#链接到 127.0.0.1 的mongoclient = p...

原创 Mongo数据库的备份和恢复

MongoDB 备份(mongodump)与恢复(mongorestore)1、MongoDB数据备份在Mongodb中我们使用mongodump命令来备份MongoDB数据。该命令可以导出所有数据到指定目录中。mongodump命令可以通过参数指定导出的数据量级转存的服务器。语法mongodump命令脚本语法如下：mongodump -h dbhost -d dbname -o d...

原创 MongoDB基础操作

MongoDB概念解析在mongodb中基本的概念是文档、集合、数据库，下面我们挨个介绍。首先开启数据库在管理员模式下打开cmd，启动mongodb：新开一个cmd， 进入到mongo中：（1）数据库初步一个mongodb中可以建立多个数据库。MongoDB的默认数据库为"db"，该数据库存储在data目录中。MongoDB的单个实例可以容纳多个独立的数据库，每一个都有自己的集...

原创 MongoDb数据库基础知识----以及安装步骤

MongoDB简介MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。什么是MongoDB ?MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节...

原创 get和post请求的区别面试 必备

GET请求在URL中传送的参数是有长度限制的，而POST没有。GET比POST更不安全，因为参数直接暴露在URL上，所以不能用来传递敏感信息。GET参数通过URL传递，POST放在Request body中。GET请求参数会被完整保留在浏览器历史记录里，而POST中的参数不会被保留。GET请求只能进行url编码，而POST支持多种编码方式。GET请求会被浏览器主动cache，而POST不...

原创 MySQL---Redis--MongoDB数据库的区别与特点

MongoDB：MongoDB（NoSQL数据库）是一个介于关系数据库和非关系数据库之间的产品（基于分布式文件存储的数据库），是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能...

原创 Git常用基本命令---以及基本操作

Git基本常用命令如下：mkdir： XX (创建一个空目录 XX指目录名)pwd： 显示当前目录的路径。git init 把当前的目录变成可以管理的git仓库，生成隐藏.git文件。git add XX 把xx文件添加到暂存区去。git commit –m “XX” 提交文件 –m 后面的是注释。git status...

原创 python爬虫---爬取链家新房

import reimport requestsimport redisfrom lxml import etreefrom fake_useragent import UserAgentimport reimport pymysqlclass CoityArea: def __init__(self): #初始化Redis链接 self.r=s...

原创 python爬虫---爬取优信二手车

import requestsimport reimport redisfrom lxml import etreeimport pymysql#获取城市数据class City(): def __init__(self): #初始化Redis连接 self.r=self.get_redis() def __call__(self, *a...

原创 正则表达式常见的元字符

常见元字符：前面提到的元字符\b表示匹配单词的开始和结束。引出其他元字符元字符 含义. 匹配除换行符以外的任意一个字符^ 匹配行首$ 匹配行尾？ 重复匹配0次或1次重复匹配0次或更多次重复匹配1次或更多次{n,} 重复n次或更多次{n,m} 重复n~m次[a-z] 任意字符，匹配a-z的所有字符[abc] a/b/c中的任意一个字符{n} 重复n次\b 匹配单词的...

原创 pyhton爬虫--爬取扇贝单词

“”"思路爬取所有的单词分页爬取写入一个文件里面然后写入json文件中最后写入文档“”"import osimport requestsfrom lxml import etreedef python(page): #起始的url for page in range(1,int(page)+1): path='./english/python'...

原创 python爬虫--爬取-糗事百科

"""https://www.qiushibaike.com/8hr/page/1/https://www.qiushibaike.com/8hr/page/2/https://www.qiushibaike.com/8hr/page/3/"""import osfrom lxml import etreeimport requestsdef qiushi(page_start...

原创 patho爬虫-爬取--华夏基金代码

import reimport requests#创建一个华夏基金类：class Fund(): def __init__(self): self.run() def run(self): #获取初始的url： base_url="http://fund.chinaamc.com/portal/cn/include/newpr...

原创 python爬虫—爬取房网代码

“”"http://gz.ihk.cn/myxf/houselist/?mark=gzxf089 第一页http://gz.ihk.cn/myxf/houselist/p2/?mark=gzxf089http://gz.ihk.cn/myxf/houselist/p3/?mark=gzxf089“”"import requestsimport reclass House(): ...

原创 xpath格式转换

from lxml import etree#定义一个字符串 HTMLtext = “”" first item second item third item fourth item fifth item """ print(text)#初始化一个xpath一个解析对象,返回的是lxml...