- 博客(51)
- 收藏
- 关注
RSS订阅原创 爬虫（六）：HTTP协议和HTTPS协议的区别+SSL的发布者及目的
什么是HTTP协议？超文本传输协议，是一个基于请求与响应，无状态的，应用层的协议，常基于TCP/IP协议传输数据，互联网上应用最为广泛的一种网络协议，所有的www文件都必须遵守这个协议，设计HTTP的初衷是为了提供一种发布和接受HTML页面的方法。什么是HTTPS协议？HTTPS是一种通过计算机网络进行安全通信的传输协议，经由HTTP进行通信，利用SSL/TLS建立安全信道，加密数...
2020-02-24 16:59:58
416
原创 爬虫（五）：python中的POST的四种请求方式（编码格式）
POST请求主要包含json格式、xml格式、文件上传（form-data）、及默认传递的urlencoded。HTTP的报文结构：1.请求行：请求方法、请求URL、HTTP协议版本三个部分2.请求头：从第二行开始到倒数第二行都是我们的请求头（headers）3.消息主体：截图的最后一样是请求体，也就是我们要发送数据的主体，消息主体也就是说一个正常的post请求主要由请求行...
2020-02-24 16:17:09
5041
原创 数据分析（一）：创建数组+数组切片+数组组合+创建矩阵+数组广播+numpy文件读写+统计分析
一.Numpy简介Numpy是用于数据科学计算的基础，不但能够完成科学计算任务，还能被用作高效的多维数据容器。用于存储和处理大型矩阵。Python提供了一个array模块，和list不同，它直接保存数值，但是由于Python的array模块不支持多维，也没有各种运算函数。Numpy弥补了这一遗憾，Numpy提供了一种存储单一数据类型的多维数组-----ndarray二.创建数组对象...
2019-12-26 20:47:07
1151
原创 爬虫（四）进程、线程、携程的定义以及性能的比较
1.什么是进程、线程、协程？区别？优缺点？定义：(1)进程是系统进行资源分配和调度的独立单位(2)线程是进程的实体，是CPU调度和分配的基本单位(3)协程，又称微线程，自带CUP上下文，是比线程更小的执行单元，占用资源小，效率高区别：(1)一个程序至少有一个进程，一个进程至少有一个线程(2)线程的划分尺度小于进程（资源比进程少），使得多线程程序的并发性高(3)进程在...
2019-12-18 21:28:38
500
原创 爬虫（三）爬虫基础题整理回顾
目录1.当输入一个类似www.baidu.com的网址时，返回页面的过程发生了什么？2.Scrapy框架是如何进行二次请求的，参数有哪些，各代表什么含义？3.scrapy框架的中间件有几种，简单介绍其中的一个的使用？4.re模块中，match findall search 的区别?5.写出创建一个scrapy项目到执行的命令，以百度为例6.scrapy的优缺点？7.请说...
2019-12-18 19:58:13
491
原创 爬虫（二）爬虫基础题总结及常见面试题整理
目录1.页面请求成功状态码为？页面找不到状态码为？2.有一个列表 a =[‘ever’,’never’,’there’,’verbs’,’erang’,’ler’],如何用正则匹配出里边的ever，never，ler，写出代码？3.写一个正则表达式，使其能同时识别下面的字符串：'bat' 'bit' 'but' 'hat' 'hit' 'hut'4.requests返回的conte...
2019-12-17 21:53:57
1345
原创 爬虫（一）爬虫的20个小案例
1.百度首页1.导入requests模块import requests2.获取百度urlurl = "https://www.baidu.com/"3.请求方式：request Method：GET3.1做伪装，添加headers：headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) App...
2019-12-16 19:51:29
28033
6
原创 for循环 -循环字典的格式
一、循环key 通过key获取valuedict = { '河北':'石家庄', '北京':'朝阳区', '天津':'城南区'}for key in dict: print(key) #循环键 key打印结果：通过方法dict[key] 获取value：dict = { '河北':'石家庄', '北京':'朝阳...
2019-11-25 09:50:27
952
原创 Flask（五）：restful API接口+CSRF校验
Restfuldjano restful（是一种api接口的设计规范，通常路由的编写不会出现动词）class userinfo： def get：获取数据 def post：添加数据 def put ： 修改数据 def delete：删除数据flask中restful插件：flask-restful...
2019-11-20 18:58:37
1801
原创 Flask（四）：flask分页+表单插件+form表单校验
分页django 中使用封装好的分页器进行分页提供了： page()page_numberpage_range 生成器 1，20下一页 上一页 是否有上一页 是否有下一页flask 自己封装分页器封装了分页器# Paginator(data,10) 将data数据进行分页， 每页10条class Pager: """ flask通过li...
2019-11-20 18:57:53
715
原创 Flask（三）：flask插件+会话（cookie session）+装饰器
flask插件flask-script 是三方提供的flask项目，交互式插件，可以使用flask-script管理安装项目命令安装flask-scriptpip install flask-script配置pycharm启动会话不使用cookie的登录注册#密码加密import hashlibdef set_password(password):...
2019-11-19 21:03:52
261
原创 Flask（二）：flask数据库操作+ORM封装+flask配置文件编写规则
flask数据库操作django中使用ORM连接操作数据库python使用pymysql链接数操作数据库，flask中也可以使用pymysql链接sqlalchemy：python的开源的ORM框架flask-sqlalchemy对sqlalchemy进行封装安装pip install falsk-sqlalchemypip intall pymysql官方文...
2019-11-19 20:30:40
925
原创 Flask（一）：flask环境搭建+flask传参+request请求+静态文件
轻量级框架：flask web.py tornado 开发灵活，开发效率低，真正的体现程序员的水平。重量级框架：django，方便程序员开发，提供大量的功能组件（站点管理，csrf-token，富文本，缓存，日志，ORM）flask版本：1.1.1flask提供了什么：flask只能够完成最简单的请求响应 jinjia2模板系统 werkzeug 工具箱（wsgi） 插件...
2019-11-19 19:32:45
770
原创 Django（十五）：django项目部署
centos操作环境，python3，nginx1、安装django环境1、到处django的开发环境激活环境pip freeze > package.txt2、将包目录上传服务器，并进行安装静package.txt 放在/opt 目录下安装pip3 install -r package.txt安装过程中出现超时错误：解决方法：pip install -r p...
2019-11-19 15:03:58
331
原创 Django（十四）：异步任务celery（安装celery+redis+配置settings）
前言在web开发中，要给用户发送邮件，发送短信，都属于耗时的操作，会导致给用户的响应时间边长，这种情况的解决办法，给用户先返回一个响应，不要影响用户的使用，将这些耗时的操作，放在后台执行，例如新开一个进程，celery就是解决这个问题celery组成部分worker ：工人，执行任务的单元 broker ：消息中间件 即中间人 用来在服务和worker中传递消息 redi...
2019-11-12 21:17:51
385
原创 Django（十三）：django项目异步通信（python如何配置邮件发送和短信发送）
邮件和短信发送：通知的作用，验证的作用。验证：比如用户密码相关，资金相关，都是对身份的验证。会使用邮箱或者短信钉钉做一个登陆验证（获取验证码，添加验证码，登陆）获取验证码：页面增加按钮，ajax请求，视图可以使用get请求。提交验证码：随着form表单提交，登陆接口视图，接收验证码进行验证1、python邮件发送python发送邮件方便，python中有内置模块：smt...
2019-11-12 20:05:28
817
原创 Django（十二）：django支付（微信支付宝）+项目部署（虚拟机、docker、云服务器）
微信请求地址https://pay.weixin.qq.com/static/applyment_guide/applyment_index.shtml申请条件支付宝支付宝支付流程：买家发送购买请求，服务生成订单提交订单，卖家将支付请求发到支付宝支付宝返回支付页面买家在支付页面完成付款支付urlhttps://open.alipay.com/pl...
2019-11-06 20:57:30
1093
原创 Django（十一）：子静态系统+子路由系统
子静态系统在各自的app当中创建一个static目录，并且static下面创建app_name命名的目录。将各自的静态文件放在各自的static/app_name/下面。并且在主目录中创建static目录。子static目录：为了将各自的静态文件进行区分，管理。主static目录：项目在运行期间，需要使用的文件。静态文件的收集：将静态文件从子static目录收集到主static目录...
2019-11-06 20:24:17
160
原创 Django（十）：视图类使用+ restful安装和使用
web开发与视图类我们现在能够完成的功能：1、浏览器发送一个请求2、路由进行配置，然后指派任务3、对应视图，接收请求，处理请求，返回响应视图类视图：可以被调用的对象，接收一个请求，返回响应之前写的是函数视图以类定义的视图，叫做类视图函数视图：以函数定义的视图，每个视图处理一个请求，一种类型的请求。代码可读性较差类视图：以类定义的视图，定义各种方法分别处理不同...
2019-10-29 21:38:36
237
原创 Django（九）：Vue动静分离、vue+resource
vuevue是一个框架，MVVM设计模式，主要作用使用来绑定数据因为django模板将{{}} 认为是django的模板语法vue基本操作<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Vue</ti...
2019-10-29 20:41:24
430
原创 Django（八）：ajax请求(get+post)、cookie+session会话、登陆装饰器
1、ajax介绍ajax异步的js和xml普通请求：会携带整个页面提交，最明显的特征刷新页面，页面重置。好多的静态资源页面不需要刷新，并且刷新的时候可能阻塞整个服务。缺点：用户体验特别差 请求内容和响应内容冗余基于上面的问题，ajax出现了ajax能够发送局部的请求，页面整体不刷新，只是局部刷新 ajax可以发送一个异步请求，请求的过程中不会阻塞整个服务ajax goo...
2019-10-28 20:27:36
656
原创 Django（七）：http请求get/post csrf + md5密码加密
1、认识http请求django视图中的request（包含了请求信息的请求对象）请求的方式get 默认页面的请求方式 是 get请求,在web中使用最频繁的请求方式 请求服务器资源，可以携带参数，参数写在url中，不安全，发爬能力弱 https://www.baidu.com/s?wd=world&name=zhangsan 参数 从 ？开始，多个参数使用...
2019-10-28 19:21:32
1530
原创 Django（六）：MVC&MVT +分页+上传图片安装pillow+富文本Ckeditor
MVCM 封装了对数据的访问，提供数据的支持V view（视图），用于封装结果，提供页面支持C 控制器，用来接收用户的请求，处理请求，返回响应MVTM 和MVC中的M相同V view（视图），和MVC中的C相似，用于接收用户请求，返回响应T template，和MVC中的V相似，提供一个页面的支持分页分页：一个页面显示太多数据，效果不好需要分页处理一般分为两...
2019-10-21 21:28:45
212
原创 Django（五）：数据表多对多关系建立、增删改查、聚合查询、 F、Q对象
关系表模型创建class Person(models.Model): # id = models.AutoField(primary_key=True) name = models.CharField(max_length=32,verbose_name="姓名") age = models.IntegerField(verbose_name="年龄") ...
2019-10-21 20:48:32
222
原创 Django（四）： ORM操作、数据库查询（all get filter order by enclude Queryset）修改和删除
ORM操作字段类型CharField varchar类型，需要指定长度IntegerField 整形DecimalField 浮点型 需要指定最大长度和小数点位数DateField 日期 datetimeForeignKey 做外键 # to 设置关联表 # to_field 关联表要关联的键名，默认为关联表中的id，可以不...
2019-10-21 20:33:06
983
原创 Django（三）：模板继承 创建app子应用 创建模型 同步数据 站点管理admin
目录模板继承1、创建一个base.html2、修改子类模板3、修改base页面的a标签Web开发django模型1、创建app子应用2、配置子应用 安装子应用3. 使用4 .配置子应用管理自己的路由Django数据库开发思维与ORM1. 配置数据库2. 安装 pymysql3. 创建库4. 编写第一个模型5. 数据迁移 数据表结构同步...
2019-10-21 20:17:51
395
原创 Django（二）：html网页调用+模板语法+静态文件
目录1、调用一个html网页模板标签系统介绍1、调用模板第一种方法2、调用模板第二种方法3、调用模板第三种方法模板语法1、变量的使用2、控制语句3、循环语句1、遍历列表2、遍历字典3、forloop4、过滤器静态文件静态文件的配置1. 创建目录2. 配置静态文件3、静态文件的使用4、页面跳转1、调用一个html...
2019-10-21 19:38:47
6125
原创 Django（一）：django的安装+如何创建工程和启动服务+编写第一个helloworld页面
目录web开发与django认识DjangoDjango简介Django的环境安装创建工程启动服务pythcarm打开项目写第一个hello world页面设计模式路由的匹配web开发与django认识web开发 web 全球广域网，万维网，给用户提供可视化的页面。 web前端开发 开发页面，为用户提供可视化的页面 w...
2019-10-16 22:00:19
378
原创 Git（三）提交下载 、https ssh连接
Github的使用github 代码托管平台(全球最大的同性交流网站) 托管项目或者项目代码全球最大的开源社区git 版本工具国内的代码托管平台 码云1.注册2.创建版本仓库3.使用https方式克隆远程仓库并提交代码将远程的仓库拉到本地git clone 地址编辑文件git push4.使用ssh方式克隆远程仓库，并提交代码生成秘钥配置秘钥ssh...
2019-10-14 21:40:50
379
原创 Git操作（二）git的下载安装+版本回退+merge代码合并
下载安装git简易教程https://www.bootcss.com/p/git-guide/通过官网下载git的安装包,git官网地址: https://git-scm.com/2.基本操作创建一个目录 在这个目录下执行 git init初始化一个git目录 创建一个仓库当前目录下会自动创建一个 .git的隐藏文件git init配置个人信息（在commit的时候生...
2019-10-14 15:33:36
422
原创 Git（一）版本控制器发源和原理
一．版本控制什么是版本控制是对软件开发过程中，对各种代码，配置文件，说明文件变更的管理，是软件配置管理的核心思想版本控制器就是用来对文件变更版本的管理编写一个成熟可用的程序是一个工作量很大的工程，不是我们一次性可以搞定的工作，所以在开发过程中，有以下特点：版本迭代:针对当前代码进行修改和升级，通过几次迭代，达到预想的目的常见的版本控制工具：CVS: 是一个c/s的版本控制软件，主要...
2019-10-14 15:06:10
172
原创 Linux（八）mysql主从备份
主从备份：数据安全来考虑 备份数据（数据库的配置）读写分离：为了提升数据库的效率 降低数据库服务的压力(代码中)准备两个服务主master 10.10.101.244从 slave 10.10.101.231.主服务的配置master1.关闭防火墙和安全模式systemctl stop firewalldsetenforce 02.安装数据库yum instal...
2019-10-10 21:56:45
139
原创 Linux（七）Docker安装、镜像的操作、容器的操作
Docker虚拟化：是一种资源的管理技术，将计算机的实体资源，进行抽象化，重新呈现出来，目的为了打破实体之间不可分割的障碍，使用户更合理使用计算机中的资源。第一种情况：将高性能的计算机虚拟化成多个低性能的计算机，可以更好的利用计算机第二种情况：将多台低性能的计算机进行整合，完成高性能的任务沙箱：1.提供一个独立的开发环境 conda 就是python的虚拟环境 可以在一...
2019-10-10 21:51:15
245
原创 Linux（六）yum源配置、yum下载数据库
Yumyum简介yum 是centos中的包管理工具使用python2来编写的yum 在安装软件时会自动安装依赖yum类似于python中pipyum常用命令yum list 查看源中所有可安装的软件yum install 包名 下载并安装指定的软件yum install 包名 -y 安装时 所有选项自动选择yyum list ins...
2019-10-10 21:33:15
321
原创 Linux操作（五）ip设置
ip配置网络：用于设备和设备数据共享链接的工具协议：约定促成的 没有原因网络协议族：tcp/ipISO模型应用层表示层会话层传输层网络层数据链路层物理层ip和端口号ip地址：用于标识互联网中唯一一台设备端口号：标识网络进程 0-65535 22 ssh 3306 mysql 80 web服务器默认端口动态端口号：由系统自动...
2019-10-10 21:28:21
139
原创 Linux操作（四）（进程管理 计划任务）
进程管理知道如何查看进程，如何结束进程什么是进程：一次程序的执行就是一个进程，进程有获取内存和释放内存的能力僵尸进程：当进程执行结束，线程没有结束，线程没有释放内存的能力，还在占用内存，这个进程就变成了僵尸进程被挂在了后台查看进程：psa 查看所有用户的所有进程u 显示用户信息并以进程的启动时间进行排序输出x 查看无终端的进程 无终端进程一般是系统进程e 显示所有的进程 包...
2019-10-08 20:48:40
122
原创 Linux操作（三）用户管理、ssh链接密钥对
关机和重启命令关机shutdown 只能在root权限下使用-r 重启 shutdown -r 不会立即重启shutdown -r now 立即重启shutdown -r 10 10分钟后重启-h 关机shutdown -h now 立即关机 shutdown -h 20:25 下午8点25分关机poweroff 立即关机reboot ...
2019-10-08 20:38:24
130
原创 Linux （Python3安装 ）
centos 7 默认安装的是python2.7版本我们要使用python3环境开发 需要在centos下安装python3yum 类似于 python pip 依赖于python2 所以python2不能删除centos7 安装方式一般有两种 一种 yum安装编译安装，编译安装相对来说比较麻烦安装依赖包先测试你的虚拟机能不能联网终端输入 ping www.baid...
2019-10-08 20:34:44
195
原创 Linux基本指令（二）（文件操作 压缩）
文件的基本操作创建文件 touch格式： touch 文件名创建文件夹 mkdir格式：mkdir 目录名 -p 递归创建文件目录 删除文件 rm -r 删除目录 -f 不提示 一般使用方式 rm -rf 要删除的文件修改文件mv 移动文件 格式： mv 源文件路径 目标路径 目标路径如果是目录地...
2019-10-08 20:26:38
123
原创 Linux基本指令（一）（vi基本使用 权限管理）
ls 查看当前目录下的文件-a 查看当前目录下所有文件 包括隐藏文件 隐藏文件前面带. -l 以列表的形式输出当前目录下的文件 属性可以连用ls -al ls的参数一般是路径 查看指定路径下的内容ls --help 查看帮助文档ctrl+l 清屏cd 切换目录cd 路径 切换到指定路径 可以使用绝对路径 也可以...
2019-10-08 20:10:54
272
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人