- 博客(29)
- 收藏
- 关注
RSS订阅原创 Selenium+Webdriver被检测识别出来的应对方案
在写爬虫，面对很多js 加载的页面，很多人束手无策，更多的人喜欢用Senlenium+ Webdriver，古语有云：道高一尺魔高一丈。已淘宝为首，众多网站都针对 Selenium的js监测机制， 比如：window.navigator.webdriver，navigator.languages，navigator.plugins.length……正常情况下我们用浏览器访问淘宝等网站...
2019-04-25 21:08:00
3373
原创 MySQL数据库_目录
MySQL数据库初识MySQL的库表详细操作MySQL行(记录)的详细操作MySQL之单表查询MySQL之多表查询Navicat工具、pymysql模块MySQL之视图、触发器、事务、存储过程、函数MySQL之索引原理与慢查询优化MySQL之创建用户和授权MySQL之mysqldump数据备份还原MySQL之锁、事务、优化、OLAP、OL...
2019-04-19 18:15:00
192
原创 自然语言处理
前言自然语言处理（Natural Language Processing）是计算科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一...
2019-04-18 11:02:00
331
原创 Celery - 异步任务 , 定时任务 , 周期任务
1.什么是Celery?Celery 是芹菜Celery 是基于Python实现的模块, 用于执行异步定时周期任务的其结构的组成是由 1.用户任务 app 2.管道 broker 用于存储任务 官方推荐 redis rabbitMQ / backend 用于存储任务执行结果的 3.员工 worker2.Celery的简单实例 1 from c...
2019-04-14 18:50:00
191
原创 Django rest framework （视图类详解）
官网：https://www.django-rest-framework.org/api-guide/viewsets/在django rest framework 视图中一共有N个类第一类：APIviewclass IndexView(APIView): def get(self,request,*args,**kwargs): pk =...
2019-04-14 17:25:00
251
原创 Python网络爬虫第二弹《http和https协议》
一.HTTP协议 1.官方概念： HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。（虽然童鞋们将这条概念都看烂了，但是也没办法，毕竟这就是HTTP的权威官方的概念解释，要想彻底理解，请客观目移下侧......） 2.白话...
2019-04-12 21:32:00
137
原创 jupyter环境安装
jupyter notebook环境安装一、什么是Jupyter Notebook？1. 简介Jupyter Notebook是基于网页的用于交互计算的应用程序。其可被应用于全过程计算：开发、文档编写、运行代码和展示结果。——Jupyter Notebook官方介绍简而言之，Jupyter Notebook是以网页的形式打开，可以在网页页面中直接编写代码和...
2019-04-12 21:31:00
96
原创 websocket 工作原理
自己写一个websocket(教学用) 1 import socket, base64, hashlib 2 3 sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 4 sock.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) 5 s...
2019-04-11 22:01:00
61
原创 Flask-Migrate
终于到了Flask-Migrate,之前在学习Flask-SQLAlchemy的时候,有的同学就提过类似的问题,Flask支持 makemigration / migrate 吗?答案在这里该诉你,如果你同时拥有两个三方组件 Flask-Script 和 Flask-Migrate 那么就支持这样的动作首先你要有几个准备工作第十五章的知识回顾第十五章的项目下载废话...
2019-04-11 21:59:00
84
原创 Flask-Script
其实本章就是为下一章做的铺垫啦,但是也要认真学习哦Flask-Script 从字面意思上来看就是 Flask 的脚本是的,熟悉Django的同学是否还记得Django的启动命令呢? python manager.py runserver 大概是这样对吧其实Flask也可以做到,基于 Flask-Script 就可以了 - 但是你还是得有一个项目就是第十四章的项目 点击下载...
2019-04-11 21:58:00
72
原创 Flask 中的模板语言 Jinja2 及 render_template 的深度用法
是时候开始写个前端了,Flask中默认的模板语言是Jinja2现在我们来一步一步的学习一下 Jinja2 捎带手把 render_template 中留下的疑问解决一下首先我们要在后端定义几个字符串,用于传递到前端STUDENT = {'name': 'Old', 'age': 38, 'gender': '中'},STUDENT_LIST = [ ...
2019-04-11 21:57:00
123
原创 Flask 中的 request 之 先知道有这么个东西
每个框架中都有处理请求的机制(request),但是每个框架的处理方式和机制是不同的为了了解Flask的request中都有什么东西,首先我们要写一个前后端的交互基于HTML + Flask 写一段前后端的交互先写一段儿HTML form表单中提交方式是post action地址是 /req写好一个标准 form 表单,一点提交,搜就向后端提交一个POST请求过...
2019-04-11 21:54:00
97
原创 Flask 中内置的 Session
Flask中的Session非常的奇怪,他会将你的SessionID存放在客户端的Cookie中,使用起来也非常的奇怪1. Flask 中 session 是需要 secret_key 的from flask import sessionapp = Flask(__name__)app.secret_key = "DragonFire"secret_key...
2019-04-11 21:38:00
79
原创 Flask-SQLAlchemy
前不久刚刚认识过了SQLAlchemy,点击这里复习一下当 Flask 与 SQLAlchemy 发生火花会怎么样呢?Flask-SQLAlchemy就这么诞生了首先要先安装一下Flask-SQLAlchemy这个模块pip install Flask-SQLAlchemy然后你要下载一个干净的Flask项目 点击下载接下来基于这个Flask项目,我们要加入F...
2019-04-10 21:08:00
74
原创 SQLAlchemy 增删改查 一对多 多对多
好久没有更新Blog了今天来聊一聊 Python 的 ORM 框架 SQLAlchemy 有些同学已经听说过这个框架的大名了,也听说了 SQLAlchemy 没有 Django 的 Models 好用我在这里官宣辟谣一下啊, Models 紧紧只是配置和使用比较简单(这特么就是废话),因为他是Django自带的ORM框架,也正是因为是Django原生的,所以兼容性远远不如SQ...
2019-04-10 21:06:00
136
原创 公钥与私钥，HTTPS详解
1.公钥与私钥原理1)鲍勃有两把钥匙，一把是公钥，另一把是私钥2)鲍勃把公钥送给他的朋友们----帕蒂、道格、苏珊----每人一把。3)苏珊要给鲍勃写一封保密的信。她写完后用鲍勃的公钥加密，就可以达到保密的效果。4)鲍勃收信后，用私钥解密，就看到了信件内容。这里要强调的是，只要鲍勃的私钥不泄露，这封信就是安全的，即使落在别人手里，也无法解密。5)鲍勃给苏珊回信，决定采用"数字签名"。...
2019-04-08 21:16:00
104
原创 理解cookie，session，token
发展史1、很久很久以前，Web 基本上就是文档的浏览而已， 既然是浏览，作为服务器， 不需要记录谁在某一段时间里都浏览了什么文档，每次请求都是一个新的HTTP协议， 就是请求加响应， 尤其是我不用记住是谁刚刚发了HTTP请求， 每个请求对我来说都是全新的。这段时间很嗨皮2、但是随着交互式Web应用的兴起，像在线购物网站，需要登录的网站等等，马上就面临一个问题，那就是要管...
2019-04-08 19:46:00
70
原创 基于token的验证
认证、权限和限制身份验证是将传入请求与一组标识凭据（例如请求来自的用户或其签名的令牌）相关联的机制。然后 权限 和 限制 组件决定是否拒绝这个请求。简单来说就是：认证确定了你是谁权限确定你能不能访问某个接口限制确定你访问某个接口的频率认证REST framework 提供了一些开箱即用的身份验证方案，并且还允许你实现自定义方案。接下类我...
2019-04-08 17:57:00
115
1
原创 python之协程
阅读目录一 引子二 协程介绍三 Greenlet四 Gevent介绍五 Gevent之同步与异步六 Gevent之应用举例一七 Gevent之应用举例二一 引子 本节的主题是基于单线程来实现并发，即只用一个主线程（很明显可利用的cpu只有一个）情况下实现并发，为此我们需要先回顾下并发的本质：切换+保存状态 cpu正在...
2019-04-08 17:20:00
84
原创 python--GIL锁
GIL锁本节目录一 介绍二 GIL介绍三 GIL与Lock四 GIL与多线程五 多线程性能测试一 背景知识'''定义：In CPython, the global interpreter lock, or GIL, is a mutex that prevents mul...
2019-04-08 17:19:00
94
原创 Python之进程
进程本节目录一 背景知识二 什么是进程三 进程调度四 并发与并行五 同步\异步\阻塞\非阻塞六 进程的创建与结束七 multiprocess模块八 进程池和mutiprocess.Poll一 背景知识 顾名思义，进程即正在执行的一个过程。进程是对正在运行程序的一个抽象。 进程的概念起源于操作系...
2019-04-08 17:16:00
159
原创 操作系统
阅读目录一 为什么要有操作系统二 什么是操作系统三 操作系统与普通软件的区别四 操作系统发展史五 操作系统原理一 为什么要有操作系统（两本书：现代操作系统、操作系统原理，学好python以后再去研究吧~~） 现代的计算机系统主要是由一个或者多个处理器，主存，硬盘，键盘，鼠标，显示器，打印机，网络接口及其他输入输出设备组成。 ...
2019-04-08 17:14:00
470
原创 网络通信的整个流程
网络通信的整个流程本篇博客是对网络通信整个流程的大致介绍，是给刚想步入IT的这一行的同学来看的，如果你对网络比较熟悉了，那么就不要看啦，直接去看我的网络协议的博客https://www.cnblogs.com/clschao/articles/9578922.html，其中一些细节部分没有深入去展开，其中如果有不对或者不妥的地方，希望大家批评指正，因为博主也不是专门学习...
2019-04-08 17:13:00
1051
原创 网络编程之socket
网络编程之socket看到本篇文章的题目是不是很疑惑，what is this？，不要着急，但是记住一说网络编程，你就想socket，socket是实现网络编程的工具，那么什么是socket，什么是网络编程，什么是网络，为什么要学习socket，都在下面有讲解，大家细细看来！本节目录一 为什么要学习socket二 客户端\服务端架构三 网...
2019-04-08 17:12:00
174
原创 路由和交换机工作原理
路由器与交换机的工作原理 计算机网络往往由许多种不同类型的网络互连连接而成。如果几个计算机网络只是在物理上连接在一起，它们之间并不能进行通信，那么这种“互连”并没有什么实际意义。因此通常在谈到“互连”时，就已经暗示这些相互连接的计算机是可以进行通信的，也就是说，从功能上和逻辑上看，这些计算机网络已经组成了一个大型的计算机网络，或称为互联网络，也可简称为互联网、互连网。...
2019-04-08 17:12:00
564
原创 关于socket的setsockopt的使用
关于setsockopt的使用学习python的时候学习到了socket，其中有个setsockopt方法的使用，于是乎整理一下关于这个方法的一些内容。本节目录一 功能描述二 用法(getsockopt\setsockopt)三 参数及参数详细说明四 缓冲区五 setsockopt的用法一 功能描述获取或者设置与...
2019-04-08 17:10:00
719
原创 socket工作原理深入分析
socket原理分析本篇文章摘自https://www.cnblogs.com/zengzy/p/5107516.html，总结的很好，所以摘过来总结整理一下，如果朋友们还想更加深入的研究网络，推荐大家学习一下tcp/ip协议这本书。受益匪浅！本节目录一 iso七层模型二 什么是socket三 如何标识socket实例四 socket...
2019-04-08 17:09:00
486
原创 网络通信协议(互联网协议)
阅读目录一.操作系统基础二.网络通信原理2.1 互联网的本质就是一系列的网络协议2.2 osi七层协议2.3 tcp/ip五层模型讲解2.3.1 物理层2.3.2 数据链路层2.3.3 网络层2.3.4 传输层2.3.5 应用层2.3.6 socket三.网络通信实现四.结合协议来看网络通信流程一.操作系...
2019-04-08 17:08:00
435
原创 Django Rest Framework
目录一. 什么是RESTful二. RESTful API设计三. 基于Django实现四. 基于Django Rest Framework框架实现1. 基本流程2. 认证和授权3. 用户访问次数/频率限制4. 版本5. 解析器（parser）6. 序列化7. 分页8. 路由系统9. 视图10. 渲染器...
2019-04-02 10:39:00
80
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人