- 博客(9)
- 收藏
- 关注
RSS订阅原创 Python链接mysql数据库
python链接mysql数据库代码如下（示例）：import pymysqlimport traceback # 获得链接def get_conn(): conn = pymysql.connect( host="数据库链接", user="账号", passwd='密码', db="数据库名", charset="utf8" ) cursor = conn.cursor() re
2021-06-28 15:17:03
90
原创 python多线程爬取数据
python多线程爬取数据1.在多线程爬取之前我们应该先了解3个概念程序：就相当于一个应用。进程：程序运行资源（内存资源）分配的最小单位，一个程序可以有多个进程。线程：cpu最小的调度单位，必须依赖进程而存在。线程没有独立资源，所有线程共享该进程的全部资源。注意：线程的划分尺度比进程更小2.为什么多进程和多线程可以提高程序的运行速度？提高程序的运行速度的第一种方法：提高cpu的...
2020-02-18 20:44:31
1332
原创 python 爬虫反爬策略
python 爬虫反爬策略爬虫和反爬的对抗一直在进行着…为了帮助更好的进行爬虫行为以及反爬，今天就来介绍一下网页开发者常用的反爬手段。1.通过user-agent客户端标识来判断是不是爬虫解决方法：封装请求头：user-agent2.封ip解决方法：设置代理ip 封ip最主要的原因就是请求太频繁。3.通过访问频率来判断是否是非人类请求 解决方法：设置爬取间隔和爬取策略...
2020-02-18 20:05:34
271
原创 python 正则
python 正则1、pattern对象的方法（1）match方法：默认从头开始匹配，只匹配一次，返回一个match对象Match对象 = pattern.match(string,#要匹配的目标字符串start,#要匹配目标字符串的起始位置（可选）end#结束位置（可选）)（2）search 方法：全文匹配，只匹配一次，返回一个match对象Match = pattern.se...
2020-02-13 21:14:22
158
原创 代理IP的使用以及正则表达式
代理IP1、代理作用192.168.0.101（1）突破自身IP 访问限制， 访问一些平时不能访问的站点。（2）访问一些单位或团体内部资源： 比如使用教育网内地址段免费代理服务器， 就可以用于对教育网开放的各类FTP 下载上传， 以及各类资料查询共享等服务。（3）提高访问速度：通常代理服务器都设置一个较大的硬盘缓冲区， 当有外界的信息通过时， 同时也将其保存到缓冲区中， 当其他用户再访问...
2020-02-13 20:14:22
673
原创 Python pip配置国内源
Python pip配置国内源Python使用pip方法安装第三方包时，需要从 https://pypi.org/ 资源库中下载，但是会面临下载速度慢，甚至无法下载的尴尬，这时，你就需要知道配置一个国内源有多么重要了，通过国内源的使用会让下载速度提高很多。首先给大家推荐几个国内使用较多的国内镜像网站：个人推荐清华大学pypi镜像站(https://mirrors.tuna.tsinghua....
2020-02-05 14:41:05
1727
1
原创 沙箱环境--虚拟环境
沙箱环境在软件开发过程当中，经常需要两种适宜于项目的，相互独立，互不影响的开发环境。比如 python2 和 python3。这个时候，开发者希望在不换系统的情况下，可以快速，高效的切换环境，并且环境之间相互独立，那这样，沙箱环境应用而生。一般沙箱环境有两种：virtualenv和anaconda。virtualenv安装创建沙箱环境virtualenv的沙箱环境必须以一个存在的py...
2020-01-27 19:09:04
3482
2
原创 django项目表单校验
django项目表单校验校验通常使用用来对用户输入和输入规范的比较。form表单提供给开发者和使用者更好的交互体验。但是往往用户提交的内容并不让人满意，所以需要校验来限制form表单提交内容的格式和内容。基于实现的原理，我们把校验分为：前端校验：写在html上，用来对前端input进行校验，编写简单，直观。但是如果有一定技术的用户绕过页面进行提交，就容易发生问题。后端校验：写在视图函数保存...
2020-01-26 18:23:26
307
原创 centos+mariadb 实现读写分离 --mysql主从备份
centos+mariadb 实现读写分离 --mysql主从备份主从备份：简单的说就是把 一个服务器上执行过的sql语句在别的服务器上也重复执行一遍， 这样只要两个数据库的初态是一样的，那么它们就能一直同步。读写分离：基本的原理是让主数据库处理事务性查询，而从数据库处理SELECT查询。数据库复制被用来把事务性查询导致的变更同步到集群中的从数据库。 当然，主服务器也可以提供查询服务。总结：...
2020-01-23 10:05:45
133
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人