- 博客(34)
- 收藏
- 关注
RSS订阅原创 django---生成图片验证码
图片验证码前端实现的部分代码/Buyer/get_valid_img：路由，获取验证码的路由 <label class="txtin-box txtin-box-code" id="label2"> <input class="txtin" type="text" name="code" value="" placeholder="验证码" id="code"...
2019-11-22 20:10:38
323
原创 scrapy-redis分布式爬虫
分布式爬虫（scrapy-redis）1.什么是分布式将一个任务分割成多份，每一份由一个计算机完成，最后所有的计算机能够成为一个整体，得到这个任务的结果。2.scrapy分布式原来的项目是部署在一台电脑上的，这样爬取速度虽然很快，但是我们还能提升，联想到分布式的思想，我们是否可以通过多台电脑进行配合爬取，这样我们的爬取速度就能大幅度提升。分布式爬虫就是：【多台电脑爬取同一个项目】。3...
2019-11-12 20:22:56
140
原创 增量爬虫
增量爬虫1.什么是增量爬虫增量爬虫：增量就是使爬虫获取到的数据以增量的形式稳定增长2.增量爬虫的实现方案1、爬虫结束----数据在保存到数据库前，查看数据是否重复，或者用update方法来做更新操作。以数据存储mongodb为例import pymongoimport hashlib### 实现md5加密def get_md5(value): md5 = hashlib...
2019-11-12 19:45:35
457
原创 redis高级操作
Redis事务和乐观锁1、Redis支持简单的事务2、Redis与 mysql事务的对比MysqlRedis开启start transactionmulti语句普通sql普通命令失败rollback回滚discard取消成功commitexecrollback与discard 的区别如果已经成功执行了2条语句, 第3条语句出错...
2019-11-08 20:32:43
159
原创 Redis基础知识
Redis的客户端和服务端命令：redis-server :服务器命令 启动一个redis的命令是：redis-server redis.windows.confredis-cli:客户端命令 启动一个客户端的redis命令：redis-cli 问题：如何在6380端口开启redis服务1.创建配置文件如下：2、在配置文件中，该端口号3、用如下命令启动4、验...
2019-11-08 20:18:17
63
原创 redis的安装与配置
redis的安装与配置(1)以一个文件夹的形式解压压缩包(2)将解压后的文件夹放在一个单独的文件夹中（可选步骤）(3)配置环境变量：将redis路径配置到环境变量中(4)打开命令行，输入：redis-server --service-install redis.windows.conf --loglevel verbose --maxheap 200m...
2019-11-08 20:07:43
80
原创 MongoDB操作（二）
游标操作1、游标是什么？通俗的说游标不是查询结果，而是查询的返回资源或者接口，就像python中的生成器，通过这个生成器，可以一次一次的获取每一个资源。2、游标的声明：var curor_name = db.bar.find()3、游标的操作：curor.hasNext()//判断游标是否已经取到尽头curor.next()//取出游标的下一个单元例如：var mycuso...
2019-11-07 22:46:44
154
1
原创 MongoDB操作（一）
简介SQL术语/概念MongoDB术语/概念解释/说明databasedatabase数据库tablecollection数据库表/集合rowdocument数据记录行/文档columnfield数据字段/域indexindex索引table joins表连接，MongoDB不支持primary keyprima...
2019-11-06 21:58:00
190
原创 MongoDB安装和配置
MongoDB安装（1）路径 最重要的是制指定路径：路径中不能包含中文和空格。 C:\MongoDB\Server\3.4（2）环境变量：将下面的路径配置到path中。 C:\MongoDB\Server\3.4\bin(3)验证： 打开cmd，输出mongod（4）新建一个存放数据库的文件夹：C:\MongoDB\Server\3.4\data\db（5）启动mo...
2019-11-05 21:12:03
89
原创 线程和进程
什么是程序、进程、线程概念程序：一个应用可以当做一个程序，比如qq软件进程：程序运行的最小资源分配单位。一个程序可以有多个进程线程：CPU最小调度单位，必须依赖进程而存在。线程没有独立的资源，所有线程共享它所在的进程的资源关系一个程序至少有一个进程，一个进程至少有一个线程多线程概念多线程指一个程序包含多个并行的线程来完成不同的任务优点可以提高CPU的利用率创...
2019-11-04 19:36:04
74
原创 爬虫万能方法---selenium
selenium中查找页面的方法1.通过id查找driver.find_element_by_id()如：driver.find_element_by_id('kw')2.通过css选择器查找driver.find_element_by_css_selector()id:#id值class:.class值标签：标签名如：driver.find_element_by_css_...
2019-11-02 15:59:52
407
原创 xpath爬取项目
扇贝爬取import requestsfrom lxml import etreeimport jsonclass ShanBei(object): def __init__(self,url,result): self.url = url self.result = result self.headers = { ...
2019-10-31 21:13:39
259
原创 xpath
什么是xml（1）定义xml称为可扩展标记性语言（2）特点xml具有自描述特性。是一种半结构化数据（3）作用xml的设计宗旨是用来传输数据xml和html的区别（1）语法要求不同：xml语法要求更严格1.在html中不区分大小写，xml语法严格区分大小写2.在html中，有时不严格，如果上下文清楚地显示出段落或者列表键在何处结尾，那么你可以省略</p>或者&l...
2019-10-30 20:36:24
136
原创 正则表达式
正则表达式1.元字符（1）匹配边界^匹配行首$匹配行尾（2）重复次数?0或1次*>=0次+>=1次{n,}>=n次{n,m}>=n,<=m次{n}n次（3）单个字符[a-z0-9A-Z]匹配括号中字符的任意一个\d数字\w数字、字母、下划线...
2019-10-29 20:21:09
72
原创 cookie/session 实现登录+数据分类
cookie和session1.产生的缘由由于http是一个无状态的每次请求如果需要之前请求的一些信息，此时必须重新查找，为了解决这个问题，产生了一种记录状态的技术---就是cookie和session2.cookie是在客户端记录状态，session是在服务端记录状态3.在做爬虫的时候，如果要实现登录，只需将浏览器登录后的cookie信息封装在请求头中就可以实现登录了4.sessi...
2019-10-29 20:13:13
536
原创 爬虫request模块
get请求步骤1.导包import requests2.确定请求的url base_url = ''3.发送请求，获取响应response = requests.get( url = base_url ## 发送请求的url headers = {} ## 请求头，字典形式，用于最基本的反爬 params = {} ## 请求参数，字典形式 ...
2019-10-28 20:38:12
293
原创 爬虫实战前的知识储备
爬虫定义爬虫：一个自动抓取互联网上信息的脚本爬虫可以解决的问题（1）解决冷启动问题。（2）搜索引擎的根基：做搜索引擎少不了爬虫。（3）建立知识图谱，帮助建立机器学习知识图谱。（4）可以制作各种商品的比价软件，趋势分析。爬虫工程师必备技能初级爬虫工程师1.web 前端的知识： HTML、CSS、JavaSc1ipt、 DOM、 DHTML 、Ajax、jQuery、jso...
2019-10-27 21:27:19
198
原创 docker
docker:针对的是系统级的沙箱环境提供独立的开发环境安全性: 沙箱环境可以随时关闭，所以不存在感染病毒，使用沙 箱环境起到隔离的作用docker 是一种新的虚拟化技术特点：速度快 占用资源少镜像 images： 封装好的一个docker实例，包含运行应用的依赖 环境，和程序，只读的容器 container ：用来打开，并使用景象，创建了虚拟环境仓库 registry ：...
2019-10-25 20:44:30
100
原创 linux下读写分离
主数据库的配置1.关闭防火墙和安全模式systemctl stop firewalldsetenforce 02.安装mariadbyum install mariadb-server3.使用yum安装，默认是宽松模式，任何账号没有密码都可以登录，配置生产环境mysql_secure_installation4.重启服务systemctl restart mariad...
2019-10-25 20:13:35
416
原创 linux python2和python3共存
安装依赖包切换到root权限下安装 yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc* make -y下载python安装包wget https://www.python.org/ftp/python/3.5.2/Python-3....
2019-09-14 10:38:32
153
原创 linux相关命令
用户切换（1）切换到管理员用户：su（2）从管理员用户切换到普通用户：su 用户名服务（1）开启服务：systemctl start 服务名（2）重启服务：systemctl restart 服务名（3）停止服务：systemctl stop 服务名vi/vim :一种编辑工具，主要用来编辑文本（1）使用vim 创建一个文件 1.回到家目录：cd ~/cd 2.vim 文件...
2019-09-14 10:31:58
67
原创 数据库优化
数据库优化库和表结构优化分库分表当单个库或者表中的数据量大时 数据库的性能会变慢垂直拆分垂直拆分表当一个表中的数据量比较大字段比较多时，创建一个附属表，将表中不常用的字段存入附属表，通过创建外检进行关联垂直拆分库根绝不同的业务需求，将不同的表放入不同的库中，一般会放到多个服务器上水平拆分水平分库分表单表数据量太大 将数据水平拆分成多个表，多个表组合在一起才能组成一个完成的...
2019-09-14 10:19:36
87
原创 python连接MySQL
1. 导包import pymysql2.连接数据库db = pymysql.connect(host='localhost',user='root',password='123',database='demo', cursorclass=pymysql.cursors.DictCursor) 注：cursorclass=pymysql.cursors...
2019-09-14 10:16:54
78
原创 MySQL（五）
数据备份数据导出先退出mysql环境数据的导出备份表：格式：mysqldump -uroot -p 库名 表名>表名.sql 备份库：格式： mysqldump -uroot -p 库名>备份文件名.sql数据的导入：Mysql -uroot -p 库名 < 备份文件地址.sql 用户与授权创建用户格式： create user '用户名'@...
2019-09-14 10:07:57
77
原创 MySQL（四）
数据库关系搭建一对一：一张表中唯一一条数据对应另一张表中唯一一条数据如：users id uname phone password age emial pic address 把一张表的数据库查分成两张表，并通过外键字段将两张表中的数据进行关联 user id uname password 1 张三 123 2 李四 123 uinfo ...
2019-09-14 09:58:54
133
原创 MySQL（三）
MySQL查询基本格式：SELECT 查询信息 FROM 表名;运算符：算术运算符： + - * / %比较运算符：> < >= <= = != <>特殊比较运算符：in, not in,is null,is not null,like,between and逻辑运算符：and or not 逻辑运算符优先级 or<and<...
2019-09-14 09:52:19
319
原创 MySQL（二）
数据库的命令查看所有的库SHOW DATABASES;创建数据库CREATE DATABASE 库名;切换数据库USE 库名;查看当前所在的库SELECT DATABASE();删除库DROP DATABASE 库名;表操作命令查看当前库中所有的表SHOW TABLES;创建表Create table 表名(字段名 字段类型 约束,字段名 字段类...
2019-09-14 09:35:55
64
原创 MySQL（一）
MySQL的介绍与安装概念介绍1. 数据库存储数据的仓库，按照数据结构，来组织，管理和存储数据，并提供了增、删、改、查的功能。2.事务将一组增删改的操作看成一个独立的执行单元，要没都成功，如果有一个操作失败，那么数据库会执行回滚，一组操作都会不生效（1）事务的特性原子性：事务被当做一个不可分割的执行单元，要么全部成功，要么全部失败，成功则将数据应用到数据库， 失败不会对数据...
2019-09-14 09:04:55
51
原创 Python
类和对象（一）类和对象的概念1.类类是对一群具有相同特征或者行为的事物的统称，如人类，猫类，狗类，是抽象的，不能直接使用类用关键字class 来定义，再类中可以定义属性和方法类的设计在程序中设计一个类，通常要满足三个要素：类名：大驼峰命名法属性：描述这类事物的特征方法：描述这类事物的具体行为2.对象对象是由类创建出来的实体，是可以直接使用的。如大黄，小白3.类和对象...
2019-07-28 17:05:30
63
原创 Python
函数进阶传入的实参的类型1、不可修改类型:函数中的修改不会对实参产生影响2、可修改类型：函数中如果是对自身的增加删除等操作，就会把实参一起修改，如果是赋值操作，不会对实参有影响a是可修改类型，在函数中是对本身进行的追加操作b是可修改类型，函数中是赋值操作易错点1、默认参数一定要用不可变对象，如果是可变对象，会出现逻辑错误2、函数调用，实参不会对形参产生影响（调用结束后...
2019-07-27 15:45:32
111
原创 Python
函数基础基本知识点函数：组织好的，可重复使用的，用来实现独立功能的代码段函数可以提高程序代码的重用率函数名称命名规则：有数字，字母，下划线组成，不能由数字开头。2、长度任意。3、不能与关键字重名函数先定义后调用，不调用不执行，可调用多次参数位置参数位置参数，实参与形参按位置一一对应，不能多也不能少关键字参数注意点： 关键字参数与位置参数同时使用，关键字参数必须放后面...
2019-07-27 11:05:47
68
原创 Python
python基础语法（三）条件控制if1.if if语句是用来判断的，其格式如下： if 判断的条件: 条件成立时要执行的操作注意：1、每个条件后面要使用冒号（:），表示接下来是满足条件后要执行的语句块。2、使用缩进来划分语句块，相同缩进数的语句在一起组成一个语句块。2.if-elseif 条件: 满足条件时要做的事情1 满足条件时要做的事情2...
2019-07-25 22:08:32
66
原创 Python
Python 基础语法（二）输入在Python2.x中raw_input( )和input( )，两个函数都存在，input() 和 raw_input() 这两个函数均能接收 字符串 ，但 raw_input() 直接读取控制台的输入（任何类型的输入它都可以接收）。而对于 input() ，它希望能够读取一个合法的 python 表达式，即你输入字符串的时候必须使用引号将它括起来，否则它会...
2019-07-25 21:49:02
70
原创 Python
Python基础语法 （一）注释单行注释以‘#’开头，#右边的所有东西当做说明，而不是真正要执行的程序，起辅助说明作用例如：print('Hello World') #输出Hello World多行注释多行注释是用三引号（单引号或双引号）包含的字符串例如："""这个代码是对成绩的分类：90以上 ：优秀80-90 ： 良好70-80 ：一般60-70 ：及格60以下 ...
2019-07-15 20:37:36
67
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人