- 博客(41)
- 收藏
- 关注
RSS订阅转载 xpath基本使用
xpath基本使用一.安装lxml包pip install lxml二.使用1.使用:from lxml import etree # 导包import requestsresponse = resquests.get('www.baidu.com')# 生成一个html对象# html = etree.parse(html文档) # 参数为 html文档...
2019-07-29 21:59:00
230
转载 selenium基本使用
安装pip install selenium使用 (以chrome浏览器为例)1.导入: from selenium import webdriver 2.创建浏览器驱动对象方法一: 将下载好的chrome浏览器驱动文件加入到python目录下browser = webdriver.Chrome() # 默认路径为python环境目录方法二:指定chrome浏...
2019-07-29 21:58:00
138
转载 分布式爬虫
分布式爬虫scrapy_redis使用dupefilter去重:request_fingerpint() 请求指纹使用haslib.sha1 对 request.method, request.url, request.headers, request.body 进行加密 40个字符的16进制字符串, 缺点太占内存优化 : 将scrapy_redis中默认去重...
2019-07-29 21:57:00
130
转载 scrapy框架基本使用
一.框架介绍1.scrapy框架由五个部分组成: Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎.Downlo...
2019-07-29 21:56:00
186
转载 scrapy反反爬虫
# 反反爬虫相关机制Some websites implement certain measures to prevent bots from crawling them, with varying degrees of sophistication. Getting around those measures can be difficult and tricky, and may...
2019-07-29 21:54:00
294
转载 BeautifulSoup4基本使用
解析库BeautifulSoup4基本使用一.安装pip install Beautifulsoup4Beautiful Soup在解析时实际是依赖解析器的，它除了支持python标准库中的HTML解析器外还支持第三方解析器如lxml等,推荐使用lxml.安装解析器: pip install lxml二.基本使用创建beautifulsoup对象soup=Be...
2019-07-29 21:52:00
219
转载 django前后分离-restful
前言REST是所有Web应用都应该遵守的架构设计指导原则。Representational State Transfer，翻译是”表现层状态转化”。REST核心: 资源， 状态转移， 统一接口资源: 是REST最明显的特征,是指对某类信息实体的抽象，资源是服务器上一个可命名的抽象概念，资源是以名词为核心来组织的，首先关注的是名词。状态转移: 是指客户端痛服务端进行交互...
2019-05-21 23:53:00
116
转载 django之vue跨域请求
前言--跨域请求前端对Cross-Origin Resource Sharing 问题(CORS，中文又称'跨域')应该很熟悉了。众所周知出于安全的考虑，浏览器有个同源策略，对于不同源的站点之间的相互请求会做限制（跨域限制是浏览器行为，不是服务器行为。）。跨域一句话的理解就是：服务端和请求端的地址不一样。1.同源策略同源指的是域名（或IP），协议，端口都相同。 不同源的客...
2019-05-21 23:44:00
148
转载 vue的axios使用
1.安装axios在项目目录下安装,命令:npm install --save axios vue-axios2.axios的配置方法1:在入口main.js中导入axios 并将axios写入vue的原型，这样就能更简单的使用import axios from 'axios'import VueAxios from 'vue-axios'Vue.use(VueAx...
2019-05-21 23:35:00
84
转载 django-vue项目部署
上线部署准备工作安装mysql安装redis安装: apt-get install redis-server从进程中查看是否启动: ps -aux|grep redis 端口 6379安装nginx安装: sudo apt install nginx systemctl status nginx 查看nginx的状态 sys...
2019-05-21 23:23:00
180
转载 flask 关于 url_for的解析方式
flask 关于 url_for的解析方式使用url_for()反解析: 即使当路由发生改变时,依然能通过视图函数访问对应的路由1.没有蓝图管理路由: {{ url_for(' 视图函数 ', 参数) }}2.用蓝图管理路由时: {{ url_for(' 蓝图的第一个参数.视图函数 ', 参数) }}1.方式一前端显示:<h2> <a href=...
2019-05-14 00:15:00
316
转载 django过滤器大全
1、add ：将value的值增加2。使用形式为：{{ value | add: "2"}}。2、addslashes：在value中的引号前增加反斜线。使用形式为：{{ value | addslashes }}。3、capfirst：value的第一个字符转化成大写形式。使用形式为：{{ value | capfirst }}。4、cut：从给定value中删除所有arg...
2019-05-14 00:13:00
69
转载 pillow基本使用及验证码生成
pillow基本使用:1.安装pillow模块pip install pillow2.pillow模块的基本使用1.创建图片from PIL import Image#定义使用Image类实例化一个长为400px,宽为400px,基于RGB的(255,255,255)颜色的图片img1=Image.new(mode="RGB",size=(400,400),colo...
2019-05-14 00:11:00
137
转载 虚拟环境2
1.1, virtualenv的概述virtualenv是用来创建Python的虚拟环境的库，虚拟环境能够独立于真实环境存在，并且可以同时有多个互相独立的Python虚拟环境，每个虚拟环境都可以营造一个干净的开发环境，对于项目的依赖、版本的控制有着非常重要的作用。虚拟环境有什么意义？ 如果我们要同时开发多个应用程序，应用A需要Django1.11，而应用B需要Django1....
2019-05-14 00:08:00
142
转载 虚拟环境1
virtualenv1.pycharm 创建2.终端命令创建创建虚拟环境 virtualenv --no-site-packages [-p C:\Python36\python.exe] env1 --no-site-packages :表示干净的虚拟环境,不继承全局中的包 -p: 表示创建环境所需的python解释器版本, 默认为系统环境变量...
2019-05-14 00:07:00
111
转载 __dict__用法-json使用
dict使用print()'''__dict__ 获取对象封装的所有属性,以字典形式保存'''class student(): # __slots__ = ("name","age") #使用slots后实例对象不再有__dict__属性 def __init__(self,name,age): self.nam...
2019-05-14 00:05:00
104
转载 js字符串之间的比较运算和加减乘除运算
字符串数字 与 整型数字做比较运算:将字符串数字转化为对应整型数值,再进行数值的比较 console.log('21'>3) --21>3 true字符串数字之间比大小,比较ascll码值 console.log('21'>'3') --'21'>'3' false字符串数字与整型数字做加运算:+号相当于连接符; 将整型数字转为字符串数字,在连成一个新的字...
2019-05-14 00:02:00
380
转载 js实现页面跳转,和获取当前页面地址
JS有时候需要实现页面跳转，那么可以直接在某个事件触发中设置location.href="/user/center/"这样即可实现页面跳转。获取当前页面地址可以直接这样var href=location.href转载于:https://www.cnblogs.com/Deaseyy/p/10859859.html...
2019-05-14 00:01:00
373
转载 e.target resize()
e.target作用: 获取触发当前事件的对象 可以是事件绑定对象,也可是该对象的子对象 (貌似具体到子对象)e.target 和 e.currentTarget区别e.currentTarget 指的仅是注册(绑定)了事件监听器的对象，而 e.target 还可以指该对象里的子对象，也是触发这个事件的对象.JSON.parse(jsonobj)作用: js...
2019-05-13 23:58:00
78
转载 each()和offset()函数使用, e.target使用
each()作用: 遍历对象和数组var arr = ["a", "b", "c", "d", "e"]; var obj = { a: 'one', b: 'two', c: 'three', d: 'four', e: 'five' };$.each(obj,function(key,value){ console.log("Obj :" + key + '-' + v...
2019-05-13 23:56:00
279
转载 redis基础
redis keys 命令 (不区分大小写)redis默认有16个集合 ,db=0~15select db(0-15) : 选择数据库flushdb : 清空当前数据库 (删除当前数据库中所有键)flushall : 清空所有数据库 (删除所有数据库中的键)keys * : 查看所有键 keys a* 查找以a开头的键 (匹配)del key : 删除键 ex...
2019-05-13 23:51:00
63
转载 mysql基础
增insert into 表名(field1,field2,field3...) values(value1,value2,value3...),(value11,value22,value33...);改update 表名 set field1=new_value,field2=new_value where 条件注意:a.完全可以更新一个字段或者多个字段b....
2019-05-13 23:50:00
60
转载 mongodb基础
增db.collection.insert(文档) db.collection.insert({ }) : 插入单条db.collection.insert([{ },{ }]) : 插入多条, 须用中括号括起来,否则默认插入第一条数据其他插入方法:db.collection.insertOne():插入单个文档 ,返回包含id的文档 ...
2019-05-13 23:49:00
121
转载 数据库对比学习
mysql和mongodb对比mysql (关系型)mongodb (非关系型)databasedatabasetablecollectionrow 一行数据 (一个实体记录)文档(字典)固定字段不固定字段创建库create database 库名use 数据库名...
2019-05-13 23:47:00
95
转载 vue基础
vue指令 v-bind动态绑定:可以简写为冒号 ":" , 例如 :title元素节点中 v-bind: title="msg" 和 vue对象data中 msg:222ps: 无视 msg 的双引号, 其实就是同一个中间变量msg, 若是 title="msg.id" 也无视双引号,就是一个变量引用//相当于找一个中间变量, title的值会随着 ...
2019-05-13 23:42:00
62
转载 date函数
setDate() / getDate(); 从Date对象中返回一个月中的某一天(1~31) getDay(); 从Date对象返回一周中的某一天(0~6) set / getMonth(); 从Date对象中返回月份(0~11) set / getFullYear(); 从Date对象以四位数返回年份 set / getHours...
2019-05-13 23:38:00
241
转载 js数组和字符串
js数组常用方法push(): 接收任意数量的参数，把它们逐个添加到数组的末尾，并返回修改后数组的长度;pop(): 从数组末尾移除最后一个元素，减少数组的 length 值，然后返回移除的元素;sort() : 从小到大排序 , 原数组也被升序排序了,按字符ascll码值大小排列;若要比较数值大小需传入一个函数 function(){return a-b } ,匿名函数返回...
2019-05-13 23:37:00
67
转载 git使用
1.安装gitgit：查看是否已经安装sudo apt install git ：安装2.创建版本库git init：将一个普通目录变成版本库3.将文件添加到版本库git add filename :将文件添加到缓存区git commit -m "日志" ：提交文件到版本库【仓库】*** 请告诉我你是谁。 #不知道主人是谁，则需要配置...
2019-05-13 23:35:00
63
转载 线程
GIL：全局解释器锁，# 作用：只允许一个线程通过，所有Python中的多线程是假的# 进程：系统分配的一个资源单位# 线程：进程中的一个分支，进程中至少有一个主线程# 多线程： 多个线程并发的一种技术# 同步：按顺序执行# 异步：可以理解为在不同的线程中独立执行# 并行：任务数 <= CPU数# 并发: 任务数 > CPU数## ...
2019-05-13 23:30:00
52
转载 pygame模块之音乐播放器使用
拓展#####pygame播放音乐pygame.init()进行全部模块的初始化#pygame.mixer.init()初始化音频部分 #pygame.mixer.music.load('xx.mp3')使用文件名作为参数载入音乐 ,音乐可以是ogg、mp3等格式。载入的音乐不会全部放到内容中，而是以流的形式播放的，即在播放的时候才会一点点从...
2019-05-13 23:29:00
464
转载 高阶函数
高阶函数map(func,iter) 将iter中的每一个元素一一作用于func,并且将作用后的结果作为一个迭代器返回.注意: func有且只能有一个参数reduce(func,iter1) 依次将序列中的元素作用于func函数,reduce把每次结果和序列的下一个元素累计运算,再返回最终结果参数一: 被作用的函数 (有且只有两个参数)参数二: 被作用的可迭代对...
2019-05-13 23:28:00
64
转载 面向对象
类的定义class Person:class person():calss Person(object):成员变量与类变量类变量: 在类中定义,且在函数体外.称为类变量(静态成员变量)成员变量: 定义在函数中,并且绑定在self身上的变量,称为成员变量使用类变量:普通的变量,定义在我们的类中,例如一些静态的不...
2019-05-13 23:27:00
56
转载 模块使用及常用模块
模块定义: python中一个.py文件称为一个模块.模块划分: 按照功能来进行划分,相同或者相似的我们将其放到一个模块优点:1.提高代码的可维护性2.提高代码的复用性3.可以引入其他模块4.可以避免函数名与变量名的冲突模块搜索路径:当导入一个模块时,解释器先在当前包中查找模块,若找不到,然后在内置的built-in模块中查找,找不到则按sys....
2019-05-13 23:26:00
81
转载 文件读取
文件读取语法:f = open(path,mode,encoding,errors="ignore")path : 文件路径mode : 文件打开模式,默认"r"读取encoding : 指定文件的编码格式errors : ignore 忽略编码错误f.read() 一次性读取文件f.read(size) 一次性读取size字节的文件(文件较大时,建议使用...
2019-05-13 23:25:00
88
转载 os模块和队列模块
os模块#绝对路径:window: 以磁盘开头E:, C:,以\开头的mac:以/开头的#相对路径: 文件开头, 以 . 开头, .. 开头万物皆文件 文件夹和文件都叫文件os.getcwd() 获取当前文件所在的目录的绝对路径 (路径不包含该文件)os.listdir(path) 列举指定目录下所有的文件,以列表的方式返回, 若没有指定path,则列举当...
2019-05-13 23:24:00
75
转载 函数
参数传递关键字传参: #.使用键值对来传参数据更加清晰#.可以清除位置关系#.当位置参数与关键字参数同时存在时,我们需要将位置参数写在关键字参数的前面.默认参数传递定义函数，为参数提供默认值，调用函数时可传可不传该默认参数的值。调用函数时，如果没有传递参数则会使用默认参数.注意:1.必选参数在前,默认参数在后,否则报错2.默认参数必须指向不变对象不定...
2019-05-13 23:23:00
60
转载 循环和字符串使用
格式化输出%02d 表示该整型数占空两位,不够高位补0 0:补0 , 2:占空2位%-05d 左对齐 数23: %05d >>00023 %-05d >>>23 占空5格,数字放高位,后面不会再补0%.2f 表示保留两位小数伪三目运算将if else 语句强制性写在一行的一个简单运算result1 if 判断条件 else res...
2019-05-13 23:21:00
187
转载 math和rendom模块,运算符
input 默认接收类型为str单引号和双引号使用:' "hello" '-->"hello" "i'm ok"-->i'm ok ' " i\'m ok" ' -->"i'm ok" \取消转义set集合无重复,可用来去重. set不可变,set中不能存放list,dict,set常用数据函数id() 查看变量地址 type()...
2019-05-13 23:19:00
100
转载 字典和集合
字典数据以key-value来储存1.key必须唯一,且必须是不可变的2.访问元素dict[key] 返回key对应的value; 当key不存在时,报错dict.get(key) 返回key对应的value; 当key不存在时,返回None3.添加元素dict[key]=value 若key已经存在,则覆盖原有的4.删除元素dict.pop(key)...
2019-05-13 23:16:00
75
转载 生成器和迭代器
迭代器列表生成式:[结果 for x in range() 语句]生成1,4,9.......,10000,一句话去除7的倍数print([x*x for x in range(1,101) if x * x != 0] )本质:将for循环写在一行,将结果写在最前面,用 [] 括起来可迭代对象:能作用于for循环的对象,统称可迭代对象1.list,tuple...
2019-05-13 23:16:00
62
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人