- 博客(14)
- 收藏
- 关注
RSS订阅原创 python虚拟环境-virtualenvwrapper
作用：virtualenvwrapper提供一系列命令让你更加愉快地操作虚拟环境。它还将所有虚拟环境放在一块。当有很多个虚拟环境时，我们可能会记不清有哪些虚拟环境以及它们的存放位置，要搞清楚每个环境中有哪些package就更难了,因此我们可以通过Virtualenvwrapper来方便的对虚拟环境进行管理。1.安装virtualenvwrapper( 请确保virtualenv...
2019-10-15 19:42:41
245
转载 django2.0 关联表的必填on_delete参数的含义
一对多(ForeignKey)class ForeignKey(ForeignObject): def __init__(self, to, on_delete, related_name=None, related_query_name=None, limit_choices_to=None, parent_link=False, to_field...
2019-10-15 19:42:26
344
转载 python与base64
一、base64编码工作原理base64模块是用来作base64编码解码的。这种编码方式在电子邮件中是很常见的。它可以把不能作为文本显示的二进制数据编码为可显示的文本信息。base64怎么工作的呢？把N字节的内容对应的8*N位, 每6位砍成1段,得到 (8*N)/6 个单元,每个单元的值,都在[0,63]之间,再把其值对应1个ascii字符,拼接起来,OK!这里以base64_encode(’...
2019-10-15 19:41:58
265
转载 爬虫CSS选择器
如何使用CSS选择器：from bs4 import BeautifulSoupsoup = BeautifulSoup(html, 'html.parser')soup.select()BeautifulSoup对象的.select()方法中传入字符串参数，选择的结果以列表形式返回.css基本语法元素选择器： 直接选择文档元素 比如head，p类选择...
2019-10-15 19:41:42
2488
原创 python虚拟环境-virtualenv
作用：virtualenv为应用提供了隔离的Python运行环境，解决了不同应用间多版本的冲突问题。1.安装 virtualenv$ pip install virtualenv 补充：配置 pip 安装第三方库的镜像源地址我们都知道，国内连接国外的服务器都会比较慢，有时候设置下载经常出现超时的情况。这时可以尝试使用国内优秀的豆瓣源镜像来安装。使用豆瓣源...
2019-10-15 19:40:46
234
转载 with...as...
前言with 语句适用于对资源进行访问的场合，确保不管使用过程中是否发生异常都会执行必要的“清理”操作，释放资源，比如文件使用后自动关闭／线程中锁的自动获取和释放等。问题引出如下代码：file = open("１.txt")data = file.read()file.close()上面代码存在２个问题：（１）文件读取发生异常，但没有进行任何处理；（２）可能忘记关...
2019-10-15 19:40:20
128
转载 virtualenv
开发环境搭建完成一个Flask项目需要三个工具：git：用于版本控制 pip：用来安装各种第三方库 virtualenv：用来创建虚拟环境git和pip是基本工具，就不多说了，这里主要介绍一下virtualenv。virtualenv可以用来建立一个独立的Python虚拟环境。你可以为每一个项目建立不同的虚拟环境，各个环境互相独立。这样可以带来很多好处：方便分发项目，避免P...
2019-10-15 19:40:02
397
原创 豆瓣带cookies爬取hearders注意事项
Referer'Referer': 'https://www.douban.com',可以请求成功！'Referer': 'https://www.baidu.com',请求失败'Referer': 'www.baidu.com',请求失败
2019-10-15 19:39:44
543
转载 关于selenium登录豆瓣时遇到的切换框架的问题
参考https://testerhome.com/topics/18640tag name定位使用h1、a、span这种标签定位.browser.find_element_by_tag_name("span").click()定位选择顺序id > class > name > link_text > xpath > cssf...
2019-10-15 19:36:36
269
原创 os.path.abspath和os.path.dirname
在E:/pythonpachworkspace/study/Django/tango_with_django_project/tango_with_django_project/settings.py文件下测试脚本import osprint('file是:')print(__file__)print("os.path.abspath(__file__):")print(os.pat...
2019-10-10 11:44:18
411
原创 用scrapy编写爬虫——downmiddlewares
useragent用户代理池方法一：（1）在settings中设置用户代理池用户代理（User-Agent）池设置UAPOOL = [ "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"...
2019-09-21 19:25:51
200
原创 用Scrapy编写爬虫——setting.py
关于settings.py文件一开始的处理关于是否遵守robots.txt协议代码：# Obey robots.txt rulesROBOTSTXT_OBEY = True//遵守# Obey robots.txt rules ROBOTSTXT_OBEY = True//不遵守 ...
2019-09-17 18:48:19
173
原创 用Scrapy编写爬虫步骤整理
关于settings.py文件一开始的处理关于是否遵守robots.txt协议代码：# Obey robots.txt rulesROBOTSTXT_OBEY = True//遵守# Obey robots.txt rules ROBOTSTXT_OBEY = True//不遵守...
2019-09-17 18:46:45
221
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人