- 博客(62)
- 收藏
- 关注
RSS订阅原创 python3 dockers centos 安装使用
CentOS Docker 安装原文链接:https://www.runoob.com/docker/centos-docker-install.html命令行操作：清除历史dockersudo yum remove docker \安装必要工具sudo yum install -y yum-utils device-mapper-persistent-data lvm2添加软件源信...
2019-08-30 16:20:22
186
原创 python3 爬虫 selenium的使用
selenium读取、添加、删除cookie读取cookie：读取所有cookie：driver.get_cookies()读取指定cookie：driver.get_cookie(name)添加cookie：driver.add_cookie(dict)删除cookie：删除所有cookie：driver.delete_all_cookies()删除指定cookie：driver...
2019-08-28 09:38:49
291
原创 python3 提高爬虫采集速度 方案三：多进程 + 队列
多进程使用注意点1.多进程说明进程：一个程序运行起来后，代码+用到的资源 称之为进程，它是操作系统分配资源的基本单元。2.使用多进程后的通信多进程中使用普通的队列模块无法实现进程间的通讯，因为进程是系统分配资源的基本单元. 对应的需要使用multiprocessing提供的JoinableQueue模块，其使用过程和在线程中使用的queue方法相同案列使用说明queue = Queue...
2019-08-27 17:23:34
868
2
原创 python3 提高爬虫采集速度 方案二：多协程 + 队列
1.将猴子补丁和协程池导入from gevent import monkeymonkey.patch_all()from gevent.pool import Pool2.创建协程池和数据队列对象self.pool = Pool()self.url_queue = Queue()self.page_queue = Queue()self.data_queue = Queue()...
2019-08-27 17:14:42
404
原创 python3 提高爬虫采集速度 方案一：多线程 + 队列
‘’’创建 URL队列, 响应队列, 数据队列 在init方法中在生成URL列表中方法中,把URL添加URL队列中在请求页面的方法中,从URL队列中取出URL执行,把获取到的响应数据添加响应队列中在处理数据的方法中,从响应队列中取出页面内容进行解析, 把解析结果存储数据队列中在保存数据的方法中, 从数据队列中取出数据,进行保存开启几个线程来执行上面的方法‘’’def run_f...
2019-08-27 16:31:21
695
原创 python3 线程中 队列模块的使用 提高采集速度
队列模块的使用：# 引入队列模块from queue import Queueq = Queue(maxsize=100)item = {}# put和get的区别，nowait的作用q.put_nowait(item) #不等待直接放，队列满的时候会报错q.get_nowait() #不等待直接取，队列空的时候会报错q.put(item) #放入数据，队列满的时候回等待q.g...
2019-08-26 15:27:38
244
原创 多线程中：守护线程与主进程的代码的协同关系
多线程spider设置 子线程为 守护线程作用：让 主进程结束后，子线程也结束运行代码示例：t = threading.Thread(target=add_to_queue)t.setDaemon(True)t.start()设置子线程等待作用：让 主进程 等待 子线程运行结束代码示例：t.join()...
2019-08-26 14:59:54
125
原创 Python3 数据结构 迭代对象、迭代器、生成器的理解
内容： Python3 数据结构 迭代对象、迭代器、生成器的理解参考链接：https://foofish.net/iterators-vs-generators.html
2019-08-22 18:03:42
144
原创 python3 map(),reduce(),filter()函数使用说明
思维导图：python3map()函数，reduce()函数，filter()函数说明参考链接：https://www.liaoxuefeng.com/wiki/1016959663602400/1017404530360000
2019-08-22 11:04:34
157
原创 安装Twisted失败解决办法
pip install Twisted失败报错安装网络相关的包失败需要通过pip install wheel 的方式进行安装先下载Twisted-19.2.0-cp36-cp36m-win_amd64.whl链接地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/随后 pip install Twisted-19.2.0-cp36-cp36m-wi...
2019-05-22 09:22:28
5425
1
原创 什么是xpath?
1.xpath是什么？是一门用来从html\xml查找信息的语言可以从HTML语言中提取数据lxml的作用lxml: lxml是一款高性能的 Python HTML/XML 解析器，我们可以利用XPath，来快速的定位特定元素以及获取节点信息...
2019-01-27 16:59:49
1878
原创 字符集，bytes(二进制)类型和str类型
字符集定义：字符集是计算机中多个字符的集合，字符在计算机中是各种文字和符号的统称。作用：应用在数据通信过程中，在字符串与字节的转换过程中，起到了桥梁的作用。常见的字符集：gbk字符集,utf-8字符集,ASCII字符集，Unicode字符集bytes类型和str类型总结bytes: 二进制，互联网上的数据都是以二进制的方式进行传输str: unicode的呈现形式为了使解码和编码...
2019-01-23 16:15:30
1252
原创 flask中自定义路由转换器
自定义路由规则转换器是什么？为什么要用到路由规则转换器？在哪里用到了自定义规则路由转换器？该怎么使用路由规则转换器？自定义路由规则转换器：在后端程序中，若要实现对客户端访问服务端的url做出一定规则的限制，需要自定义路由，对其路由规则...
2019-01-21 16:29:44
297
原创 flask返回json格式的数据到浏览器
我的问题json数据是什么？json数据用来做什么的？3.json格式的数据操作有哪些？4.为什么要返回json格式的数据到浏览器？Json简介：Json，全名 JavaScript Object Notation，是一种轻量级的数据交换格式。Json最广泛的应用是作为AJAX中web服务器和客户端的通讯的数据格式。现在也常用于http请求中，所以对json的各种学习，是自...
2019-01-21 15:50:54
888
原创 flask中设置重定向
重定向的过程解释，可以根据https://www.2cto.com/kf/201107/97118.html来学习在flask设置重定向重定向到非本模块的路由地址redirect举出重定向到自身模块的路由地址自身路由模块携带参数是的设置...
2019-01-19 22:06:36
958
原创 flask中给路由设置参数
@app.route("/user/<user_id>")def index(user_id)return “展示的id为%s”%user_id@app.route("/user/int:user_id")def index(user_id)return “展示的id为%s”%user_id通过给路由器设置参数，使得客户端可以通过url将参数传递到后端...
2019-01-19 15:38:00
1441
原创 flask中通过路由设定客户端url的请求方式
通过路由参数设置url的请求方式@app.route("/",methods=[“POST”,“GET”])@app.route("/index")def index("/")return “index”通过methods设置客户端的请求方式通过添加路由app.route("/index")多添加一种客户端的访问方式...
2019-01-19 15:28:31
425
原创 为什么后端开发时，用到postman
postman是一个协助后端开发的工具它是一个类似于浏览器的客户端它能够完成替代浏览器完成浏览器不具备的功能如不同的请求方式，只获取响应头信息HEAD的请求方式，是只获取响应头信息OPTIONS获取url接口支持的请求方式总而言之：可以通过postman来获知后端开发代码的一些信息，从而可以进行相应的调试...
2019-01-19 15:01:04
969
原创 认识创建Flask实例对象时的参数和app.run()中的参数
app=Flask（name,static_folder=“static”,static_url_path="/aaa",template_folder=“templates”）__name__实际上是有值的，name=main，指的是该模块所在的目录static_folder = “static”，设置静态资源夹的名字是staticstatic_url_path，设置访问静态资源的url前...
2019-01-19 11:03:06
4866
原创 认识flask设置调试模式的4种配置方法
flask配置的方式有四种通过文件来进行配置调试模式app.config.from_pyfile(“配置文件名.后缀”)通过类来进行配置调试模式app.config.from_object(“类对象”)通过app.debug=True来进行配置调试模式通过环境变量来进行配置的调试模式设置(略过)...
2019-01-19 10:24:32
734
原创 virtualenv的认识和使用
virtualenv的认识和使用为什么使用虚拟环境？因为不同项目需要使用不同的虚拟环境，在虚拟环境中安装不同版本的相同的包时存在包的覆盖问题，故而使用不同虚拟环境创建一个项目提前创建虚拟环境mkvirtualenv 环境的名字删除虚拟环境rmvirtualenv 环境的名字查看当前的虚拟环境workonenter键一次或者tab键两次使用当前的虚拟环境workon 虚拟环境的...
2019-01-19 09:24:31
123
原创 进入python代码世界
@尝试csdn写一下博客print(“hello python world”)欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们...
2019-01-15 11:29:43
526
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人