- 博客(4)
- 资源 (1)
- 收藏
- 关注
原创 python学习笔记-基于flask的web服务提供
背景:在python环境中提供web服务。根据请求的url中的关键字和参数进行具体处理。流程:客户端->web 服务器->WSGI->application 客户端发送 HTTP 请求,web 服务器在一个地址的端口上等待接收,一旦收到,会将请求通过 WSGI 交给 application 处理,application 就是 flask 框架编写的应用,application 对消息处理后,也通过
2017-01-17 14:19:49 2348
原创 Python爬虫笔记-豆瓣模拟登陆
URL获取进入豆瓣登陆页面: 从中可以获悉post操作时候对应的url为https://accounts.douban.com/login表单数据项获取F12上述页面,填入豆瓣的账号密码(仅仅是为了post一定的数据,所以,随意的账号和密码是可以的)。查看网络的数据变化: 从上图的Headers中可以看出,需要的表单项为下述四项: redir: https://www.douban.c
2017-01-10 09:16:40 3289 1
原创 Python爬虫学习笔记-网页topN条目爬取
背景爬取某网页TopN条目数据过程安装chrome驱动注意,在安装过程中对于chrome驱动是有对应的版本要求的,否则运行时报错,比如下面的例子: chrome的版本号: 而安装chrome的驱动后,并将其目录添加到系统path之后,运行报错如下: 从中可以看出,该错误是由于chrome的版本问题导致的。 根据网页页面上面的元素的位置,右键-检查可以查看对应的属性和值: 选择需
2017-01-10 08:56:37 723
原创 python多进程编程
背景:采用多进程方式处理多任务方式1:基于multiprocessing代码:# -*- coding: utf-8 -*-__author__ = 'jason'#加入并行元素,提升处理速度,注意window和linux的多进程是不同的使用方法和不同的库,本文的代码是基于window系统import urllib2import osimport Queuefrom multiproces
2017-01-02 14:28:57 380
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人