Python应用
python的各种应用:爬虫、web等
stanwuc
这个作者很懒,什么都没留下…
展开
-
python定时任务实现
一、定时框架APScheduler 1、helloworld import time from apscheduler.schedulers.blocking import BlockingScheduler def job(): print(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()))) if __na...原创 2019-12-06 16:08:05 · 125 阅读 · 0 评论 -
python web快速入门
111原创 2020-01-19 11:48:35 · 204 阅读 · 0 评论 -
python 爬虫(01)发起请求
一、准备 1、数据库安装配置 mongodb、redis、mysql 2、python多版本共存配置 环境变量 python 安装后,为了保证系统能够找到相应的命令,就是在命令行能够直接调用python 等命令,需要设置环境变量; 多版本配置 多版本python 安装配置环境变量后,python 和 pip 等命令存在重名问题,直接调用和变量中的配置顺序有关,解决方法是,直接复制重命名,pip...原创 2019-12-18 11:35:14 · 196 阅读 · 0 评论 -
Python数据分析(01)pandas使用
numpy pandas matplotlib原创 2019-06-28 10:51:49 · 209 阅读 · 0 评论 -
PYTHON爬虫--06--pyspider框架
一、 二、 三、原创 2018-11-22 12:30:56 · 165 阅读 · 0 评论 -
PYTHON(数据分析)numpy | pandas | matplotlib
一、numpy 练习代码 ##########numpy提供了进行数组和矩阵的运算的方法 import numpy as np a=[1,2,3,4] b=np.array(a) ########创建简单数组 b.size b.shape b.ndim #######维度 b.dtype array_one = np.ones([10,10]) ######创建10行...原创 2018-09-07 17:10:29 · 377 阅读 · 0 评论 -
PYTHON爬虫--04--实战--猫眼 | 头条 | 淘宝
一、抓取猫眼top100 import requests import json import re from requests.exceptions import RequestException from multiprocessing import Pool def get_one_page(url): kv = { 'user-agent': 'Mozil...转载 2018-08-25 12:28:27 · 344 阅读 · 0 评论 -
PYTHON爬虫--05--flask|redis维护代理池和cookie池
一、维护代理池 1、代理池的要求 多站抓取,异步检测; 定时筛选,持续更新; 提供接口,易于提取; 2、代理池的架构 3、flask 和redis 的作用 redis 作为队列存放代理; flask 提供获取代理的web服务; 二、维护cookie池 1、要求 自动登录更新(生成器模块) 定时验证筛选(验证器模块) 提供访问接口(API模块) 2、原理 ...原创 2018-08-28 13:46:47 · 447 阅读 · 0 评论 -
PYTHON爬虫--03--selenium | phantomjs
一、selenium库 1、综述 驱动浏览器,模拟人的上网场景,解决js渲染问题 2、使用细节 (1)声明浏览器对象 webdriver.Chrome() (2)访问页面 brower.get(' ') (3)查找元素 单个元素 多个元素 (4)元素交互操作 (5)交互动作 动作附加到动作练中串行执行 (6)执行JS (7)获取元素信息 获取属性:i...原创 2018-08-23 17:30:51 · 925 阅读 · 0 评论 -
PYTHON爬虫--02--re | bs4 | pyquery
一、re模块 1、综述 (1)示例 result = re.match(parttern,string,model) result.group(1) (2)说明: 泛匹配(.*)能减少正则表达式的长度,使用时用非贪婪模式(.*?) 用括号得到匹配目标 result.group(),特殊符号 \ 转义 (.* )默认不能匹配换行符,指定使用re.S匹配模式后可以匹配换行符 2、几个...原创 2018-08-22 17:22:38 · 581 阅读 · 0 评论 -
PYTHON爬虫--01--urllib | requests
一、准备 1、数据库安装配置 (1)mongodb、redis、mysql 2、python多版本共存配置 (1)环境变量 python 安装后,为了保证系统能够找到相应的命令,就是在命令行能够直接调用python 等命令,需要设置环境变量; (2)多版本配置 多版本python 安装配置环境变量后,python 和 pip 等命令存在重名问题,直接调用和变量中的配置顺序有关,解决方法...原创 2018-08-22 10:21:43 · 178 阅读 · 0 评论