爬虫
文章平均质量分 89
tingfenyijiu
这个作者很懒,什么都没留下…
展开
-
Scrapy爬虫入门教程 安装和基本使用
Python版本管理:pyenv和pyenv-virtualenv 开发环境: Python 3.6.0 版本 (当前最新) Scrapy 1.3.2 版本 (当前最新)Scrapy安装创建项目如何运行我们爬虫提取数据CSS选择元素提取标题XPath选择元素提取引号和作者存取数据链接界面包含的链接更转载 2017-09-08 10:29:18 · 799 阅读 · 0 评论 -
selenium多页面切换
此文仅作句柄切换记录之用# -*- coding: utf-8 -*-from selenium import webdriver # 引入selenium模块。from selenium.webdriver.common.keys import Keys # 模拟键盘输入。import random,time # 经常要用到,一个是产生随机数,一个是时间操作的功能browser =转载 2017-09-16 14:03:07 · 2160 阅读 · 0 评论 -
使用seleninum实现清单自动下载Demo
此文仅作清单下载Demo,完整的代码还有清单表格数据处理、数据上传数据库、成功或异常简报的邮件发送、日志记录…#coding:utf-8# 公用库import osimport timeimport datetimeimport sysreload(sys)sys.setdefaultencoding( "utf-8" )# selenium操作库from selenium impo原创 2017-09-16 14:26:59 · 538 阅读 · 0 评论 -
python学习之二 代理ip有效性验证
验证代码Demo# -*- coding: utf-8 -*-import requestsdef gitIp(): ipList=[] with open("../../proxies.txt", "r") as f: ipList=f.read().split("\n") # print ipList # print "---原创 2017-09-11 20:31:25 · 30970 阅读 · 3 评论 -
建站点滴记录
此文仅此记录建站过程中用到的技术和知识。未完,随时更新!环境配置:操作系统:Linux的Contes;数据库 : MySQL;服务器配置:Nginx + uWSGI;语言:Python;编辑器:PyCharm;发行版本:Anaconda;Web应用框架:Django;数据采集:Scrapy + urllib2快捷键汇总:Linux 常用命令 删除原创 2017-09-11 13:01:02 · 395 阅读 · 0 评论