python
关注
分享
扫一扫
文章平均质量分 83
小人物大梦想
这个作者很懒，什么都没留下…
展开
-
python实现简单的定时任务
1.首先安装 schedule 模块命令行安装 pip install schedule pyCharm编辑器安装File->setting->project:youProject->Project Interpreter->点＋号->搜索->install按钮2.代码# coding:utf8from bs4 import BeautifulSoupim...原创 2018-07-05 14:13:22 · 3267 阅读 · 0 评论 -
selenium 页面指定坐标点击
start_url = "https://antirobot.tianyancha.com/captcha/verify?return_url=https%3A%2F%2Fwww.tianyancha.com%2Fsearch%2FocH-e15-s2%3Fbase%3Dhangzhou%26areaCode%3D330185&rnd="driver.get(start_url)on...原创 2019-02-27 13:59:31 · 11765 阅读 · 3 评论 -
python selenium 截取页面区域为图片
chrome_options = Options()chrome_options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")chrome_driver = "C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe"driver = web...原创 2019-02-27 13:47:12 · 2811 阅读 · 4 评论 -
新建一个scrapy项目
这里假设已经安装好scrapy,本博客也有教程 1.命令行创建项目scrapy startproject test_scrpay2.进入项目在项目spider目录下命令行新建一个爬虫器scrapy genspider test_spider movie.douban.com在spider目录下就会生成一个test_scrapy.py文件内容# -*- codin...原创 2019-02-19 08:39:12 · 401 阅读 · 0 评论 -
win10 安装scrapy报错error: command 'cl.exe' failed: No such file or directory
环境win10 ,pthon3.6因为scrapy需要依赖twisted，所以要先安装twisted给出下载地址 http://www.lfd.uci.edu/~gohlke/pythonlibs/找到对应的系统和python版本下载twisted。我下载的是 Twisted‑18.9.0‑cp36‑cp36m‑win_amd64.whlpip install Twiste...原创 2019-02-15 14:56:22 · 2705 阅读 · 1 评论 -
selenium 查找父子节点和兄弟节点
<html><body><div id="parent"> parent <div id="A"> old brother</div> <div id="B"> child</div> <div id=&原创 2018-12-18 16:37:33 · 15418 阅读 · 1 评论 -
selenium 浏览器窗口操作
获取所有窗口句柄#结果是list数据类型handles = driver.window_handles获取当前窗口句柄handle = driver.current_window_handle切换到最后一个窗口driver.switch_to_window(handles[-1]) ...原创 2018-12-18 16:12:38 · 640 阅读 · 0 评论 -
selenium 使用已打开的chrome浏览器
首先说明下这样做的好处：就是你不用验证登陆状态，可以先登陆，再爬虫1.先打开windows cmd 进入chrome安装目录，一般在C:\Program Files (x86)\Google\Chrome\Application下，然后运行chrome.exe --remote-debugging-port=9222 --user-data-dir="C:\selenum\Automat...原创 2019-03-12 16:04:18 · 8465 阅读 · 8 评论 -
Python中raw字符串与多行字符串
如果一个字符串包含很多需要转义的字符，对每一个字符都进行转义会很麻烦。为了避免这种情况，我们可以在字符串前面加个前缀 r，表示这是一个 raw 字符串，里面的字符就不需要转义了。#coding：utf-8print r'我是"天才"'##我是"天才"如果要表示多行字符串，可以用'''...'''表示：print '''line1 line2 line3'...原创 2018-11-22 16:34:18 · 245 阅读 · 0 评论 -
scrapy Request 回调带参数
yield scrapy.Request( company_href, dont_filter=True, cookies=cookies_dict, callback=lambda response, company_href...原创 2019-03-14 11:55:58 · 1821 阅读 · 1 评论