![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 56
街头算卦
这个作者很懒,什么都没留下…
展开
-
python 爬虫利用webdriver 跳过登陆 进行小规模抓取信息
下载webdriver 驱动包 ,(windows 下)我一般用的是谷歌的驱动chromedriver.exe,最好是放在指定的一个路径然后把路径放进 环境变量的path中,当然有很多情况出现BUG不能测试,暴力的办法就是直接放在python3.5的路径下,就OK了,然后python代码import timeimport requestsfrom selenium import webdr原创 2018-02-02 15:59:13 · 1683 阅读 · 0 评论 -
python使用scrapy 模拟登陆带验证码 豆瓣
之前几个月接触过一点python 爬虫 后来 忘了很多,现在重新练习下 # -*- coding: utf-8 -*-import scrapyimport urllibfrom PIL import Imageclass DoubanLoginSpider(scrapy.Spider): name = 'douban_login' allowed_domains =原创 2018-02-03 15:33:06 · 554 阅读 · 0 评论 -
用scrapy 大规模 无登陆 爬取 58同城 房产信息
快过年了,早上没什么事情就把之前自己写的一个小demo 拿出来记录在博客上import scrapyclass CourseItem(scrapy.Item): title = scrapy.Field() number = scrapy.Field() area = scrapy.Field() huxing = scrap原创 2018-02-05 09:45:45 · 1636 阅读 · 0 评论 -
爬虫 利用webdriver 爬取豆瓣电影标签
这几天复习了下爬虫 发现用webdeiver 这个自动化测试工具,爬取一些小量的资料特表好用 # _*_ coding:utf-8 _*_import timeimport requestsimport requestsfrom selenium import webdriverfrom bs4 import BeautifulSoupdriver = webdriver.原创 2018-02-07 09:47:05 · 1179 阅读 · 0 评论