python
文章平均质量分 57
鸠摩智之英雄大会
追求本源,无法控制,代码的本质是电压信号!
展开
-
路飞学城-爬虫密训-7月5号第二次直播学习笔记
from selenium import webdriver# 配置驱动#驱动一定要自己下载并放在一个目录,否则会出错option = webdriver.ChromeOptions()driver = webdriver.Chrome('/Users/wupeiqi/drivers/chromedriver', chrome_options=option)# 1. 控制浏览器打开指定...原创 2018-07-11 08:27:45 · 559 阅读 · 0 评论 -
scrapy和scrapy-redis框架
scrapy和scrapy-redis框架Scrapy 是一个通用的爬虫框架,但是不支持分布式,Scrapy-redis是为了更方便地实现Scrapy分布式爬取,而提供了一些以redis为基础的组件(仅有组件)。1、scrapyscrapy作为一款优秀的爬虫框架,在爬虫方面有这众多的优点。能快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。 它的主要组件有如下...原创 2018-07-12 08:01:34 · 269 阅读 · 0 评论 -
路飞学城-Python爬虫集训-第1章
金角大王和银角大王盛名流传于网络,有机会听一下大王的课程也是没事。个人对python多线程 多进程爬虫较为熟练,常用requests库。requests简单好上手,非常方便,进阶的话可以使用scrapy.自动登入拉勾网并修改信息步骤如下:1 拉勾网为了防访问,在headers里需要 X-Anit-Forge-Code 和 X-Anit-Forge-Token 这两个值,这两个值访问拉勾登录网页可以...原创 2018-07-06 07:47:10 · 695 阅读 · 0 评论