- 博客(4)
- 收藏
- 关注
原创 scrapy和scrapy-redis框架
scrapy和scrapy-redis框架Scrapy 是一个通用的爬虫框架,但是不支持分布式,Scrapy-redis是为了更方便地实现Scrapy分布式爬取,而提供了一些以redis为基础的组件(仅有组件)。1、scrapyscrapy作为一款优秀的爬虫框架,在爬虫方面有这众多的优点。能快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。 它的主要组件有如下...
2018-07-12 08:01:34 274
原创 路飞学城-爬虫密训-7月5号第二次直播学习笔记
from selenium import webdriver# 配置驱动#驱动一定要自己下载并放在一个目录,否则会出错option = webdriver.ChromeOptions()driver = webdriver.Chrome('/Users/wupeiqi/drivers/chromedriver', chrome_options=option)# 1. 控制浏览器打开指定...
2018-07-11 08:27:45 575
原创 路飞学城-Python爬虫集训-第1章
金角大王和银角大王盛名流传于网络,有机会听一下大王的课程也是没事。个人对python多线程 多进程爬虫较为熟练,常用requests库。requests简单好上手,非常方便,进阶的话可以使用scrapy.自动登入拉勾网并修改信息步骤如下:1 拉勾网为了防访问,在headers里需要 X-Anit-Forge-Code 和 X-Anit-Forge-Token 这两个值,这两个值访问拉勾登录网页可以...
2018-07-06 07:47:10 709
转载 Mysql安装流程
转载一篇文章,写的真不错!mysql安装详解及问题解答!断断续续花了我两天的时间,在网上查找了很多资料,终于把Mysql给安装上去了,在这里写一点我的总结,希望能为以后安装Mysql的各位起点帮助,不至于去浪费那么多时间。一. 如果在你的电脑上以前从来没有装过Mysql,那么你在安装的过程中唯一需要注意的就是,安装地址一定不要有中文路径,就像这样的“E:\我的文档\学习笔记\java
2017-06-18 14:59:11 356
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人