python爬虫
清风化煞_
我永远喜欢栗山未来
展开
-
python爬虫——用xpath做一个简单爬虫
Python爬虫——用xpath做一个简单爬虫1.效果图.2.网页传送门.3.进入网页后按F12打开开发者工具,用鼠标样的按钮定位到指定位置4.上图中有所有我们要的数据,标题(大气震撼党政党建图文片头AE模板)和视频链接( //video-qn.ibaotu.com/18/06/49/508888piCHsa.mp4_10s.mp4) ,就开始写代码了,首先先导入包import re...原创 2019-05-06 11:41:05 · 1200 阅读 · 0 评论 -
python爬虫——多线程的简单实例
python爬虫——多线程的简单实例1.先附上没有用多线程的包图网爬虫的代码import requestsfrom lxml import etreeimport osimport timestart_time = time.time()#记录开始时间for i in range(1,4): #1.请求包图网拿到整体数据 response = requests.ge...原创 2019-05-07 14:25:17 · 2664 阅读 · 1 评论 -
python爬虫——用selenium爬取京东商品信息
python爬虫——用selenium爬取京东商品信息1.先附上效果图(我偷懒只爬了4页)2.京东的网址https://www.jd.com/3.我这里是不加载图片,加快爬取速度,也可以用Headless无弹窗模式options = webdriver.ChromeOptions()options.add_experimental_option('prefs', {'profile....原创 2019-05-10 09:32:37 · 7100 阅读 · 2 评论 -
python爬虫——关于ajax加载之爬取2019年知乎问题和描述
python爬虫——关于ajax加载之爬取2019年知乎问题和描述1.先放上效果图(描述为空的原因是本来就没写描述或者只放了图片被我去掉了).2.知乎网址https://www.zhihu.com/3.先写好请求头(知乎是需要登录才能看的,所以一定要写cookie,而且要过几天cookie就会过期,一定要记得更新,老夫就是栽在这上面耽误了好久)#请求头headers = { ...原创 2019-05-07 16:23:23 · 1590 阅读 · 1 评论 -
python爬虫——用selenium爬取淘宝商品信息
python爬虫——用selenium爬取淘宝商品信息1.附上效果图2.淘宝网址https://www.taobao.com/3.先写好头部browser = webdriver.Chrome()wait = WebDriverWait(browser,20)#设置等待时间为20秒url ='https://www.taobao.com/'keyword = 'python爬虫'...原创 2019-05-26 10:31:51 · 9569 阅读 · 7 评论 -
python爬虫——用Scrapy框架爬取阳光电影的所有电影
python爬虫——用Scrapy框架爬取阳光电影的所有电影1.附上效果图2.阳光电影网址http://www.ygdy8.net/index.html3.先写好开始的网址 name = 'ygdy8' allowed_domains = ['ygdy8.net'] start_urls = ['http://www.ygdy8.net/index.html']4....原创 2019-06-04 19:22:37 · 2702 阅读 · 0 评论