- 博客(4)
- 问答 (1)
- 收藏
- 关注
原创 selenium和pyquery爬取淘宝美食商品信息
1、用selenium自动爬取淘宝美食的商品信息,先定义search方法,该方法用来在搜索框中输入“美食”,然后点击搜索按钮。浏览器加载需要时间,要判断浏览器加载成功再执行下一步的操作,其使用方法可在python-selenium官网查看waits相关的介绍,部分代码复制粘贴即可。设置的条件要在指定的时间内加载出来,否则会抛出异常,使用try回归这个方法。 Input为搜索框,submit为搜索
2017-11-22 15:25:31 1471
原创 ajax动态抓取今日头条街拍美图
1、分析网站源码。 网站是局部动态变化,offset变化加载内容,变化范围为0,20,40··· 首先要获取索引页代码数据,定义索引页,由于是ajax请求,offset根据索引变化0、20、40···,用requests获取网页代码,urlcode将字典转换为url请求参数,然后异常处理,根据url_code状态码判断请求是否成功,返回文本格式,最后定义main函数调用。可根据可变
2017-11-20 14:33:34 1801
转载 selenium学习笔记
官方api:http://selenium-python.readthedocs.io/api.html# 1、访问网页 from selenium import webdriver #声明浏览器对象,使用ie浏览器 brower=webdriver.Ie() brower.get('https://taobao.com') print(brower.page_source) #输出
2017-11-16 16:00:24 318 1
转载 利用requests和正则表达式re爬取猫眼电影top100,并下载图片
利用requests和正则表达式re爬取猫眼电影top100,并下载图片
2017-11-15 20:38:34 567
空空如也
Python爬虫爬取豆瓣电影
2017-10-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人