2017年11月_choven_meng

11月 10月

原创 selenium和pyquery爬取淘宝美食商品信息

1、用selenium自动爬取淘宝美食的商品信息，先定义search方法，该方法用来在搜索框中输入“美食”，然后点击搜索按钮。浏览器加载需要时间，要判断浏览器加载成功再执行下一步的操作，其使用方法可在python-selenium官网查看waits相关的介绍，部分代码复制粘贴即可。设置的条件要在指定的时间内加载出来，否则会抛出异常，使用try回归这个方法。 Input为搜索框，submit为搜索

2017-11-22 15:25:31 1456

原创 ajax动态抓取今日头条街拍美图

1、分析网站源码。网站是局部动态变化，offset变化加载内容，变化范围为0，20，40··· 首先要获取索引页代码数据，定义索引页，由于是ajax请求，offset根据索引变化0、20、40···，用requests获取网页代码，urlcode将字典转换为url请求参数，然后异常处理，根据url_code状态码判断请求是否成功，返回文本格式，最后定义main函数调用。可根据可变

2017-11-20 14:33:34 1771

转载 selenium学习笔记

官方api：http://selenium-python.readthedocs.io/api.html# 1、访问网页 from selenium import webdriver #声明浏览器对象，使用ie浏览器 brower=webdriver.Ie() brower.get('https://taobao.com') print(brower.page_source) #输出

2017-11-16 16:00:24 309 1

转载利用requests和正则表达式re爬取猫眼电影top100，并下载图片

利用requests和正则表达式re爬取猫眼电影top100，并下载图片

2017-11-15 20:38:34 554

空空如也

Python爬虫爬取豆瓣电影

2017-10-13

TA创建的收藏夹 TA关注的收藏夹

TA关注的人