爬虫
Stealth_pain
这个作者很懒,什么都没留下…
展开
-
requests + xpath简单示例
几个简单的小示例豆瓣电影 TOP 250获取豆瓣电影 TOP 250 的电影信息并保存到 MongoDB 中,这里使用的数据库名为 movies,集合名为 douban。可以使用自己定义的数据库和集合,以下几个示例相同。import reimport pymongoimport requestsfrom lxml import etreedef get_page(url): ...原创 2019-02-04 14:47:47 · 1315 阅读 · 0 评论 -
selenium抓取京东商品信息
首先引入相关的模块import timeimport requestsfrom lxml import etreefrom selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom sel...原创 2019-02-06 16:07:50 · 1945 阅读 · 0 评论 -
requests模拟登录豆瓣
首先打开豆瓣官网,并打开 chrome 的开发者工具,选中 network 选项卡,然后选中 preserve log 选项,这样在跳转页面的时候就不会刷掉之前的请求。不然登录之后处理登录的请求就会被刷新掉从而无法获取。当然,这里也有一个更方便的方法,就是在输入密码的时候输错一位(当然,全部输错也可以),然后发现一个 basic 请求,打开这个请求的详细信息,发现这是一个 POST 请求,也就是处...原创 2019-02-06 16:45:36 · 2141 阅读 · 1 评论