爬虫实战
代码小杰
这个作者很懒,什么都没留下…
展开
-
爬虫实战之selenium淘宝抢购订单
基本原理:主要利用selenium登陆淘宝,并对购物车内的商品提交,简单的一个抢购订单用selenium正常登陆会出现滑动验证,发现用微博账号登陆就不会代码如下:#!/usr/bin/env python# -*- coding:utf-8 -*-# @Time : 2020/06/19 18:40:34 # @File : 淘宝.py# @Sortware: Vsc# 秒杀软件# 打开网址:https://www.taobao.com/# 点击登陆# 点击进.原创 2020-06-23 19:55:58 · 2518 阅读 · 0 评论 -
爬虫实战之selenium爬取京东电商数据
基本原理:主要利用selenium进行提取页面信息并不断点击下一页代码如下:#!/usr/bin/env python# -*- coding:utf-8 -*-# @Time : 2020/06/16 23:37:06# @File : 爬取京东电商数据.py# @Sortware: Vscfrom selenium import webdriverfrom selenium.webdriver.common.keys import Keysimport tim.原创 2020-06-17 16:25:37 · 1075 阅读 · 0 评论 -
爬虫实战之BeautifulSoup爬取中国天气网最低气温
基本原理:requests模块获取每一页的html文件主要利用BeautifulSoup进行提取需要注意:港澳台地区的html源码不规范,所以这里用到了html5lib解析器;其他地区省会与城市这里要进行区分代码如下:#!/usr/bin/env python# -*- coding:utf-8 -*-# @Time : 2020/06/07 11:16:20# @File : 爬取中国天气网天气.py# @Sortware: Vscimport reque...原创 2020-06-07 22:03:33 · 439 阅读 · 0 评论 -
Python爬虫实战之xpath爬取猫眼电影排名
基本原理:requests模块获取每一页的html文件,需要注意的是猫眼电影加了反爬虫,所以需要加上User-Agent通过xpath提取字段信息,为了整洁,通过切片和替换,去掉了一些字段信息通过csv模块,将数据写入csv代码如下:#!/usr/bin/env python# -*- coding:utf-8 -*-# @Time : 2020/06/02 22:36:03# @File : 猫眼电影爬取.py# @Sortware: Vscimport req.原创 2020-06-04 15:38:32 · 918 阅读 · 0 评论