爬虫
文章平均质量分 81
趣谈数据分析
3年数据分析经验,现任上市公司高级数据分析师,公众号「趣谈数据分析」
展开
-
python爬取28万足球运动员数据,告诉你中国队为什么不能出线
中国队又没能在世界杯中出线,对此我准备从球员层面探求一下原因,意图通过数据分析拯救中国足球. 一、数据抓取 使用python暴力抓取懂球帝上的球员数据,如下图: 主要包括球员基本信息,以及各项能力得分。 import requests import time import pymysql from bs4 import BeautifulSoup user_agent = 'Your user...原创 2018-11-13 18:46:26 · 2814 阅读 · 10 评论 -
selenium模拟登陆新浪微博
selenium的安装 其实安装很简单,安装之后一直报错不可用,最终在网上找到一个办法解决,安装之后,要下载对应的webdriver并且要把webdriver.exe放在浏览器的安装目录之下才能解决。 selenium页面交互 1、查找元素 ...原创 2019-01-18 17:33:02 · 402 阅读 · 0 评论 -
python每天定时爬取学校官网通知,并把通知发送到邮箱
项目背景:因为有时候要关注一些官网上的通知,比如政府网站、学校网站等等,这些通知往往具有时效性,而我们也不能保证每天都能去上网看,所以使用python做了这个小任务,每天定时爬取学校官网的通知,并发送到邮箱。 这个小任务主要包括三部分: 数据爬取 邮件发送 定时执行 1、数据爬取 这里我使用requests+beautifulsoup来进行数据抓取。 首先抓取文章列表页的url,返回一个li...原创 2019-02-13 09:07:00 · 4625 阅读 · 1 评论