python + selenium 爬取 NBA 存入mongo数据库

最新推荐文章于 2024-05-18 13:07:05 发布
最新推荐文章于 2024-05-18 13:07:05 发布
阅读量584 收藏 2
点赞数 1
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/su_zhen_hua/article/details/89843975
版权

爬虫有很多方法:urllib bs4美汤 lxml scrapy框架 等等

但这次我使用的是selenium

首先说一下selenium的优点: 自动化 可以模拟人为在输入框输入 模拟人为的点击button进行搜索 提交等功能 滚动屏幕 爬异步数据 等等…

#  先引入selenium
from selenium import webdriver 
# 启动谷歌浏览器
driver=webdriver.Chrome()
# 要爬取的网址
driver.get(url='https://www.basketball-reference.com/leagues/NBA_2019.html')
# 隐式等待  等待页面数据加载
driver.implicitly_wait(10)
下图中 team 3p 3pa 2p 2pa 是本次要爬取的数据 这些数据是异步加载 如果不事先加载这些数据直接爬取是爬取不到的

在这里插入图片描述

# 爬取信息
listName=driver.find_elements_by_xpath('//*[@class="sortable stats_table
最低0.47元/天 解锁文章
无情无疫
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
爬虫实战（一）Python+selenium自动化获取数据存储到Mysql中
Dancin Puppet的博客
03-08 3577
本篇利用Selenium Webdriver爬取某外网页面中详情页的数据，通过Pymysql的建库建表添加查询操作将文本数据和图片存储到MySQL中，最后读取Blob二进制形式数据到本地保存为图片和txt，有兴趣的小伙伴可以共同探讨！
建议收藏！超详细的selenium爬虫使用教程！你想知道的都在这里！
大模型研究中心
09-22 7924
在我们深入探讨Selenium的多个方面之后，很重要的一点是认识到，像所有工具一样，Selenium在使用时需要遵循一些基本的注意事项和最佳实践。此外，网页抓取和自动化不仅受到技术限制，还受到法律和道德的约束。注意事项与最佳实践尊重Robots.txt: 大多数网站都有一个robots.txt文件，其中指定了哪些页面可以爬取，哪些不可以。尽管Selenium不像其他爬虫库那样自动遵循它，但你仍应当遵守其规定。不过度请求: 大量的快速连续请求可能会导致服务器过载，甚至可能导致你的IP被封锁。
b站爬虫大作业（大二）--（利用selenium模块爬取数据、利用pyecharts模块制作可视化图表）（bilibili数据可视化）
m0_74282695的博客
11-07 3036
要注意的是：在爬取的过程中，需要我们实时加载页面，因为页面如果不加载，数据就无法被系统检测到，会导致程序卡死，这个时候我们大概率只能重新来过，如果你看懂了代码，稍微修改一下就能够实现在对应的地方继续爬虫或者重复爬虫。
【Python爬虫篇】Selenium在获取网页数据方面的使用及采集中国大学课程评论数据
最新发布
Smile
05-18 637
【代码】【Python爬虫篇】Selenium在获取网页数据方面的使用及采集中国大学课程评论数据。
使用selenium爬取网络数据
make_progress的博客
10-08 747
2 在必应上使用关键词检索数据，并抽取检索出的标题和超链接；1 爬取网页中的文本；
python·数据采集·Selenium动态爬取(爬虫4)
qq_47326711的博客
07-13 1196
python·爬虫Selenium Selenium
利用python+selenium爬取公众号和知乎文章代码
03-25
利用python+selenium爬取公众号和知乎文章代码
python3+selenium爬取百度图片
12-21
python3+selenium爬取百度图片 from selenium import webdriver from lxml import etree from urllib import request import time class Baidu_pic(object): def __init__(self,kw): self.kw = kw options = ...
python+selenium爬取亚马逊商品评论详情
02-28
亚马逊评论详情页是动态加载的，不过多折腾，直接用selenium进行爬取；用pandas写入csv文件，解决乱码、无序问题；
python+selenium爬取地理空间数据云影像的元数据
09-14
python+selenium爬取地理空间数据云影像的元数据，地理空间数据云影像的元数据信息是动态获取的，所以要用到selenium实现动态点击，而且翻页也需要动态去做
python+selenium爬取手机号归属地
04-14
爬取手机号归属地 效果可查阅https://blog.csdn.net/weixin_42930696/article/details/105507651
NBA-Height-Weight:NBA身高体重数据的CSV文件（按季节）和python脚本，可从Basketball-Reference抓取此数据
05-19
NBA身高体重 一个快速的python脚本，可按季节抓取玩家的身高和体重，并以CSV格式输出。 我使用BeautifulSoup和Requests从Basketball-Reference.com获取数据。 请记住，根据互联网连接来获取数据是一个非常缓慢的过程。 这是一个快速的项目，可让我熟悉python中的bs4以及在python中使用元组和lambda表达式。
利用selenium编写的python网络爬虫-淘宝商品信息并保存到mysql数据库
07-29
利用selenium编写的python网络爬虫-淘宝商品信息并保存到mysql数据库。包括宝贝的详细信息
使用requests+xpath爬取nba球员信息
qq_42779673的博客
04-18 1135
主要目的： 我比较喜欢打篮球，然后这两天要做一个篮球相关的项目，需要爬取nba球员信息，我这里从两个网站获取信息，因为没有哪一个网站拥有所有我需要的信息。 1.http://www.stat-nba.com/ 2.nba中文官方网站 环境： windows7 PyCharm 2019.3.3 (Professional Edition) python3.7 过程 在nba中国官方网站首页点击现役球...
用Selenium爬取网页简单操作
BullMilk的博客
05-23 5093
一、工具的安装 首先，我们要先安装selenium库。可以通过指令pip install selenium进行安装。 安装完selenium后，还需要安装浏览器驱动程序。这里以chrome为例。安装步骤如下： 查看浏览器的版本号。找到菜单,在菜单中打开"帮助">"关于Google Chrome命令。里面就有版本号。 下载ChromeDriver。官方下载地址：https://chromedriver.storage.googleapis.com/index.html找到对应的版本号文件夹，打开
爬虫系列（七）借助selenium爬取数据
神码不是浮云
09-09 1254
总是每隔一段时间懒惰很久，懒惰中懊恼虚度光阴，又沉溺懒惰不能自拔，陷入这种怪圈中很久很久。这一篇本应该上年写的，因为懒惰迟迟没有动手。懒惰误人生…… 使用selenium爬数据的好处有很多。有些网页数据是通过js加载后才有的，并且有复杂的校验过程；有些网页需要登录后才能查看数据；有些网页需要点击后才能展示数据... 这些都可以通过selenium的webdriver来抓取数据，它就是一个可以用代...
利用selenium 爬取网页数据
这个面它又长又宽
06-06 5174
有些网站的数据是加密过的，不能直接通过请求的方式获取。于是我们可以利用脚本测试工具selenium来控制浏览器从而爬取数据。 安装： chrome： 地址栏输入chrome://settings/help查看浏览器版本信息： 去：http://chromedriver.storage.googleapis.com/index.html 下载相对应的驱动然后放入浏览器的安装目录： ...
python selenium 爬取领英的数据
qq_25194685的博客
07-25 3714
# -*- coding: utf-8 -*- import os import pickle import time from selenium import webdriver from selenium.webdriver.support.wait import WebDriverWait import csv from selenium import webdriver from sc...
python使用selenium爬取js加密的网页
来自江南的你的博客
12-14 5957
python使用selenium爬取js加密的网页 我们经常使用Python从网站上爬取我们喜欢的图片，比如从煎蛋网爬取妹子图。现在虽然煎蛋网取消了“OOXX”栏目，但是至少把名字换成了随手拍，我今天想从该网站爬取妹子图，去发现没有办法 从爬取的代码中找到 ‘.jpg’ 关键词，这就尴尬了，我用审查元素看了一下，是有的，但是又看了一下网页的源代码，没有找到，实际上我们使用Python 的下面两句...
用python+selenium爬取小红书数据
05-02
小红书是一家非常流行的社交电商平台，对于爬取小红书的数据，需要使用 Python 的 Selenium 库。下面是爬取小红书数据的简单步骤： 1. 安装 Selenium 库 ```python pip install selenium ``` 2. 下载 Chrome 浏览器驱动 Selenium 需要使用浏览器驱动来模拟用户行为，因此需要下载浏览器驱动。你可以从这里下载 Chrome 浏览器驱动：https://chromedriver.chromium.org/downloads 注意：下载的驱动版本需要与你的 Chrome 浏览器版本匹配。 3. 编写代码 ```python from selenium import webdriver # 设置 Chrome 驱动路径 driver_path = 'path/to/chromedriver' # 创建 Chrome 浏览器对象 driver = webdriver.Chrome(driver_path) # 打开小红书网站 driver.get('https://www.xiaohongshu.com/') # 在搜索框输入关键词 search_box = driver.find_element_by_name('q') search_box.send_keys('美妆') # 点击搜索按钮 search_button = driver.find_element_by_class_name('search__btn') search_button.click() # 获取搜索结果 search_results = driver.find_elements_by_class_name('note-list-item') for result in search_results: print(result.text) # 关闭浏览器 driver.quit() ``` 上面的代码实现了在小红书网站上搜索关键词“美妆”，然后打印搜索结果。你可以根据自己的需求修改代码，获取更多的数据。同时，注意不要过于频繁地爬取数据，以免被封禁。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值