Python爬虫
文章平均质量分 64
Lorrey_
代码弹指之间,算法掌控万千
展开
-
selenium自动化教务系统登入
通过学习了selenium后,我们可以写一个自动化登录的脚本,就拿登录教务系统为例吧第一步,依旧确定要用的库先安装库,命令行输入pip install selenium,具体可参考这篇文章pip安装库遇到的问题_Lorrey_的博客-CSDN博客接着就可以导入from selenium import webdriver #从模块selenium中导入webdriver定义import time #用来休眠,为了能成功进入页面后再进行下一步第二步,要下载浏览器驱动,根据自己的浏.原创 2022-04-30 21:07:09 · 1383 阅读 · 0 评论 -
Seleium自动化 chromedriver驱动下载
1.打开chrome浏览器地址栏输入chrome://version/,就可以看到版本号也可以在设置——关于chrome2.在地址栏输入http://chromedriver.storage.googleapis.com/index.html下载对应版本号的,下载后记得解压3.路径(1)把exe文件复制到浏览器的安装目录下:C:\Program Files (x86)\Google\Chrome\Application(要根据自己实际安装目录),或者python目.原创 2022-04-30 19:47:36 · 2274 阅读 · 0 评论 -
pip安装库遇到的问题
pip安装Python库下载速度太慢怎么办我们可以更换下载源,最快也最简单就是下载的时候加参数pip install -i https://pypi.tuna.tsinghua.edu.cn/simple 库名这里用的是清华大学源,当然也可以选择别的源...原创 2022-04-29 22:59:47 · 3896 阅读 · 3 评论 -
python爬虫疫情可视化
学习了pyecharts后来小试牛刀下,来做一个中国疫情可视化首先安装pyecharts库1.可以直接在pycharm上装2.也可以更快命令行装,win+r cmdpip install-i https://pypi.tuna.tsinghua.edu.cn/simple pyecharts今天要用到的库from pyecharts import options as optsfrom pyecharts.charts import Map数据的话我们可以...原创 2022-04-26 19:46:49 · 2505 阅读 · 7 评论 -
python爬虫今日疫情
疫情当前,共克时坚。今天来试着爬取疫情情况,用js代码第一步依旧准备好要用到的库:import requestsimport jsonfrom openpyxl import Workbook接着来打开url:https://news.qq.com/zt2020/page/feiyan.htm#/步骤:右击,检查确定了url,可以开始初步代码了url='https://api.inews.qq.com/newsqa/v1/query/inner/p...原创 2022-04-26 19:12:49 · 778 阅读 · 1 评论 -
python爬虫大学排行榜
思路:爬虫必备三件套:import requestsurl='https://www.shanghairanking.cn/_nuxt/static/1650334172/rankings/bcur/202211/payload.js'r=requests.get(url)我们同样可以使用xpath来获取:from lxml import htmlht=html.fromstring(r.text)到该网页检查里元素找到需要爬取内容的xpath路径:进入网页,右击.原创 2022-04-19 19:30:07 · 2715 阅读 · 0 评论 -
python爬虫旅游景点
今天的目标是各地旅游景点废话不多说,直接开始由于本次爬取后的数据保存到Excel,所以要提前安装相关库,这里我用的是pipwin+R cmd到命令行输入以下内容(要确保python环境正常)pip install Workbookpip installopenpyxl接下来就可以开始代码操作了# -- coding: utf-8 --import requestsfrom lxml import htmlfrom openpyxl import Workbook.原创 2022-04-12 19:32:28 · 5239 阅读 · 1 评论 -
Python爬虫电影
格式:历史排名,电影名称,上映时间总票房 - 电影票房排行榜 - 电影票房数据库# -*- coding: utf-8 -*-from lxml import htmlimport requestsimport csv#链接url='http://58921.com/alltime'#请求头,模拟浏览器登录headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KH..原创 2022-04-01 12:15:20 · 1648 阅读 · 1 评论