爬虫学习
关于爬虫的一些小知识,此专栏会持续更新
檬柠wan
一个不想上班的深漂软件测试人
展开
-
Python_获取京东商品数据写入Excel和可视化数据中
通过Selenium获取京东商品数据,并写入到Excel表格中,然后统计每个店铺名称出现的频率,并选取前5个,显示到可视化数据中。原创 2023-06-11 14:50:29 · 1358 阅读 · 3 评论 -
python_urllib.request.urlretrieve使用方法
1、方法一(显示百分比)import urllib.requestimport sysimport osdef File_plus(): ''' 文件储存位置 判断文件是否存在,不存在则创建 ''' folder_path = "C:/Users/Admin/Desktop/download/" if not os.path.exists(folder_path): os.makedirs(folder_path) ret原创 2021-06-27 16:35:32 · 3420 阅读 · 0 评论 -
python_接口返回数据通过json提取和正则表达式提取
一、准备工作1、需要用到的网站https://pic.sogou.com/2、需要使用的模块pip install requests二、获取指定信息首先,通过浏览器打开上面的地址,搜索“风景”,然后按F12打开调试窗口,并点击左上角“全部”按钮,获取接口查看Preview返回的数据,picUrl的值,就是我们要获取的信息1、通过json提取import requestsimport jsondef img(): data = { "mod原创 2021-06-20 00:18:59 · 3149 阅读 · 0 评论 -
python_html页面中select和find的使用方法
一、准备工作1、需要用到的网站https://www.ivsky.com/tupian/songshulin_v64748/2、需要使用的模块pip install requests pip install beautifulsoup4pip install lxml二、获取对应标签信息首先我们先打开网站,按F12查看页面。如果我们想要获取图片的下载地址,那我们可以通过select和find方法来获取1、select方法获取通过select我们获取了页面中的所有img标签原创 2021-06-19 20:57:25 · 2267 阅读 · 0 评论