- 博客(7)
- 收藏
- 关注
RSS订阅原创 Python-ppt模板批量下载
基于Python 爬虫批量下载ppt模板 github https://www.cnblogs.com/w0000/p/15106500.html import requests from lxml import etree import time import os def creatPath(path): if not os.path.exists(path): print("Creat path") os.makedirs(path) if __name_.
2021-08-05 23:41:31
332
原创 Python爬虫 - wallhaven任意页面下的壁纸批量下载
基于Python 任意页面下的壁纸批量下载 github Maxpagenum 爬取页数 fpath 保存路径 url 基础地址 import requests import re import time import os #爬取页数 Maxpagenum = 10 Sleeptime =0.1 def creatPath(path): if not os.path.exists(path): print("Creat path") os.makedirs(pa.
2021-08-05 23:39:54
1392
原创 Python selenium
selenium selenium 基于浏览器自动化的一个模块 便携的获取网站中动态加载的数据（Ajax） 便携实现模拟登录 Google浏览器 驱动程序下载路径 确定版本映射关系 实例化浏览器对象 传入浏览器驱动程序 bro = webdriver.Chrome(’./chromedriver.exe’) 编写自动操作代码 基于浏览器自动化的操作代码 发起请求：get(url) 标签定位: find系列方法 标签交互: send_keys('xxx) 执行js程序:
2021-08-05 23:37:39
120
原创 Python 模拟验证码登陆
Python 模拟验证码登陆 获取登录请求 打开preserve log 点击登录，获取登录请求(post) 验证码地址可变 爬取页面验证码地址，获取验证码内容 将data进行post请求 验证码地址不变，而内容随机变化 设置session进行验证码的get请求并下载图片进行识别得到验证码的识别结果，再利用这个sesson进行post请求，把账号密码和验证码识别结果的表单数据进行post从而模拟登录 如果请求中产生了cookie，则该cookie会被自动存储/携带在该session对
2021-08-05 23:33:59
867
原创 Python 爬虫 数据解析
https://www.cnblogs.com/w0000/p/15097633.html 数据解析 response 方法 content 返回二进制响应数据 text 返回字符串 json() 返回json对象 正则 re.S 单行匹配 re.M 多行匹配 img_src_list = re.findall(ex,img_data,re.S) bs4数据解析 数据解析的原理 1.标签定位 2.提取标签、标签属性中存储的数据值 ####bs4数据解析的原理： 1.实例化一个Beautifu
2021-08-05 23:26:43
63
原创 Python 爬虫 - 获取百度关键字搜索内容
Python 爬虫 获取百度关键字搜索内容 https://www.cnblogs.com/w0000/p/bd_search_page.html Github headers内的参数,仅有UA时,返回结果不完整,找个request头，增加一些参数。 import requests if __name__ == '__main__': #输入搜索关键字 keyword = input("keyword:") url = 'https://www.baidu.com/s?ie=UT
2021-08-05 23:21:24
2355
1
原创 python获取b站视频封面及弹幕
python网络爬虫利用python获取b站视频封面及弹幕获取弹幕获取封面完整代码 利用python获取b站视频封面及弹幕 获取弹幕 从https://api.bilibili.com/x/v1/dm/list.so?oid=286266029k可以看到弹幕列表 该网页为xml格式，利用etree.parser，xpath解析获取弹幕列表 从https://api.bilibili.com/x/player/pagelist?bvid=BV1eh41127Ma&jsonp=jsonp中找到了oid
2021-01-28 16:22:39
634
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人