- 博客(20)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Scrapy快速入门---个人总结【包含案例】
Scrapy入门案例之抓取京客隆店面信息一、scrapy 安装1.用pip【此方法比较繁琐】1.1 pip3 install wheel1.2 下载安装软件【Twisted】,需要与Python版本一致1.3 安装 Twisted【在Twisted 文件目录下】1.4 安装pywin321.5安装scrapy2. 用pycharm二、常用命令三、利用Scrapy 抓取京客隆店面信息1. 建立项目2. 进入爬虫文件中，更改起始url及删除域名3. 更改settings.py 中配置信息4. 编写爬虫逻辑代码5
2020-09-01 00:42:53
325
原创 【单线程异步协程】批量下载糗事百科视频
单线程异步协程下载视频导包获取最大页数依次抓取每个页面上的视频详情链接，并调用函数依次抓取每个视频详情页上的视频名字及下载链接【协程函数】打开下载链接，并保存数据完整代码导包import asyncioimport aiohttpfrom lxml import etreeimport requestsimport time 获取最大页数def get_maxpage(): url = "https://www.qiushibaike.com/video/page" hea
2020-08-30 22:49:05
126
原创 selenium详细讲解
selenium 截屏与获取一、截屏与获取1.截屏2.获取2.1获取cookies值2.2获取当前页面返回代码2.3获取当前页面url二、查找元素1.网页中套着另一个网页【豆瓣】2.通过标签的ID获取标签【重点】3.通过标签id 获取多个标签列表，后面一样4.通过标签的class属性值获取标签5.通过xpath获取【重点】6.根据标签的文本获取元素列表，精确定位6.1.获取属性值7.根据标签包含的文本获取元素列表，模糊定位 [加s可以查多个但是列表需遍历才能使用]8.根据标签名获取元素列表 【不常用】 切记
2020-08-29 22:42:04
1048
1
原创 【seleuium】模拟登录豆瓣，利用xpath 定位
from selenium import webdriverchrome = webdriver.Chrome()chrome.maximize_window()chrome.get('https://www.douban.com/')#定位iframe【网页中含有网页】iframe_u = chrome.find_element_by_tag_name('iframe')#切换iframe子网页chrome.switch_to.frame(iframe_u)#chrome.switc
2020-08-28 19:34:59
210
原创 【semenium】使用semenium模块模拟浏览器登录
semenium安装及使用安装及使用安装使用导包获取[浏览器]的实例化对象使用浏览器打开网址实例总结安装及使用安装1、安装：pip install selenium2、在谷歌浏览器地址栏输入： chrome://version/或者在帮助里面看关于Googel Chrome3、进入网址找对应版本的驱动：http://chromedriver.storage.googleapis.com/index.html4、下载：chromedriver_win32.zip5、解压放到Python解释器中
2020-08-28 17:35:06
257
原创 喜马拉雅音频批量下载
导入包，并新建相声文件夹import requestsimport osfrom lxml import etreeimport jsonimport timeb_path = 'e:/郭德纲相声'if not os.path.exists(b_path): os.mkdir(b_path)获取所下载种类的最大页数def get_num(a): url = f"https://www.ximalaya.com/xiangsheng/9723091/p{a}/" h
2020-08-28 00:53:52
2108
原创 有道词典【输入式翻页】
导入import requestsimport pandas as pdimport json输入想要翻译的词并构建访问数据i = input("请输入想要翻译的词：")url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit
2020-08-27 00:41:04
532
原创 【函数式编程】爬取豆瓣数据
导入模块并输出类型代码import requestsimport pandas as pdimport jsonimport timeprint( ''' 1-纪录片；2-传记；3-犯罪；4-历史；5-动作； 6-情色；7-歌舞；8-儿童；10-悬疑；11-剧情； 12-灾难；13-爱情；14-音乐；15-冒险；16-奇幻； 17-科幻；18-运动；19-惊悚；20-恐怖；22-战争； 23-短篇；24-喜剧；25-动画；26-同性；27-西部； 2
2020-08-26 23:02:36
253
原创 【函数式】爬取京东评论及型号【智能判断总评论页数】
导入模块及写入要下载的产品编号import requestsimport pandas as pdimport jsonfrom lxml import etreeimport time这里写目录标题这里写目录标题这里写目录标题这里写目录标题
2020-08-26 18:15:09
345
原创 爬取京东评论及型号
导入数据模块，并输入要查询下载的产品编码及下载评论页数）网页中URL地址栏中的不是真是url真是url中含有翻页信息及产品编码访问网页返回Json数据，其中包含多余符号，不能直接进行Json读取，需要将多余的替换成空Json读取数据获得是列表import requestsimport pandas as pdimport jsonfrom lxml import etreec_num = input(r"请输入要下载评论的商品编号：")num = input(r"请输入要下载几页评论：")爬
2020-08-26 00:05:57
269
原创 批量下载视频【for循环翻页】
1.导入模块，并判断文件夹是否存在，不在建立新文件夹import requestsimport osimport timefrom lxml import etreepath1 = "e:/糗事视频"if not os.path.exists(path1): os.mkdir(path1)2.获取总页数b_url = "https://www.qiushibaike.com/video/"headers = { 'User-Agent':'Mozilla/5.0 (Win
2020-08-24 19:02:37
369
原创 批量下载免费PPT模板【另一种智能翻页】
*导入模块并判断所下PPT模板类型文件是否存在，不在建立文件夹import requestsimport osfrom lxml import etreepath = "e:/中秋节ppt模板"if not os.path.exists(path): os.mkdir(path)2.访问基础页面，并且拿到总页数列表，确定该类型文件共有几页b_url ="http://www.1ppt.com/moban/zhongqiujie/"headers = { 'User-Ag.
2020-08-24 16:45:24
416
原创 智能翻页和批量下载文件【无函数，单线程】
导入数据库import requestsimport osfrom lxml import etreeimport reimport time2.获取页面信息并解析url ='http://www.jkl.com.cn/cn/invest.aspx'headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/8.
2020-08-24 14:45:29
237
原创 批量下载图片【京客隆超市】
导入模块并判断所下载图片是否存在文件夹import requestsfrom lxml import etreeimport osif not os.path.exists("e:/图片"): os.mkdir("e:/图片")2.数据获取【每张图片url及图片名称】url = "http://www.jkl.com.cn/cn/phoLis.aspx"headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win.
2020-08-24 10:24:56
112
原创 爬取【京客隆超市】店铺信息
#爬取爬取【京客隆超市】店铺信息导入所需库import requestsimport pandas as pdfrom lxml import etree爬取各区链接url = 'http://www.jkl.com.cn/cn/shop.aspx'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.
2020-08-24 08:51:03
512
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人