python爬虫
文章平均质量分 69
36度道
知行合一,道法自然
展开
-
爬虫|wallhere壁纸批量下载
大家好,我是36度道,人生苦短,我用python !今日目标:批量下载wallhere网站上的壁纸目标网址:https://wallhere.com/zh/wallpapers首页图:按 F12 查看网页源代码,搜索img标签,可以看到现在有120张图片如果想要更多的图片,需要往下拉,网页会自动往下加载新的图片为了截这张图,拉了老长了…现在加载到了240张图片也就是说 只有执行了“下拉”这个操作,才会加载出新的图片。这时,就不能单纯地从网页源代码中采集了,因为它是通过ajax动态加载的原创 2021-09-16 23:33:46 · 3961 阅读 · 1 评论 -
Python两行代码实现发送邮箱
背景今天发现了一个第三方库yagmail,该库可以帮助我们用Python实现发送邮件这个功能,只需要两行就可以发送文本内容哟,大大减少了我们的代码量。但是单纯亮代码感觉没啥意思,所以就做个小案例:爬取天气预报,并将数据发送给自己的QQ邮箱,Let’s go~数据来源这里有一个天气预报的接口:http://wthrcdn.etouch.cn/weather_mini?city=龙岩返回的数据是json格式的,这样我们就能很轻易的提取数据啦安装所需要的库requests:是一个第三方库,用于向服原创 2021-01-17 18:27:00 · 590 阅读 · 2 评论 -
python实现谷歌翻译
背景这个功能是在工作时,上级有个需求是让我将json文件中指定字段的英文翻译成中文,并且指定要使用谷歌翻译,理由是翻译的结果可能会比较准确。过程因为之前写过用python实现有道翻译,是在ajax中找到它的翻译接口的,所以我以为谷歌应该也差不多,于是我就打开 “开发者工具”,拼命地寻找它的翻译接口,果然让我发现了,哈哈哈哈~~然而我发现我高兴地太早了,这TMD是个啥东西,为啥不是json啊,崩溃!!!算了,你牛,我放弃~于是我就面向度娘,寻求帮助,搜索关键词 “python实现谷歌翻译”,哦吼原创 2021-01-01 12:30:31 · 4181 阅读 · 25 评论 -
通过复制cookie模拟登录爬取美食杰
# 用于发起请求from urllib import requestimport lxml.etree as lefrom fake_useragent import UserAgentdef get_html(url,cookie): '''获取网页代码''' headers = { 'User-Agent':ua.random, 'cookie':cookie } req = request.Request(url,headers=headers) # 发送请求 ret =原创 2020-05-22 15:23:31 · 545 阅读 · 0 评论 -
使用urllib模拟百度翻译
# 用于发起请求from urllib import request# 用于url字符编码from urllib import parse# 用于设置代理ip# 记得安装:pip intsall fake_useragentfrom fake_useragent import UserAgent # 用于将json数据转化为字典import json#创建useragent对象 ua = UserAgent()url = 'https://fanyi.baidu.com/sug'原创 2020-05-22 14:21:43 · 455 阅读 · 0 评论 -
一键查询快递物流信息
背景前一段时间跳舞,发现鞋子磨了个洞(又得买鞋了),然后就去淘宝买了双鞋,不过发现每次查物流都得登一次淘宝,然后又要点击这个点击那个的,作为懒虫的我觉得好麻烦啊~,于是乎就想写一个简单的查快递物流的程序,偷偷懒。过程中踩了一点坑。。。流程确定目标分析目标代码实操检验结果确定目标百度上搜到一个’快递100’的网站,可以查询货物的物流信息,所以选择了它作为这次的小白...原创 2019-05-05 14:20:15 · 6905 阅读 · 11 评论 -
urllib库的一些基本函数的使用
urllib 库介绍:是python自带的标准库,无需另外安装可以模拟浏览器向指定的服务器发送请求并保存返回的数据注意:在 urllib 库中,所有与网络请求相关的函数都在 request 模块下urlopen() 函数第一行:使用函数 urlopen() 时需先导入 request 模块第二行:创建一个远程url的类文件对象,它的返回值是http.client.HTTPRes...原创 2019-05-18 17:20:17 · 1115 阅读 · 0 评论 -
HTTP基础概念学习
HTTP协议概念:全名为 HyperText Transfer Protocol, 是超文本传输协议分类:HTTPS协议 和 HTTP协议 两种 :HTTP协议:无加密,安全性低,服务器端口为 80 端口HTTPS协议:在HTTP协议上进行了加密,安全性高,服务器端口为443端口URL概念:全名为 Uniform Resource Locator , 中文译为 统一资...原创 2019-05-18 17:22:37 · 119 阅读 · 0 评论