python爬虫
危机时刻
这个作者很懒,什么都没留下…
展开
-
python 爬取 网易翻译
#没有优化代码结构,只是简单得实现了功能。不喜勿喷。效果如下以下是源码import hashlibimport time,randomimport requestsurl3 = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'headers2 = {'Content-Length': '2205', 'Cookie': '_ntes_nnid=3014c96856733原创 2021-04-06 15:44:22 · 216 阅读 · 0 评论 -
python爬虫+抖音分享链接=可直接下载视频链接
#仅供学习参考。目标:由抖音分享出的链接,经过解释后,可以得到直接下载的视频链接,可以使用迅雷、浏览器等工具进行下载。功能:原本想增加一个可以直接下载成视频的链接,技术不到家,然后久没有深入了。如果有实力的小伙伴,可以往这个方向去实现功能。代码实现,往下看。以下为实例图:#耗时的长短,和当前的网络有直接关系,如果想要更快更稳,可以自己优化一下代码。#代码效率有待优化。import requestsimport reimport timeheaders =.原创 2021-03-10 18:18:26 · 3817 阅读 · 6 评论 -
python爬虫+pyqt5制作完成 <在线翻译软件.exe>
#仅供学习参考。目标网站:网易翻译+pyqt5 = 在线翻译.exe功能需求:中英互译,其他国家语言也行,如果能用键盘打得出来得话,这部分功能没怎么测试。界面介绍:因为有时候网络有延迟,所有增加了个翻译消耗时间。具体代码实现。往下看。以下为效果图:功能测试图。import sysfrom PyQt5.QtWidgets import QApplication, QWidget, QLabel, QTextEdit, QTextBrowser, ...原创 2021-03-10 17:47:50 · 524 阅读 · 0 评论 -
python 爬虫-‘斗图啦’网站图片下载
python 爬虫练手,爬取 下载 斗图啦网站前100页最新图片。、其中知识点启用线程安全及多线程的方式进行同时下载。目前跑代码未出现异常报错。以下实例代码# -*- encoding=utf8 -*-import requestsfrom lxml import etreeimport osimport reimport threadingfrom queue import Queueclass P(threading.Thread): headers = {原创 2020-12-17 14:05:53 · 231 阅读 · 0 评论 -
python 爬虫-爬取小说网站-小白级
第一次编写爬虫网站。(感觉有点较凌乱)各位大神,如果有更好的意见,欢迎指点建议。谢谢。目前代码基本上能按照正常的思路扒取小说内容。思路如下:首先进入小说网站首页---》然后选取要下载的系列----》然后开始下载当前系列的所有书本链接,并存放json----》然后读取json文件内的数据进行下载。目前代码能够按照思路进行下载,但是下载速度太慢了 ,没有进行多线程下载(持续更新这部分功能)。我反爬机制没做好,如果在同一个局域网,两台不同的电脑&不同的请求头,同时运行,会处罚到网站的反爬原创 2020-09-16 10:32:06 · 2711 阅读 · 0 评论