![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 65
x_mm_c
这个作者很懒,什么都没留下…
展开
-
使用scrapy +selenium爬取动态渲染的页面
背景在通过scrapy框架进行某些网站数据爬取的时候,往往会碰到页面动态数据加载的情况发生,如果直接使用scrapy对其url发请求,是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现,通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取动态加载出的数据,则必须使用selenium创建浏览器对象,然后通过该浏览器对象进行请求发送,获取动态加载的数据值. 本文分享scrapy的介绍和如何配合selenium实现动态网页的爬取.ScrapyS原创 2021-11-18 16:48:10 · 9440 阅读 · 0 评论 -
tornado使用aiofile实现大文件异步上传下载
tornaod使用aiofile实现文件流异步上传下载同步方式的上传下载废话不多说, 直接上代码class Download(tornado.web.RequestHandler): def get(self): try: filename = self.getParam('file_name') file_path = os.path.join(RESULT_PATH, filename) if not原创 2021-08-04 18:56:32 · 1367 阅读 · 1 评论 -
PIP 更换国内源, 起飞~
pip 国内的一些镜像阿里云 http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/豆瓣(douban) http://pypi.douban.com/simple/清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/修改源方法:临时使用:原创 2021-06-18 17:27:16 · 387 阅读 · 0 评论 -
Python 定时任务(schedule, Apscheduler, celery, python-crontab)
背景最近有个需求,需要实现一个定时或定期任务的功能,需要实现每月、每日、每时、一次性等需求,必须是轻量级不依赖其它额外组件,并能支持动态添加任务。定时任务库对比根据上面需求,从社区中找到了几个 Python 好用的任务调度库。有以下几个库:schedule:Python job scheduling for humans. 轻量级,无需配置的作业调度库python-crontab: 针对系统 Cron 操作 crontab 文件的作业调度库Apscheduler:一个高级的 Pyth原创 2021-06-17 17:02:35 · 1775 阅读 · 1 评论