工作爬虫
白夜繁华尽
这个作者很懒,什么都没留下…
展开
-
菜鸟的Django+MongoDB搭建简单爬虫显示网站踩坑心得
本文基于《Django企业开发实战》一书和网络资料,拼拼凑凑,做了简单的网站实现,大致把前后端+数据库方面的内容结合爬虫代码做通了。不得不说,Django和MongoDB是真的不搭配,强烈建议不要使用。开始:conda环境本文在Ubuntu18.04LTS系统上,使用anaconda搭建虚拟环境,python版本为3.6.10,主要库版本为django(1.11.4),mongoengine(0.20.0),pymongo(3.10.1),以及爬虫用的requests(2.24.0)和beautif原创 2020-09-16 16:32:01 · 1639 阅读 · 0 评论 -
简单小爬虫爬取招标信息
以图像算法开发的名义入职的第一天,直属领导不在,隔壁通讯组小头目说,你就做个爬虫吧......虫吧......吧......没办法,写吧。但很久以前只写过很简单的爬虫,这次就边学边写。基本功能:爬取某招投标网站上的项目内容和具体每个项目的截止日期时间,有关键字查询功能和截止日期设置功能。可能的后续功能:短信、QQ聊天和电子邮件提示功能。原创 2020-07-08 10:40:05 · 9118 阅读 · 5 评论