![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
requests
习风的博客
这个作者很懒,什么都没留下…
展开
-
爬取数据保存至mysql数据库
做爬虫,免不了将抓取下来的数据保存到数据库,但是如何保存到数据库呢,下面我通过我工作中抓取的一个网站来展示,代码有点多,但是逻辑很简单,此例是将标题连接保存在了mysql中,先看看网站是什么样子: 下边这个图是页码 网站是这个样子,我在代码中有个判断,就是判断链接是否有三个,分别执行不同操作,就是根据图中标记来的 此次请求是get请求,不需要传参,只需要重新拼接url进行翻页即可 ...原创 2018-07-25 10:02:25 · 6022 阅读 · 0 评论 -
requests爬取联合国采购网站
这是第一次写博客文章,内心有点小激动呢!接下来给大家分享一下我在工作中爬取最多的网站,www.ungm.org ,联合国采购网站,听起来是不是很高大上呢?话不多说,进入正题...1.首先明确一下要抓取的内容,因为我想要的数据是每天都会更新,所以今天就抓取昨天的,以此类推。上图2.接下来就是分析了打开f12进行调试,发现如下:我们想要的数据都在Search中,3,然后我们点击...原创 2018-07-20 14:35:34 · 437 阅读 · 0 评论 -
爬取有道借口,传参进行翻译
人嘛,就是有时候想浪一下,比如程序员,本来好好的程序不用,非得自己搞一个,我就犯了这毛病了,下边就是我爬取有道接口传参进行翻译,代码如下:喜欢浪的一起浪吧...原创 2018-07-20 18:10:46 · 197 阅读 · 0 评论 -
使用requests+re+xlwt将爬下来的数据保存在excel中
在平时的工作中,大家可能会遇见这么一种情况,就是领导让你从一个网站抓点数据,但是呢,他又不懂编程,那么如何让领导很直观的看懂咱们抓下来的数据呢?今天呢,给大家分享一个很使用的操作,就是直接抓取数据保存到Excel中,以腾讯课堂为例,链接为 https://ke.qq.com/course/list?mt=1001&st=2002&tt=3019&page=首先咱们先来...原创 2018-07-22 16:07:46 · 1227 阅读 · 0 评论 -
多线程爬虫
写了那么多爬虫,也没写多线程爬虫,今天就为大家带来多线程爬虫,提高你的爬虫效率,增加你的爬取速度,今天的代码比较简单,就是爬取一个企业名录的公司信息,没有什么反扒措施,加上user-agent扮演成浏览器的身份就好了,好了,话不多说,进入正题,直接贴代码 好了 以上就是全部代码了,感兴趣的可以看看哦,有问题欢迎留言...原创 2018-08-01 12:11:32 · 230 阅读 · 0 评论 -
使用requests抓取天眼查信息
大家在抓取的过程中,肯定遇见过有些内容需要在登陆之后才能抓取的,上一篇中为大家带来了使用selenium抓取天眼查保存到excel.但是selenium效率慢的怀疑人生,今天呢,为大家带来的是使用requests抓取天眼查,很简单,说一下headers部分,携带的cookis是已经登陆过的,重点是在浏览器中将登陆过的headers请求头复制下来,然后找对链接请求传参就行了。好了,话不多说,由于比较...原创 2018-08-03 14:26:47 · 2699 阅读 · 8 评论