mengyanyuan8023的博客

最近在学习用python实现爬虫，想批量爬取百度图片，但是查看百度图片的网页源码的时候发现图片的objURL 都像下面这样并不是一个可访问的url："objURL":"ippr_z2C$qAzdH3FAzdH3Fwppwvi4jgpf_z&e3B2uwg_z&e3Bv54AzdH3Fu5674AzdH3Fwppwvi4jgpfdAzdH3Fda8na9AzdH3FnaAzd...

上一篇：[Python 爬虫] 使用 Scrapy 爬取新浪微博用户信息（二） —— 编写一个基本的 Spider 爬取微博用户信息在上一篇博客中，我们已经新建了一个爬虫应用，并简单实现了爬取一位微博用户的基本信息。这一篇博客就将介绍怎样横向和纵向地扩展爬虫，让爬虫程序循环地爬取用户信息，然后将爬取的用户信息，保存到 MongoDB。扩展爬取范围1. 完善爬取用户的资料其实上...

前言新浪微博作为目前一个重要的社交媒体，平均每天产生的数据都在亿级以上，2019年3月15日，新浪微博数据中心发布最新《2018微博用户发展报告》。2018年第四季度财报显示，微博月活跃用户4.62亿，连续三年增长7000万+；微博垂直领域数量扩大至60个，月阅读量过百亿领域达32个。2018年娱乐明星微搏的粉丝总人次增至1:67亿人次，2017年度同比增长39亿人次。娱乐明星微博粉丝总计1...

上一篇：[Python 爬虫] 使用 Scrapy 爬取新浪微博用户信息（一） —— 新建爬虫项目在上一篇我们新建了一个 sina_scrapy 的项目，这一节我们开始正式编写爬虫的代码。选择目标网站目前，新浪微博主要有三个域名，分别是：微博简化版（https://weibo.cn）、微博移动端（https://m.weibo.cn）、微博PC网页端（https://weibo.com...

上一篇：[Python 爬虫] 使用 Scrapy 爬取新浪微博用户信息（三） —— 数据的持久化——使用MongoDB存储爬取的数据最近项目有些忙，很多需求紧急上行，所以一直没能完善《使用 Scrapy 爬取新浪微博用户信息》这一系列的博客，今天好不容易闲下来，就完成这一系列最后一节：选取 User-Agent、添加 IP代理池以及Cookies池。在上一篇博客中，我们介绍了如何对爬取的用...