![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Scrapy框架
一个回和
这个作者很懒,什么都没留下…
展开
-
使用scrapy框架爬取淘车网的列表页和详情页的信息,实现scrapy框架的好几级的请求
淘车网:https://www.taoche.com/当我们选好城市,品牌,url变成下面这样创建scrapy项目:scrapy startproject scrapyProject创建spider小爬虫:scrapy genspider s_taoche taoche.com目录1.请求列表页(1)分析接口(2)请求url(3)分页2.item...原创 2019-05-14 00:06:40 · 2620 阅读 · 2 评论 -
scrapy框架连接MongoDB数据库
目录1.下载pymongo模块2.编码实现数据库简单操作(1)链接数据库(2)创建数据库(3)创建表(4)插入数据3.打开Robo 3T ,查看数据1.下载pymongo模块pip install pymongo2.编码实现数据库简单操作scrapy框架与数据库链接,主要是为了把爬取到的数据保存到数据库里面,所以我们把这个操作的相关代码写到scra...原创 2019-05-14 11:05:42 · 2205 阅读 · 0 评论 -
Scrapy在安装过程中遇到了错误:error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ ..
安装scrapypip install scrapy在安装过程中出现了报错:解决方法:此时需要安装一个包,下面是该包的百度云链接: https://pan.baidu.com/s/1E9RWUmAZIpKhxpsdSl7O2w提取密码:n2pu如果链接失效了,欢迎给我留言评论pip install 直接把下号的包拖过去,就不用自己写地址了图示Twisted...原创 2019-05-10 09:38:28 · 1075 阅读 · 0 评论 -
Scrapy在安装过程中遇到了错误:No module named win32api'
安装scrapy时出现:此时需要安装pywin32模块:pip install pywin32安装成功之后,重新安装scrapypip install scrapy原创 2019-05-10 10:53:53 · 227 阅读 · 2 评论 -
简单创建一个scrapy项目,并创建爬百度的spider文件
目录1.环境搭建 scrapy2.创建scrapy项目3.在scrapy项目下面创建新的爬虫spiders4.在Pycharm中打开项目5.爬取百度简单代码6.运行项目,没有爬取到消息,修改settings7再次运行1.环境搭建 scrapypip install scrapyscrapy常用的命令(1)startproject: 创建scrapy项目...原创 2019-05-10 11:13:56 · 3478 阅读 · 0 评论 -
使用scrapy框架爬取腾讯招聘信息
我之前已经写过爬取腾讯招聘的博客,我是用多线程,生产者与消费者模式结合的方式写的,有兴趣的欢迎看一看以下是博客链接:https://blog.csdn.net/g_optimistic/article/details/90048696下面写的是用scrapy框架爬腾讯招聘目录1.创建爬虫文件2.找接口 url3.访问url4.解析数据并保存5.运行项目6.s_...原创 2019-05-10 11:47:40 · 827 阅读 · 0 评论 -
使用scrapy框架的爬取腾讯招聘的完整代码
创建项目:scrapy startproject scrapyProject创建项目下的小爬虫:scrapy genspider s_tencent careers.tencent.com目录1.spiders文件夹下的s_tencent.py2.item.py3.pipelines.py4.settings.py5.运行程序1.spiders文件...原创 2019-05-10 14:29:15 · 1925 阅读 · 4 评论 -
使用scrapy框架爬boss直聘
BOSS直聘:https://www.zhipin.com/创建scrapy 项目:scrapy startproject scrapyProject创建spider文件:scrapy genspider s_boss zhipin.com目录1.找接口 url2.s_boss.py3.items.py4.pipelines.py1.找接口 urlp...原创 2019-05-10 20:42:01 · 1504 阅读 · 0 评论