scrapy
生命的脚步从不停歇
1
展开
-
scrapy crawl xxx,import win32api ModuleNotFoundError: No module named 'win32api'
问题:scrapy crawl xxx命令时,提示 import win32api ModuleNotFoundError: No module named 'win32api'原因:没有安装pywin32一个非常强大的Python扩展库,是Python调用Windows系统底层功能的最佳接口,也是爬虫框架scrapy所依赖的重要扩展库之一。安装dos窗口输入 python 查看本地python版...原创 2018-06-12 09:45:23 · 1145 阅读 · 0 评论 -
使用pycharm运行调试scrapy
原文:https://www.cnblogs.com/BigFishFly/p/6337257.html摘要 :Scrapy是爬虫抓取框架,Pycharm是强大的python的IDE,为了方便使用需要在PyCharm对scrapy程序进行调试 python PyCharm Scrapy scrapy指令其实就是一个python的运行脚本pyCharm是一个强大的pythonIDE在运行scrapy...转载 2018-06-21 19:01:38 · 722 阅读 · 0 评论 -
python 爬取中介房屋信息、图片,插入到mongodb中
爬取https://bj.lianjia.com/ershoufang/这一页数据的房屋信息、图片简单示例脚本:from pymongo import MongoClient from gridfs import * import requests from lxml import etree import lxml,time head={ "Accept":"text/html,app...原创 2018-06-28 11:48:29 · 491 阅读 · 0 评论