Python
forHeart_toHeart
贪图享乐,不可取
展开
-
python环境下使用xpath
xpath用于定位网页元素,可以理解为选择器.在python里可以使用正则表达式,BeautifulSoup,xpath,css选择想要的html元素这里先介绍下xpath的使用,目前比较倾向使用xpathxpath使用非常简单啦,例子:中国天气网http://www.weather.com.cn/weather1d/101020100.shtml#search要选取html元...原创 2019-03-18 12:13:46 · 458 阅读 · 0 评论 -
安装scrapy模块
1.安装Scrapypip 安装:pip install scrapy要求pip至少是18.1版本的,10.x版本会提示更新pip更新pip命令:python -m pip install --upgrade pip 用pycharm的话,直接在File->Setting->Python Interpreter,点"+"号,选择要安装的模块即可....原创 2019-03-18 12:12:58 · 141 阅读 · 0 评论 -
Scrapy实例:爬取中国天气网天气数据
1.创建项目在你存放项目的目录下,按shift+鼠标右键打开命令行,输入命令创建项目:PS F:\ScrapyProject> scrapy startproject weather # weather是项目名称回车即创建成功这个命令其实创建了一个文件夹而已,里面包含了框架规定的文件和子文件夹.我们要做的就是编辑其中的一部分文件即可.其实scrapy构建爬...原创 2019-03-18 12:12:11 · 3662 阅读 · 2 评论