scrapy入门教程1:scrapy环境配置以及安装

1人阅读 评论(0) 收藏 举报
分类:

0. 基本环境说明

  1. 本文截图及运行环境均在MAC OS X 10.9.5上实现,但基本步骤与win 7环境上相同(其实我是先在win7折腾了一把,然后为了写这篇教程,又在OS X 上面重新搞了一遍)

  2. scrapy版本为1.0

  3. 参考文献以及下载链接:

1. 基本环境配置

1. anaconda

刚接触python和机器学习的人,想必已经被python中眼花缭乱的安装包和相关类库搞的菊花一紧。我之前也是各种血泪史,完全没有老司机带着我。折腾了差不多半个月,python环境依旧装的破破烂烂。Windows和linux以及MACOS环境下都是演过了,各种蛋疼。直到某一天我见到了anaconda。才感觉这个世界上依旧是好人多,人间还是充满爱的。

anaconda是一个开源的、免费的python类库的集合,貌似一装就安装了200+的包,各种依赖包各种搞定。所以赶快戳顶层链接去下载吧。下面介绍的其他工具一些是anaconda自带的,一些是通过anaconda安装的,总之,anaconda是一切的基石。

2. MySQL 模块安装

anaconda模块竟然木有自带MySQL连接模块,用下面的命令来安装吧,后面抓取的内容要塞到数据库里面的哟~

conda install MySQL-python

3. scrapy 安装

下面就是安装scrapy了,其实也是简单的不要要的~,因为我们已经安装了anaconda,所以一切都简单的不要要的哟~,里面会让你有些包更新,直接输入y确认就好了。

conda install scrapy

注意:在使用conda install 安装的过程中,有时候因为网络问题或者其他问题会引起失败,此时要仔细看提示说明,寻找原因,如果是网络原因的话,重新输入以上命令即可~。我教研室有个师弟,因为网络原因装了8回,所以骚年洗洗菊花做好准备吧~

转载: https://segmentfault.com/a/1190000003100292

查看评论

python虚拟环境搭建以及scrapy的安装

python虚拟环境 scrapy简单使用方法
  • csdn_meng
  • csdn_meng
  • 2018-01-26 14:20:53
  • 66

scrapy入门教程

  • 2016年12月21日 11:24
  • 121KB
  • 下载

scrapy爬虫项目爬取腾讯,斗鱼

  • 2018年01月29日 10:54
  • 65.73MB
  • 下载

scrapy 环境搭建

在win7环境下,以window7 64bit安装为例子1. 下载python2.7环境用浏览器打开https://www.python.org/downloads/ 然后选择所对应的版本(这里选择2...
  • androidWorkor
  • androidWorkor
  • 2016-04-16 23:36:58
  • 1032

win10安装python3.x+scrapy

下载安装python3官网下载就好,https://www.python.org/downloads/release/python-352/用installer下载比较方便,它直接把环境变量都帮你配了...
  • qq_30242609
  • qq_30242609
  • 2016-11-07 23:00:00
  • 1795

Python开发爬虫之从虚拟机安装到Scrapy环境搭建

对Scrapy框架的使用已有一段时间,现将个人经验作一个记录和分享。 由于在windows上安装Scrapy各种不成功,因此还是推荐在Linux上安装。一、虚拟机的安装下载 VMWare Works...
  • qwerty_bibabo
  • qwerty_bibabo
  • 2016-10-20 23:37:38
  • 1074

ubuntu16.10配置scrapy环境

Ubuntu16.10环境下配置基于Python3的scrapy环境
  • phone15062117684
  • phone15062117684
  • 2017-03-05 15:32:05
  • 357

python pip安装scrapy各种错误处理

1.scrapy 安装没有lxml,pip install lxml 下载报错: libxml/parse.h 没有这个头文件 yum search libxml,找到结果中的libxml2-de...
  • skyie53101517
  • skyie53101517
  • 2015-11-30 22:51:16
  • 12480

scrapy 开发环境搭建

scrapy 网络爬虫 环境搭建 (OSX)访问 github scrapy 可以获得搭建网络爬虫的安装环境,但是需要翻墙1.github 介绍了一种最快的安装命令$ pip install scra...
  • engineer_james
  • engineer_james
  • 2017-04-22 22:23:23
  • 608

Scrapy0.24官方文档_中文_PDF

  • 2015年05月14日 18:33
  • 1.37MB
  • 下载
    个人资料
    专栏达人 持之以恒
    等级:
    访问量: 128万+
    积分: 1万+
    排名: 716
    流量分析
    Free counters!
    博客专栏