爬虫
szc889988
一个可爱的程序猿
展开
-
scrapy爬虫框架
作者经过几周的python爬虫实践之后,深入学习了一下scrapy这个爬虫框架,现将一些基本知识和代码总结整理一下,以备后查。1.scrapy的下载安装普通方法就是用pip install scrapy( 不写明版本号会自动下载最新版本)下图安装被手动取消了,因为作者电脑里有了。。。。作者由于还要用到python数据分析的一些包,numpy等等,所以偷懒直接安装了anaconda,没有原创 2017-07-12 14:44:30 · 863 阅读 · 0 评论 -
python2爬虫的入门知识
这篇博客是作者入门python爬虫的笔记,仅供参考,如有错误请指正。1.爬静态页面(百度首页 http://www.baidu.com),IDE为pycharm# -*- coding: utf-8 -*-import urllib2def base(): #定义url,然后调用urlopen函数打开,读取结果存在data变量中 url = "http://www.ba原创 2017-07-09 14:44:08 · 428 阅读 · 0 评论