![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫学习
文章平均质量分 56
小鸡快跑哒咯哒
这个作者很懒,什么都没留下…
展开
-
爬虫基础模板
import requests # 调用requests库 from bs4 import BeautifulSoup # 调用BeautifulSoup库 res =requests.get('https://localprod.pandateacher.com/python-manuscript/crawler-html/spider-men5.0.html') # 返回一个response对...原创 2019-10-18 10:59:22 · 199 阅读 · 0 评论 -
linux中爬虫框架scrapy的快速安装及搭建(二)
啊原创 2018-10-26 20:16:07 · 265 阅读 · 0 评论 -
linux中虚拟环境virtualenv的安装和配置
目的:更方便的配置python2和python3各自的环境 安装virtualenv:>sudo apt-get install python-virtualenv 建立python2.7的虚拟环境:>virtualenv py2 进入bin文件:>cd py2/bin 启动python2.7:>source activate &a原创 2018-10-23 18:53:03 · 631 阅读 · 0 评论 -
linux中爬虫框架scrapy的快速安装及搭建(一)
scrapy是一个快速、高层次的web抓取框架 新建虚拟环境 具体解释看上一篇推文, 输入: >mkvirtualenv -p /usr/bin/python3 Articlespider 安装scrapy 可以直接使用:>pip install scrapy下载,但是速度比较慢 也可以寻找镜像下载(我这里用的清华大学的):>pip install -i https:/...原创 2018-10-24 16:17:48 · 1728 阅读 · 0 评论