python爬虫包_爬虫开发python工具包介绍 （1）

本文来自网易云社区

作者：王涛

本文大纲：简易介绍今天要讲解的两个爬虫开发的python库

详细介绍 requests库及函数中的各个参数

详细介绍 tornado 中的httpcilent的应用

总结

目标：了解python中常用的快速开发爬虫的工具包。

基础：    python的基础语法(2.7)

Here we go!

简易爬虫：我把一次性代码称为简易爬虫，这些爬虫是定制化的，不能通用。不像爬虫框架，通过配置就可以实现一个新的抓取需求。对于入门的盆友来讲，本篇文章基本可以满足你的需求。如果有对框架感兴趣的盆友，了解了本文的tornado，对于你了解pyspider这个框架也是有好处的。(Pyspdier使用了tornado框架)

一、简介requests与tornado

随着大数据、人工智能、机器学习的发展，python语言的编程地位保持着持续提升。其它方面的功能暂且不表(因为我不知道)，我们来谈谈python在爬虫方面的表现。

1、requests 基础

相信想快速上手爬虫的人都会选择python，并且选择requests库，请问获取百度首页源码要几步？

答：三步

第一步：下载和安装python

第二步：pip 安装 requests库

第三步：执行 python -c 'import requests; print requests.get("http://www.baidu.com").content'python -c 'import requests; print requests.get("http://www.baidu.com").content'html>

百度一下，你就知道  

 

 

   

         

 

 

     ');  更多产品