python爬虫需要的库安装_Python爬虫库的安装

首先，安装request爬虫库:

作用 : 相当于浏览器 客户端发送请求

安装：pip install requests

requests安装

res=requests.get('http://www.baidu.com')      向百度发送一个请求

res.status_code                                             返回请求的状态码

200                                                                请求成功

res.text                                                          网页的源代码

requests代码

其次，安装beautifulsoup4爬虫库

作用 : 网页分析器

安装 : pip install beautifulsoup4

beautifulsoup4安装

from bs4 import BeautifulSoup                      引入库

res=BeautifulSoup('

HelloWorld','html.parser')   这个后面会仔细讲的

res.title                                                          获取标题

res.title.text                                                    获取标题内容

beautifulsoup4代码

再次,安装pyquery库

作用 ：和beautifulsoup4差不多 不过和jquery差不多

安装 : pip install pyquery

pyquery安装

from pyquery import PyQuery as pq                 引入pyquery

res=pq('ttt')

res('html')                                                        取到html标签

res('html').text()                                                 取到html标签里面的值

pyquery代码

最后，安装pymongo库

作用 : python对mongodb数据库的操作

安装 :  pip install pymongo

pymongo安装

import pymongo

res=pymongo.MongoClient('localhost')             链接本机数据库

db=res['local']                                                   请求local数据库 要是没有的话 就重新创建

db['student'].insert({'name':'lisi','age':25})          插入数据

db['student'].find_one({'name':'lisi'})                  查找数据

pymongo代码