python网络爬虫安装_Python3 网络爬虫(请求库的安装)

Python3 网络爬虫(请求库的安装)

爬虫可以简单分为几步:抓取页面,分析页面和存储数据

在页面爬取的过程中我们需要模拟浏览器向服务器发送请求,所以需要用到一些python库来实现HTTP的请求操作,我们用到的第三方库有requests Selenium 和aiohttp

requests 的安装

相关链接:

GitHub :https://github.com/requests/requests

PypI:https://pypi.python.org/pypi/requests

官方文档:http://www.python-requests.org

中文文档:http://docs.python-request.org/zh_CN/latest

安装:

最好用的安装方式:pip 安装

pip3 install  requests

验证是否安装成功

打开控制台进入命令行模式,首先输入python3 然后输入import requests   如果什么报错或提示说明安装成功

#!/usr/bin/env python#-*- coding:utf-8 -*-#__author__=v_zhangjunjie02

import requests

Selenium 的安装

selenium是一种自动化测试工具,利用它可以驱动浏览器执行特定的动作,如点击,下拉等操作,对于一些JavaScript 渲染的页面来说,这种抓取方式非常有效,下面来看看selenium 的安装过程

相关链接

官方网站:http://www.seleniumhq.org

GitHub :https://github.com/SeleniumHQ/selenium/tree/master/py

PypI: https://pypi.python.org/pypi/selenium

官方文档:http://selenium-python.readthedocs.io

中文文档:http://selenium-python-zh.readthedocs.io

还是用pip 安装

pip3 install selenium

验证是否安装成功:

打开控制台进入命令行模式,首先输入python3 然后输入import selenium   如果什么报错或提示说明安装成功

原文:https://www.cnblogs.com/zhang-jun-jie/p/10465776.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值