![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
熊小嘿吖
偶尔诈尸
展开
-
PyQuery库
初始化html='<div class="header wrap"><a href="#" class="logo"><img src="images/logo.png" alt=""></a><ul class="nav"><li原创 2018-10-11 15:48:47 · 143 阅读 · 0 评论 -
Selenium库
什么是Selenium库?`自动化测试工具,支持多种浏览器驱动浏览器,进行一些操作指令,点击,跳转等爬虫中主要用来解决Javascript渲染问题selenium api文档https://selenium-python.readthedocs.io/api.html案例from selenium import webdriverfrom selenium.webdriv...原创 2018-10-11 17:27:02 · 147 阅读 · 0 评论 -
python猫眼top100实例
import requests#导入所有Requests显式抛出的异常模块from requests.exceptions import RequestExceptionfrom pyquery import PyQuery as pqimport jsondef get_one_page(url): # 异常处理 try: headers = {'Use...原创 2018-10-12 15:12:48 · 113 阅读 · 0 评论 -
python爬虫常用库安装
1. urllib库2. requests库 安装 pip install requests3. selenium库 安装 pip install selenium 主要用于获取js渲染之后的内容4. 安装 chromedriver1.搜索chromedriver 下载安装包2.下载3.下载好的压缩包解压到配置了环境变量的python同级目录下5.命令行测试,是否安装成功...原创 2018-10-09 14:11:03 · 1029 阅读 · 0 评论 -
爬虫Urllib库,Requests库
什么是Urllib?Python内置的HTTP请求库。urllib.request 请求模块urllib.error 异常处理模块urllib.parse url解析模块urllib.robotparser robots.txt 解析模块什么是Requests库Requests库是用Python语言编写,基于urllib,比urllib更加方便,可以节约大量工作,满足...原创 2018-10-10 16:36:04 · 207 阅读 · 0 评论