Python爬虫学习==>第五章：爬虫常用库的安装

最新推荐文章于 2024-07-24 08:56:18 发布
最新推荐文章于 2024-07-24 08:56:18 发布
阅读量109 收藏 1
点赞数
原文链接：http://www.cnblogs.com/wuzhiming/p/8673390.html
版权

学习目的：

         爬虫有请求库（request、selenium）、解析库、存储库（MongoDB、Redis）、工具库，此节学习安装常用库的安装

正式步骤

Step1：urllib和re库

 

  1. 这两个库在安装Python中，会默认安装，下面代码示例调用：
    >>> import urllib
>>> import urllib.request
>>> urllib.request.urlopen("http://www.baidu.com")
<http.client.HTTPResponse object at 0x0000000002F05F60>
>>> import re

    导入时，没有回显，就表示安装正确，可以正常使用

Step2：requests库安装

 

  1. 打开windows命令行cmd，输入命令：pip3 install requests
  2. 验证安装成功的代码示例
    >>> import requests
>>> requests.get("http://www.baidu.com")
<Response [200]> 

Step3：selenium库的安装

 

  1. 自动化测试的根基
  2. 在cmd中输入命令：pip3 install selenium
  3. 测试代码
    >>> import selenium
>>> from selenium import webdriver

     

  4. 安装Chromedriver,打开http://npm.taobao.org/mirrors/chromedriver   ，点击下载chromedriver_win32.zip
  5. 解压后，把 chromedriver.exe 放到D:\Python36\Scripts
  6. 使用selenium库打开chrome浏览器代码示例：
    >>> from selenium import webdriver
>>> driver = webdriver.Chrome()

    运行后，会打开一个谷歌浏览器，此外需要注意的是chrome版本需要大于等于55，因为驱动是这样的要求

 

Step4：phantomjs　　

 

　　PhantomJS 是一个基于WebKit的服务器端 JavaScript API。它全面支持web而不需浏览器支持，其快速，原生支持各种Web标准： DOM 处理, CSS 选择器, JSON, Canvas, 和 SVG。PhantomJS可以用于页面自动化，网络监测，网页截屏，以及无界面测试等。

简而言之：基于WebKit的，没有界面的浏览器。

　　闪亮的功能点：PhantomJS可以用于页面自动化，网络监测，网页截屏，以及无界面测试。

　　优势：跨平台，易上手。

安装步骤：

  1. 下载网址http://phantomjs.org/download.html
  2. 解压，获得phantomjs.exe 文件路径 D:\phantomjs-2.1.1-windows\bin，然后配置到用户变量中的path变量中
  3. 打开cmd，输入：phantomjs

ps:chrome headlessl可以替代phantomjs，为什么呢？因为selenium不再支持phantomjs了

 

Step5：chrome headless

 

　　测试代码（刚刚百度来的）：这个是chrome的示例

from selenium import webdriver
options=webdriver.ChromeOptions()
options.set_headless()
# options.add_argument('--headless')
options.add_argument('--disable-gpu')
driver=webdriver.Chrome(options=options)
driver.get('http://httpbin.org/user-agent')
driver.get_screenshot_as_file('test.png')
driver.close()

　　FireFox浏览器的示例：

　　

from selenium import webdriver
options = webdriver.FirefoxOptions()
options.set_headless()
# options.add_argument('-headless')
options.add_argument('--disable-gpu')
driver=webdriver.Firefox(firefox_options=options)
driver.get('http://httpbin.org/user-agent')
driver.get_screenshot_as_file('test.png')
driver.close()

 

 

Step6：lxml

 

　　简介：lxml是python中处理xml的一个非常强大的库，可以非常方便的解析和生成xml文件。

  1.  安装命令：pip3 install lxml
    PS:如果安装失败了，可以多试几次，或者使用whl安装

 

Step7：beautifulsoup

 

 　　简介：Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间。

　　安装步骤：

  1. 依赖lxml库，所以要先安装lxml
  2. cmd: pip3 install beautifulsoup4
  3. 测试代码:
    >>> from bs4 import BeautifulSoup
>>> soup = BeautifulSoup('<html></html>','lxml')
>>>

 

Step8：pyquery

 

　　简介：pyquery相当于jQuery的python实现，可以用于解析HTML网页等。它的语法与jQuery几乎完全相同。

　　安装步骤：

  1. 安装命令： pip3 install pyquery
  2. 测试代码
    >>> from pyquery import PyQuery as pq
>>> doc = pq('<html>Python</html>')
>>> result = doc('html').text()
>>> result
'Python'

    pyquery的基础使用方法可以参考：https://www.cnblogs.com/lei0213/p/7676254.html

 

Step9：pymysql

 

　　简介：PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库

　　安装步骤：

  1. 命令：pip3 install pymysql
  2. 测试代码：
    >>> import pymysql
>>> conn = pymysql.connect(host='localhost',user='root',password='123456',port=3306,db='mysql')
>>> cursor = conn.cursor()
>>> cursor.execute('select * from db')
2
>>> cursor.fetchone()
('localhost', 'performance_schema', 'mysql.session', 'Y', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N')
>>> cursor.fetchall()
(('localhost', 'sys', 'mysql.sys', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'Y'),)

     

Step10：pymongo

 

　　简介：PyMongo是驱动程序，使python程序能够使用Mongodb数据库，使用python编写而成

 　　安装步骤：

  1. 安装命令：pip3 install pymongo
  2. 测试代码：
    >>> import pymongo
>>> client = pymongo.MongoClient('localhost')
>>> db = client['newtest']
>>> db['table'].insert({'name':'python'})
ObjectId('5abe67d64bc36b29c0a61a03')
>>> db['table'].find_one({'name':'python'})
{'_id': ObjectId('5abe67d64bc36b29c0a61a03'), 'name': 'python'}

     

Step11：redis

 

　　简介：Python分布式爬虫比較经常使用的应该是scrapy框架加上Redis内存数据库，中间的调度任务等用scrapy-redis模块实现。

　　安装步骤：

  1. 安装命令：pip3 install redis
  2. 测试代码：
    #数据的插入和获取
>>> import redis
>>> r = redis.Redis('localhost',6379)
>>> r.set('name','python')
True
>>> r.get('name')

     

Step12：flask

 

　　简介：Flask是一个Python编写的Web 微框架，让我们可以使用Python语言快速实现一个网站或Web服务

　　安装步骤：

  1. 安装命令：pip3 install flask
  2. 测试代码：
    from flask import Flask
app = Flask(__name__)

@app.route('/')
def hello_world():
    return 'Hello World!'

if __name__ == '__main__':
    app.run()

    参考文档：官方文档：http://docs.jinkan.org/docs/flask/

 

Step13：django

　　简介：web服务器框架

　　安装步骤：

  1. 安装命令：pip3 install django
  2. 测试代码 import django

 

Step14：jupyter

 

　　安装步骤：

  1. 安装命令： pip3 install jupyter
  2. 运行->打开cmd，输入：jupyter notebook
  3. 然后浏览器会自动打开应用程序

 

学习总结：

 

　　生活过于安逸，是感觉不到行业的竞争压力，所以还是多学习，增强自己的测试的核心竞争能力吧。

 

转载于:https://www.cnblogs.com/wuzhiming/p/8673390.html

weixin_34194359
关注
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
孤寒者的博客
08-09 61万+
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
万字博文教你python爬虫XPath库【详解篇】
热门推荐
孤寒者的博客
09-29 56万+
 ????相信不少小伙伴们通过我的两篇万字博文的轮番轰炸已经实现了从入坑到会完全学会requests库，并且可以独立开发出属于自己的小爬虫项目！！！——爬虫之路，永无止境~????    ????第一篇爬虫入坑文；一篇万字博文带你入坑爬虫这条不归路 【万字图文】????  ????第二篇爬虫库requests库详解。两万字博文教你python爬虫requests库【详解篇】????    ????但是爬虫爬虫，重在爬取到我们想要的数据，那么我们该如何提取页面中我们所需要的信息呢？为了让小伙伴们更加深入的学习
JetBrains：webstrom无法识别就require方法
KaiSarH
03-22 1184
webstrom无法识别就require方法
【备忘】解析Python网络爬虫：核心技术、Scrapy框架、分布式爬虫
hong2511的博客
09-02 2055
BXG-2018-5 8.95GB 高清视频 第 一 章：解析python网络爬虫：核心技术、Scrapy框架、分布式爬虫 1-1 初识爬虫 1-1-1 1.1-爬虫产生背景 1-1-2 1.2-什么是网络爬虫 1-1-3 1.3-爬虫的用途 1-1-4 1.4-爬虫分类 1-2 爬虫的实现原理和技术 1-2-1 2.1-通用爬虫的工作原理 1-2-2 2.2-聚焦爬虫工作流程 1-2-3 2....
Python爬虫详解：原理、常用库与实战案例
Why_does_it_work的博客
04-01 7万+
通过本文的讲解，相信读者已经对Python爬虫有了较为全面的认识。爬虫技能在数据分析、自然语言处理等领域具有广泛的应用，希望读者能够动手实践，不断提高自己的技能水平。同时，请注意合法合规地进行爬虫，遵守相关法律法规。祝您学习愉快！
Python爬虫实战：利用代理IP获取电商数据
努力让自己发光，对的人才能迎着光而来
05-27 20万+
● 电商数据对于了解用户行为、优化营销策略、提高转化率等方面具有重要作用。●通过分析用户数据，企业可以找到目标用户，精准投放广告和推广活动，有效提高广告的转化率和投资回报率。●电商数据还可以用于个性化推荐、营销活动优化、供应链管理等场景，帮助企业提升用户体验和运营效率。亮数据代理IP免费试用。
常用Python爬虫库汇总（建议收藏）
2301_82275412的博客
04-12 1605
很多人学Python，都是从爬虫开始的，毕竟网上类似的资源很丰富，开源项目也非常多。Python学习网络爬虫主要分3个大的版块：当我们在浏览器中输入一个url后回车，后台会发生什么？简单来说这段过程发生了以下四个步骤：•查找域名对应的IP地址•向IP对应的服务器发送请求•服务器响应请求，发回网页内容•浏览器解析网页内容。
Python爬虫：代理ip电商数据实战
Hello大家好，我是Dream，如果帮得到你，那我深感荣幸！交流学习、商务合作：https://bbs.csdn.net/topics/614347534
07-24 5万+
将这三类信息元素放入我们的爬虫之中，例如价格price_element = soup.select_one('.x-price-primary span[itemprop="price"]')，然后运行爬虫结果，会发现其输出了所有代理ip的信息以及我们所需要的商品的价格和运费信息：
Python爬虫学习之scrapy库
weixin_73002278的博客
02-02 2127
Scrapy shell是Scrapy框架提供的一个交互式shell工具，用于快速开发和调试爬虫。它允许用户在不启动完整爬虫程序的情况下，以交互的方式加载和请求网页，并使用选择器和Scrapy的API来提取和处理数据。
万字博文教你python爬虫Beautiful Soup库【详解篇】
孤寒者的博客
07-22 54万+
 ????????相信不少小伙伴们通过我的两篇万字博文的轮番轰炸已经实现了从入坑到会完全学会requests库，并且可以独立开发出属于自己的小爬虫项目！！！——爬虫之路，永无止境~????????     第一篇爬虫入坑：一篇万字博文带你入坑爬虫这条不归路（你还在犹豫什么&抓紧上车） 【❤️熬夜整理&建议收藏❤️】   第二篇爬虫库requests库详解：两万字博文教你python爬虫requests库，看完还不会我把我女朋友都给你【❤️熬夜整理&建议收藏❤️】    ?????
python爬虫的一些常用第三方库下载
01-28
本文将详细介绍一些常用的Python爬虫第三方库及其安装方法，帮助开发者更好地理解和运用这些工具。 #### 1. Requests - **简介**：Requests 是一个用于发送HTTP请求的简单、易用的Python库。它支持各种HTTP方法（如...
150讲轻松搞定Python网络爬虫-第五章：爬虫进阶
12-21
本章"150讲轻松搞定Python网络爬虫-第五章：爬虫进阶"将深入讲解如何利用线程安全的队列`Queue`进行高效爬虫开发。 `Queue`模块提供的同步、线程安全的队列类，遵循先进先出（FIFO）的原则，即最先放入队列的元素将...
第九章：增量式爬虫_Python爬虫教程_
10-02
这可以通过Python的`time.sleep()`函数实现，或者使用第三方库如`rate_limiter`来更精细地控制。 8. **IP代理和用户代理**：为了防止被目标网站封禁，爬虫可能需要更换IP地址和模拟不同的浏览器（用户代理）。...
Python爬虫高级开发工程师5期-视频教程网盘链接提取码下载.txt
09-27
### Python爬虫高级开发工程师5期课程知识点概览 #### 一、课程概述 - **目标人群**：针对已具备一定Python编程基础的学习者，旨在进一步提升其在爬虫技术领域的专业技能。 - **核心内容**：涵盖高级爬虫技术、数据...
智慧旅游景区解决方案PPT(50页).pptx
最新发布
09-21
智慧旅游解决方案利用云计算、物联网和移动互联网技术，通过便携终端设备，实现对旅游资源、经济、活动和旅游者信息的智能感知和发布。这种技术的应用旨在提升游客在旅游各个环节的体验，使他们能够轻松获取信息、规划行程、预订票务和安排食宿。智慧旅游平台为旅游管理部门、企业和游客提供服务，包括政策发布、行政管理、景区安全、游客流量统计分析、投诉反馈等。此外，平台还提供广告促销、库存信息、景点介绍、电子门票、社交互动等功能。 智慧旅游的建设规划得到了国家政策的支持，如《国家中长期科技发展规划纲要》和国务院的《关于加快发展旅游业的意见》，这些政策强调了旅游信息服务平台的建设和信息化服务的重要性。随着技术的成熟和政策环境的优化，智慧旅游的时机已经到来。 智慧旅游平台采用SaaS、PaaS和IaaS等云服务模式，提供简化的软件开发、测试和部署环境，实现资源的按需配置和快速部署。这些服务模式支持旅游企业、消费者和管理部门开发高性能、高可扩展的应用服务。平台还整合了旅游信息资源，提供了丰富的旅游产品创意平台和统一的旅游综合信息库。 智慧旅游融合应用面向游客和景区景点主管机构，提供无线城市门户、智能导游、智能门票及优惠券、景区综合安防、车辆及停车场管理等服务。这些应用通过物联网和云计算技术，实现了旅游服务的智能化、个性化和协同化，提高了旅游服务的自由度和信息共享的动态性。 智慧旅游的发展标志着旅游信息化建设的智能化和应用多样化趋势，多种技术和应用交叉渗透至旅游行业的各个方面，预示着全面的智慧旅游时代已经到来。智慧旅游不仅提升了游客的旅游体验，也为旅游管理和服务提供了高效的技术支持。
智慧旅游实景三维智慧景区建设方案PPT(70页).pptx
09-21
智慧旅游解决方案利用云计算、物联网和移动互联网技术，通过便携终端设备，实现对旅游资源、经济、活动和旅游者信息的智能感知和发布。这种技术的应用旨在提升游客在旅游各个环节的体验，使他们能够轻松获取信息、规划行程、预订票务和安排食宿。智慧旅游平台为旅游管理部门、企业和游客提供服务，包括政策发布、行政管理、景区安全、游客流量统计分析、投诉反馈等。此外，平台还提供广告促销、库存信息、景点介绍、电子门票、社交互动等功能。 智慧旅游的建设规划得到了国家政策的支持，如《国家中长期科技发展规划纲要》和国务院的《关于加快发展旅游业的意见》，这些政策强调了旅游信息服务平台的建设和信息化服务的重要性。随着技术的成熟和政策环境的优化，智慧旅游的时机已经到来。 智慧旅游平台采用SaaS、PaaS和IaaS等云服务模式，提供简化的软件开发、测试和部署环境，实现资源的按需配置和快速部署。这些服务模式支持旅游企业、消费者和管理部门开发高性能、高可扩展的应用服务。平台还整合了旅游信息资源，提供了丰富的旅游产品创意平台和统一的旅游综合信息库。 智慧旅游融合应用面向游客和景区景点主管机构，提供无线城市门户、智能导游、智能门票及优惠券、景区综合安防、车辆及停车场管理等服务。这些应用通过物联网和云计算技术，实现了旅游服务的智能化、个性化和协同化，提高了旅游服务的自由度和信息共享的动态性。 智慧旅游的发展标志着旅游信息化建设的智能化和应用多样化趋势，多种技术和应用交叉渗透至旅游行业的各个方面，预示着全面的智慧旅游时代已经到来。智慧旅游不仅提升了游客的旅游体验，也为旅游管理和服务提供了高效的技术支持。
基于深度学习实现的半监督学习例子.zip
09-21
深度学习是机器学习的一个子领域，它基于人工神经网络的研究，特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征，这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分： 1. **神经网络（Neural Networks）**：深度学习的基础是人工神经网络，它是由多个层组成的网络结构，包括输入层、隐藏层和输出层。每个层由多个神经元组成，神经元之间通过权重连接。 2. **前馈神经网络（Feedforward Neural Networks）**：这是最常见的神经网络类型，信息从输入层流向隐藏层，最终到达输出层。 3. **卷积神经网络（Convolutional Neural Networks, CNNs）**：这种网络特别适合处理具有网格结构的数据，如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络（Recurrent Neural Networks, RNNs）**：这种网络能够处理序列数据，如时间序列或自然语言，因为它们具有记忆功能，能够捕捉数据中的时间依赖性。 5. **长短期记忆网络（Long Short-Term Memory, LSTM）**：LSTM 是一种特殊的 RNN，它能够学习长期依赖关系，非常适合复杂的序列预测任务。 6. **生成对抗网络（Generative Adversarial Networks, GANs）**：由两个网络组成，一个生成器和一个判别器，它们相互竞争，生成器生成数据，判别器评估数据的真实性。 7. **深度学习框架**：如 TensorFlow、Keras、PyTorch 等，这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数（Activation Functions）**：如 ReLU、Sigmoid、Tanh 等，它们在神经网络中用于添加非线性，使得网络能够学习复杂的函数。 9. **损失函数（Loss Functions）**：用于评估模型的预测与真实值之间的差异，常见的损失函数包括均方误差（MSE）、交叉熵（Cross-Entropy）等。 10. **优化算法（Optimization Algorithms）**：如梯度下降（Gradient Descent）、随机梯度下降（SGD）、Adam 等，用于更新网络权重，以最小化损失函数。 11. **正则化（Regularization）**：技术如 Dropout、L1/L2 正则化等，用于防止模型过拟合。 12. **迁移学习（Transfer Learning）**：利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都取得了显著的成就，但它也面临着一些挑战，如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
关于APx测试耳机音频的参数设置及步骤 关于APx测试耳机音频的参数设置及步骤
09-21
关于APx测试耳机音频的参数设置及步骤 关于APx测试耳机音频的参数设置及步骤
jQuery背景可滑动的导航菜单代码，鼠标经过导航时导航背景可滑动，兼容主流浏览器
09-21
jQuery背景可滑动的导航菜单代码，鼠标经过导航时导航背景可滑动，兼容主流浏览器 使用方法： 1、引入reset.css、index.css、jquery-1.7.2.min.js库文件，及jquery.movebg.js插件 2、在文件中加入<!-- 代码 开始 --><!-- 代码 结束 -->区域代码 3、移动的滑动可根据需要自由修改外观
Python爬虫技术入门到精通：第一章
五、Python爬虫基础 Python作为一门易于学习且功能强大的语言，是爬虫开发的常用选择。其丰富的库如Requests（用于发送HTTP请求）、BeautifulSoup（用于解析HTML文档）和Scrapy（一个完整的爬虫框架）使得Python在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值