[爬虫入门笔记] python爬虫基础入门1

概述

通过简单的学习,对爬虫有一个基本的了解。 就是通过python语言中的相关的库,进行对网页的源代码进行读取、搜索并保存所需要的相关数据。

操作的内容是面向网页的源码 - -> html,所以要适度的了解相关的内容(前端)

需要相关的库

Requests BeautifulSoup Lxml 接下来会逐一讲,这里就不赘述

如果配置了python环境的话可以直接,在dos里进行配置,相关的库,具体的操作如下:

  1. pip install requests
  2. pip install bs4
  3. pip install lxml

dos命令
大概,这样就配置好了,如果一直显示Collecting的话,那估计网络可能有一些的问题~~
如果配置完成,进入IDE有问题的话,那么可能要在IDE里重新配置一下(反正我是这样),或者重新建一个python项目文件

requests 库

requests是一个python HTTP请求库,requests库的作用是发送请求获取响应数据

直白点说,就是通过requests库从指定的网页中获取网页的源代码 就是在网页中,按一下F12显示的东西

然后,我们可以通过requests库中的一些方法,从对应的网页中的源码中获取数据,并且进行解码操作

# 1  导入模块
import requests

# 2 发送请求 获取响应
response = requests.get('http://www.baidu.com')
# print(response) -> <Response [200]>

# 3 获取响应数据
# print(response.encoding)

# 4 这个可以指定响应的解码方式,即字符集
response.encoding = 'UTF-8'
# print(response.text)
# 输出字符串的内容,弊端是不能直接像下面的content直接调用
# decode()来进行解码

# 5 解码并输出
print(response.content.decode())

跑出来的结果如下图所示:
结果
通过访问百度官网,对照发现,基本相同:

百度源码

BeautifulSoup库

通过调用BeautifulSoup库,创建BeautifulSoup的对象
BeautifulSoup对象代表整个文档树,支持通过方法遍历和搜索文档树(find/find_all方法)

文档树

这里就是指通过requests获得的网页源代码

代码如下:

from bs4 import BeautifulSoup

# 创建BeautifulSoup对象, 并指定解释器 lxml
soup = BeautifulSoup(response.content.decode(),'lxml')
# 文档树就是从requests中获取的响应数据

print(soup)

# 这里指定id进行查找
script = soup.find(id='')

text = script.text

print(text)

find()方法的参数列表如下:

find(self, name = None,attrs = {}, recursive = True, text = None, **kwargs)

需要了解的参数大致有:
name 标签名
attrs 属性字典
recursive 是否递归循环查找
text 根据文本内容查找

所以,显而易见的可以通过不同的参数来查找元素对象
如下:

1 直接通过标签名查找

例:script = soup.find(‘title’)

2 通过属性进行查找
2.1 直接通过属性参数查找

例: script = soup.find(id=‘getListByCountryTypeService2true’)

2.2 通过使用attrs来指定属性字典查找

例:script = soup.find(attrs={‘id’:‘getListByCountryTypeService2true’})

3 通过文本内容查找

例: script = soup.find(text=‘abc’)

关于查找的方式大致就有以上的几种,如果不太明白的话可以去了解以下前端相关的知识,感觉学习一点HTML就够了

find()和find_all() 的区别

find() 返回查找到的第一个元素的Tag对象
find_all() 返回到所有的元素Tag对象的列表

以下是关于Tag对象的介绍:

Tag对象

tag对象介绍:
tag对象对应于原始文档中的xml或者html的标签
tag有很多的方法和属性,可用遍历文档树搜索文档树以及获取标签的内容

tag对象的常见属性:
name 获取标签的名称
attrs 获取标签的所有属性和值
text 获取标签的文本字符串

print('name', script.name)
print('attrs', script.attrs)
print('text', script.text)

示范案例

从网页爬取了一些信息,比较简陋,不过当成一个熟悉上面所描述的信息的案例还是不错的

网址:全球疫情地图

代码:

import requests
from bs4 import BeautifulSoup

# todo 获取响应 + 处理数据

# 从疫情首页提取各国最新的疫情数据
response = requests.get('https://ncov.dxy.cn/ncovh5/view/pneumonia')
home_page = response.content.decode()

print(home_page) # 测试是否能够正常爬取

# 使用BeautifulSoup提取疫情的数据
soup = BeautifulSoup(home_page, 'lxml')

# 根据id属性查找,包含各国全国疫情的信息标签
script = soup.find(id='getListByCountryTypeService2true')

# 获取标签的内容
text = script.text
print(text)

运行结果太长我就不放了······

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
完整版:https://download.csdn.net/download/qq_27595745/89522468 【课程大纲】 1-1 什么是java 1-2 认识java语言 1-3 java平台的体系结构 1-4 java SE环境安装和配置 2-1 java程序简介 2-2 计算机中的程序 2-3 java程序 2-4 java类库组织结构和文档 2-5 java虚拟机简介 2-6 java的垃圾回收器 2-7 java上机练习 3-1 java语言基础入门 3-2 数据的分类 3-3 标识符、关键字和常量 3-4 运算符 3-5 表达式 3-6 顺序结构和选择结构 3-7 循环语句 3-8 跳转语句 3-9 MyEclipse工具介绍 3-10 java基础知识章节练习 4-1 一维数组 4-2 数组应用 4-3 多维数组 4-4 排序算法 4-5 增强for循环 4-6 数组和排序算法章节练习 5-0 抽象和封装 5-1 面向过程的设计思想 5-2 面向对象的设计思想 5-3 抽象 5-4 封装 5-5 属性 5-6 方法的定义 5-7 this关键字 5-8 javaBean 5-9 包 package 5-10 抽象和封装章节练习 6-0 继承和多态 6-1 继承 6-2 object类 6-3 多态 6-4 访问修饰符 6-5 static修饰符 6-6 final修饰符 6-7 abstract修饰符 6-8 接口 6-9 继承和多态 章节练习 7-1 面向对象的分析与设计简介 7-2 对象模型建立 7-3 类之间的关系 7-4 软件的可维护与复用设计原则 7-5 面向对象的设计与分析 章节练习 8-1 内部类与包装器 8-2 对象包装器 8-3 装箱和拆箱 8-4 练习题 9-1 常用类介绍 9-2 StringBuffer和String Builder类 9-3 Rintime类的使用 9-4 日期类简介 9-5 java程序国际化的实现 9-6 Random类和Math类 9-7 枚举 9-8 练习题 10-1 java异常处理 10-2 认识异常 10-3 使用try和catch捕获异常 10-4 使用throw和throws引发异常 10-5 finally关键字 10-6 getMessage和printStackTrace方法 10-7 异常分类 10-8 自定义异常类 10-9 练习题 11-1 Java集合框架和泛型机制 11-2 Collection接口 11-3 Set接口实现类 11-4 List接口实现类 11-5 Map接口 11-6 Collections类 11-7 泛型概述 11-8 练习题 12-1 多线程 12-2 线程的生命周期 12-3 线程的调度和优先级 12-4 线程的同步 12-5 集合类的同步问题 12-6 用Timer类调度任务 12-7 练习题 13-1 Java IO 13-2 Java IO原理 13-3 流类的结构 13-4 文件流 13-5 缓冲流 13-6 转换流 13-7 数据流 13-8 打印流 13-9 对象流 13-10 随机存取文件流 13-11 zip文件流 13-12 练习题 14-1 图形用户界面设计 14-2 事件处理机制 14-3 AWT常用组件 14-4 swing简介 14-5 可视化开发swing组件 14-6 声音的播放和处理 14-7 2D图形的绘制 14-8 练习题 15-1 反射 15-2 使用Java反射机制 15-3 反射与动态代理 15-4 练习题 16-1 Java标注 16-2 JDK内置的基本标注类型 16-3 自定义标注类型 16-4 对标注进行标注 16-5 利用反射获取标注信息 16-6 练习题 17-1 顶目实战1-单机版五子棋游戏 17-2 总体设计 17-3 代码实现 17-4 程序的运行与发布 17-5 手动生成可执行JAR文件 17-6 练习题 18-1 Java数据库编程 18-2 JDBC类和接口 18-3 JDBC操作SQL 18-4 JDBC基本示例 18-5 JDBC应用示例 18-6 练习题 19-1 。。。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值