python爬虫基础

最新推荐文章于 2024-07-28 15:46:11 发布

六花花花你可以的

最新推荐文章于 2024-07-28 15:46:11 发布

阅读量154

点赞数

分类专栏： python学习文章标签： python

本文链接：https://blog.csdn.net/edddd_/article/details/112384734

版权

python学习专栏收录该内容

2 篇文章 0 订阅

订阅专栏

Python学习笔记

文章目录

Python学习笔记
- 1、bs4的学习
- 2、Re的学习

1、bs4的学习

Bs4将复杂的html文档转换成一个复杂的树形结构，每个节点都是py对象，所有对象都可以归纳为4种：

Tag
NavigableString
BeautifulSoup
Comment

首先创建testBs.py这个文件，然后导入一个baidu.html文件用来测试

testBs.py：

# @Time : 2021/1/8 21:54 
# @Author : 六花
# @File : testBs.py
# @Software: PyCharm

'''
Bs4将复杂的html文档转换成一个复杂的树形结构，每个节点都是py对象，所有对象都可以归纳为4种：
- Tag
- NavigableString
- BeautifulSoup
- Comment
'''
import bs4
import re


file = open("./baidu.html","rb") #这个rb是读取方式，readwrite
html = file.read().decode("utf-8")
bs = bs4.BeautifulSoup(html,"html.parser") #html.parser这个是html的解析器，拿来解析html

#1. - Tag  标签及其内容
#print(bs.title)
#print(bs.a)
#print(type(bs.a)) 输出：<class 'bs4.element.Tag'>

#2.- NavigableString  标签里的内容（字符串）
#print(bs.title.string) 输出（内容）：百度一下，你就知道
#print(bs.a.attrs) 输出：{'class': ['mnav'], 'href': 'http://news.baidu.com', 'name': 'tj_trnews'}

#3. - BeautifulSoup 表示整个文档
#print(type(bs)) 输出：<class 'bs4.BeautifulSoup'>
#print(bs.name) 输出：[document]
# print(bs) #bs直接打印是这个完整结构

#4.- Comment 输出的内容不包含注释符号
#print(bs.a.string) 输出：新闻
#print(type(bs.a.string)) 输出：<class 'bs4.element.Comment'>


#--------------------------应用-----------------------------------------
#文档的遍历
#print(bs.head.contents) 遍历输出所有的head
#print(bs.head.contents[1]) 输出：<meta content="text/html;charset=utf-8" http-equiv="content-type"/> 可以拿到第一个head里面第一个节点


#文档的搜索
# （1）find_all是查询所有的a
#字符串过滤：会查找与字符串完全匹配的内容
#t_list = bs.find_all("a")

# 正则表达式搜索：使用search（）匹配
#t_list = bs.find_all(re.compile("a")) 搜索出来的内容是包含a的内容，是某一个标签及其内容

# 方法：传入一个函数，然后根据函数要求搜索
# def name_is_exists(tag):
#     return tag.has_attr("name")
# #返回标签里面带name的标签
# t_list = bs.find_all(name_is_exists)
# 循环打印的东西
# for item in t_list:
#      print(item)
# print(t_list)

# （2）kwargs
# t_list = bs.find_all(class_=True)
# for item in t_list:
#      print(item)

# （3）text文本参数
# t_list = bs.find_all(text="hao123")
# t_list = bs.find_all(text=["地图","贴吧"])
# bs.find_all(text=re.compile("\d"))   text=re.compile("\d")把所有数字文本查找出来（内容字符串）：\d表示包含数字


# （4）limit参数
# t_list = bs.find_all("a", limit=3) #得到的信息限定多少个
# for item in t_list:
#      print(item)

# （5）css选择器
# t_list = bs.select("title") #通过标签来查找
# t_list = bs.select(".mnav") #通过类名来查找
# t_list = bs.select("#u1") #通过id来查找
# t_list = bs.select("a[class='bri']") #通过属性来查找
# t_list = bs.select("head > title")  #通过子标签来查找
t_list = bs.select(".mnav ~ .bri")  #通过兄弟标签查找
print(t_list[0].get_text());    #查找到这里之后，拿到他的第一个元素中的文本
# for item in t_list:
#      print(item)

baidu.html:

<!DOCTYPE html>
<html>
<head>
    <meta content="text/html;charset=utf-8" http-equiv="content-type" />
    <meta content="IE=Edge" http-equiv="X-UA-Compatible" />
    <meta content="always" name="referrer" />
    <link href="https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css" rel="stylesheet" type="text/css" />
    <title>百度一下，你就知道 </title>
</head>
<body link="#0000cc">
  <div id="wrapper">
    <div id="head">
        <div class="head_wrapper">
          <div id="u1">
            <a class="mnav" href="http://news.baidu.com" name="tj_trnews"><!--新闻--></a>
            <a class="mnav" href="http://news.baidu.com" name="tj_trnews">新闻</a>
            <a class="mnav" href="https://www.hao123.com" name="tj_trhao123">hao123</a>
            <a class="mnav" href="http://map.baidu.com" name="tj_trmap">地图</a>
            <a class="mnav" href="http://v.baidu.com" name="tj_trvideo">视频</a>
            <a class="mnav" href="http://tieba.baidu.com" name="tj_trtieba">贴吧</a>
            <a class="bri" href="//www.baidu.com/more/" name="tj_briicon" style="display: block;">更多产品 </a>
          </div>
        </div>
    </div>
  </div>
</body>
</html>

另外更新一个刚知道的：Tab右移，Shift+Tab左移。

2、Re的学习

testRe.py

# @Time : 2021/1/11 10:27 
# @Author : 六花
# @File : testRe.py
# @Software: PyCharm


#   正则表达式：字符串模式（判断字符串是否符合一定标准）


import re
#   创建模式对象
'''
pat = re.compile("AA") #此处的AA是正则表达式
m   = pat.search("CBA")  #search字符串被校验的内容
n   = pat.search("ABCAA")
o   = pat.search("AACAADDCCAAA")
print(m)
print(n)
print(o)
 #输出：None
 #输出：<re.Match object; span=(3, 5), match='AA'>
 #输出：<re.Match object; span=(0, 2), match='AA'>
'''

#没有模式对象
'''
a = re.search("asd","Aasd") #前面的字符串是规则，后面的字符串是被校验的对象
print(a)
#输出：<re.Match object; span=(1, 4), match='asd'>
print(re.findall("a","ASDaDfaha"))#前面的字符串是规则，后面字符串是被校验的规则
#输出：['a', 'a', 'a']
print(re.findall("[A-Z]","ASDdasdAD"))
#输出：['A', 'S', 'D', 'A', 'D']
print(re.findall("[A-Z]+","ASDdasdAD"))
#输出：['ASD', 'AD']
'''


'''
#sub
print(re.sub("a","A","absdcas")) #找到a，用A来替换，在第三个字符串中查找并且替换
#输出：AbsdcAs

#建议在正则表达式中，被比较的字符串前面加r，不用担心转义字符的问题
print(r"\aabb-\'")
#输出：\aabb-\'
'''

六花花花你可以的

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
python爬虫基础

爬虫笔记1、import bs4和from bs4 import BeautifulSoup如果要使用BeautifulSoup，直接导入import bs4的话，必须bs4.BeautifulSoup才能用。不能直接调用BeautifulSoup。
复制链接

扫一扫

专栏目录