BeautifulSoup
BeautifulSoup的学习笔记
高级cv算法设计师
手跟不上脑子选手
展开
-
BeautifulSoup爬取考研词汇
BeautifulSoup爬取考研词汇1.网页源代码分析2.直接上代码# -*- encoding:utf-8 -*-import urllib.request # 导入urllib库的request模块from bs4 import BeautifulSoup import lxml #文档解析器import os #os模块就是对操作系统进行操作import numpy as np原创 2021-03-21 19:50:54 · 987 阅读 · 9 评论 -
Beautiful爬取海词网词汇意思和短语
Beautiful爬取海词网词汇意思和短语直接上代码# -*- encoding:utf-8 -*-import urllib.request # 导入urllib库的request模块from bs4 import BeautifulSoup import lxml #文档解析器import os #os模块就是对操作系统进行操作import numpy as np #列表、字典、原创 2021-03-21 10:38:21 · 444 阅读 · 2 评论 -
BeautifulSoup爬取国家政策网目标话题的10篇文章,以及基于jieba的关键字生成
BeautifulSoup爬取国家政策网目标话题的10篇文章,以及基于jieba的关键字生成引用链接1引用链接2一:基本步骤1.首先,写出需要访问的url,涉及到将中文转化为utf8编码,再转化为请求格式(后面有写如何转换)2.urllib.request.urlopen(url)向浏览器发出请求,并返回一个html页面3.此时我们用BeautifulSoup库以及页面解析器对返回的html页面进行解析,并找出存储文章链接的格子节点(标签名为div),返回BeautifulSoup对象4.再通原创 2021-03-12 21:10:26 · 2227 阅读 · 7 评论 -
BeautifulSoup学习笔记2——父节点,兄弟节点
BeautifulSoup学习笔记2——父节点,兄弟节点1. .parent 返回该节点的父节点,如果不存在则返回Nonesoup.parent#Nonesoup.html"""<html><head><title>The Dormouse's story</title></head><body><p class="title"><b>The Dormouse's story</b>原创 2021-03-12 19:16:52 · 1651 阅读 · 1 评论 -
BeautifulSoup学习笔记
1. 查找tag的方法:点(.)节点名,只能获取第一个匹配子节点,可以多次调用soup.p#<p class="title"><b>The Dormouse's story</b></p>soup.p.b#查找tag的方法,直接.tag名,soup对象可以多次调用这个方法(点取属性,只能获得第一个匹配结果)#<b>The Dormouse's story</b>2. .contents与.children与.descenda原创 2021-03-12 16:51:55 · 236 阅读 · 0 评论 -
BeautifulSoup的简单介绍及简单用法
BeautifulSoup的介绍及简单用法1. 介绍beautiful是一种用来解析html或xml文件并根据需要提取相关内容的python库,一般用来做数据挖掘(爬取数据,并解析数据)from bs4 import BeautifulSoupsoup = BeautifulSoup(html_doc, 'html.parser')#,输入str,返回BeautifulSoup对象type(soup)#bs4.BeautifulSoupprint(soup.prettify())#使用pre原创 2021-03-12 12:55:56 · 1654 阅读 · 0 评论