0043-python爬虫学习第二天：beautifulsoup库

目录

一、目标项目

二、网站接口与Beautiful Soup库

1.在确定的网站上找到股票代码接口

2.bs4库

显示所有标签信息

搜索特定标签并提取href后的链接

用正则表达式提取含有b的标签

标签中含有特定字符串

输出以link开头的信息

用字符输出

三、既往学习过程梳理如下

---

一、目标项目

实现数据在特定网站的统一下载，并在下载后进行关键词整合，直接输出处理文档。

任务分解为：

1.爬取数据

2.批量、安全爬取

3.PDF提取关键词

4.整合文档

二、网站接口与Beautiful Soup库

1.在确定的网站上找到股票代码接口

import requests
kv = {'User-Agent':'Mozilla/5.0'}
url = "http://www.cninfo.com.cn/new/fulltextSearch?notautosubmit=&keyWord="  
try:
  r = requests.get(url + '000001',headers = kv)
  print(r.request.url)
  r.raise_for_status()  #不是200就报错
  print(len(r.text))
except:
  print("fail")

2.bs4库

显示所有标签信息

import requests
from bs4 import BeautifulSoup
kv = {'User-Agent': 'Mozilla/5.0'}
url = "http://www.tmsf.com"
r = requests.get(url)
demo = r.text
soup = BeautifulSoup(demo, "html.parser")
for tag in soup.find_all(True):#参数为True
  print(tag.name)

输出 

script
script
html
head
meta
meta
………………

搜索特定标签并提取href后的链接

for link in soup.find_all('link'):
  print(link.get('herf'))

输出

None
None
None
None

用正则表达式提取含有b的标签

import re
for tag in soup.find_all(re.compile('b')):
  print(tag.name)

输出

body
el-button
el-button
el-table
el-table-column
………………

标签中含有特定字符串

print(soup.find_all('link', 'var'))

输出

[]

输出以link开头的信息

print(soup.find_all(id= re.compile('link')))

输出[]

用字符输出

print(soup.find_all(string= re.compile('link')))

输出[]

猜测：屏蔽了find_all功能

三、既往学习过程梳理如下

补充：搜索引擎的关键词接口是已经给出来的

必应接口是q

kf = {'q':'金融稳定基金'}

url = "https://www.cn.bing.com/search"

0014-python学习笔记—爬虫在商品信息、图片上的初步应用_九九九九为功的博客-CSDN博客_python爬取商品图片