Python爬虫之路-bs4和xpath

最新推荐文章于 2024-05-01 23:18:21 发布

Jiayu920716

最新推荐文章于 2024-05-01 23:18:21 发布

阅读量666

点赞数 1

分类专栏： Python学习

本文链接：https://blog.csdn.net/Yuyu920716/article/details/113108444

版权

本文介绍了Python爬虫中常用的两个库——Beautiful Soup 4 (bs4) 和 XPath 的用法。首先，讲解了bs4的基本概念及如何使用它爬取并存储股票基金数据。接着，详细阐述了XPath的原理，包括安装lxml库、XPath Helper插件的使用，以及XPath的术语和语法，如节点类型、路径表达式和谓语等。

摘要由CSDN通过智能技术生成

1.bs4

Beautiful Soup 4 文档

https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html

示例：爬取股票基金

import urllib
from urllib import request
from bs4 import BeautifulSoup

stockList = []

def download(url):
    headers = {
   "User-Agent": "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);"}
    request = urllib.request.Request(url, headers=headers)  # 请求，修改，模拟http.
    data = urllib.request.urlopen(request).read()  # 打开请求，抓取数据
    
    soup = BeautifulSoup(data, "html5lib", from_encoding="gb2312")
    mytable = soup.select("#datalist")
    for line in mytable[0].find_all("tr"):
        print(line.get_text())  # 提取每一个行业
        print(line.select("td:nth-of-type(3)")[0].text) # 提取具体的某一个

if __name__ == '__main__':
    download("http://quote.stockstar.com/fund/stock.html")

存入数据库

import pymysql

# 存入数据库
def save_job(tencent_job_list):

    # 连接数据库
    db = pymysql.connect(host="127.0.0.1", port=3306, user='root', password="root",database='tencent1', charset='utf8'