爬虫初体验，解析网页Table

最新推荐文章于 2021-11-20 20:53:19 发布

eleve11

最新推荐文章于 2021-11-20 20:53:19 发布

阅读量1.7k

点赞数

分类专栏： python 文章标签： python 爬虫

本文链接：https://blog.csdn.net/mini_mooned/article/details/53575289

版权

本文记录了一位初学者使用Python进行爬虫的体验，爬取了http://www.cnyes.com/futures/basicmetal.aspx网页的Table。过程中涉及到requests库获取网页，BeautifulSoup4解析HTML，以及pandas进行数据处理。遇到的问题包括编码识别（utf-8）、HTML解析和list操作的误解。

摘要由CSDN通过智能技术生成

- - 前言
  - 程序
  - 问题分析
  - 总结

前言

闲来无事，学了点python，然后就开始想些点小爬虫，python这种语言喜欢轮子，来减少一些消耗，可是自己总是跨不过这个坎总觉得接受不了（总之就是有点菜），所以写来记录一下

爬取网站：http://www.cnyes.com/futures/basicmetal.aspx的table
工具：requests（用来请求，爬取网页），BeautifulSoup4（解析网页），pandas（数据处理）

程序

1、先将要使用得轮子导入：

import requests
from bs4 import BeautifulSoup
from pandas import DataFrame

2、get_info()函数：

def get_info():

    flag = list()
    info = list()

    url = "http://www.cnyes.com/futures/basicmetal.aspx"
    r = requests.get(url)
    #print(r.encoding)
    soup = BeautifulSoup(r.text, 'html5lib')
    for td in soup.select("tbody tr td"):
        #print(td.text)
        #因为爬下来最前面出现三个空字符串，清除
        if len(td.text) != 0:
            flag.append(td.text)
        #如果list：flag有12个元素