爬虫初体验，解析网页Table

前言

闲来无事，学了点python，然后就开始想些点小爬虫，python这种语言喜欢轮子，来减少一些消耗，可是自己总是跨不过这个坎总觉得接受不了（总之就是有点菜），所以写来记录一下

爬取网站：http://www.cnyes.com/futures/basicmetal.aspx的table
工具：requests（用来请求，爬取网页），BeautifulSoup4（解析网页），pandas（数据处理）

程序

1、先将要使用得轮子导入：

import requests
from bs4 import BeautifulSoup
from pandas import DataFrame

2、get_info()函数：

def get_info():

    flag = list()
    info = list()

    url = "http://www.cnyes.com/futures/basicmetal.aspx"
    r = requests.get(url)
    #print(r.encoding)
    soup = BeautifulSoup(r.text, 'html5lib')
    for td in soup.select("tbody tr td"):
        #print(td.text)
        #因为爬下来最前面出现三个空字符串，清除
        if len(td.text) != 0:
            flag.append(td.text)
        #如果list：flag有12个元素