使用webdriver爬取上交所数据

工作中经常需要采集一些网站上的表数据，之前都是手工一条一条记录。学完python总感觉用的太少，于是想到不妨用python做个小爬虫去爬取。

百度了下，使用Python爬取网页表数据怎么爬取，我再稍微修改下。结果尝试以后发现，百度的方法并不适用该网站。百度上的方式是使用BeautifulSoup去爬取，但这种方法只适合静态页面的表数据，如果表数据跟本文中提到的上交所的类似，是采用JS脚本动态生成的话，则无法使用。所以只能自己完全重写。之前做过一段时间的自动化，会使用webdriver，就用它了！
看了下页面表格的元素，还好，有规律可循。先写获取一个页面所有元素的文本内容的函数。

  # 存储编号
    table_num_array = browser.find_elements_by_xpath('//td[@class="td_no_break text-align-center"]')
    # 存储名称
    table_name_array = browser.find_elements_by_xpath('//td[@class="td_break_word_7 "]')
    # 存储状态
    table_status_array = browser.find_elements_by_xpath('//td[@class="td_break_word_2 "]')
    # 存储地区
    table_area_array = browser.find_elements_by_xpath('//td[@class="td_no_break pd_style "]')
    # 存储行业
    table_industry_array = browser.find_elements_by_xpath('//td[@class="td_break_word_3 "]')
    # 存储发行商
    table_stockbroker_array = browser.find_elements_by_xpath('//td[@class="td_break_word_9 "]')
    # 存储律所
    table_law_firm_array = browser.find_elements_by_xpath('//td[@class="td_break_word_8 "]')
    # 存储会计师事务所
    table_cpa_array = browser.find_elements_by_xpath('//td[@class="td_break_word "]')
    # 存储日期
    table_date_array = browser.find_elements_by_xpath('//td[@class="td_no_break "]')

接下来就是将爬取到的数据写入到文件当中了。

    output = ' '.join(list(s)).encode('utf-8')
    print output
    f.write(output+'\n')

# 获取需要翻页的页数
def get_pages():
    page_no_array = browser.find_elements_by_xpath('//a[@class="dataList1_container_paginationNumLink"]')
    return len(page_no_array)

最后，写一个main函数将代码整合

if __name__ == '__main__':
    pages = get_pages()
    f = open(file_name, 'wb')
    get_page()
    for k in range(pages):
        browser.find_element_by_xpath('//a[@class="paging_next"]').click()
        get_page()
    f.close()
    browser.quit()

最后说一下遇到的问题：
1、获取表格数据文本时，部分文本存在换行，去掉换行试错了很久，最后发现只能使用replace函数而无法使用strip函数去掉换行。这点以后要注意！

for i in range(len(table_num_array)):
    # 此处用replace函数去掉带<br>换行，不能用strip()函数
    s = table_num_array[i].text, table_name_array[i].text.replace('\n', ''), table_status_array[i].text.replace('\n',
                                                                                                                 ''), \
    table_area_array[i].text.replace('\n', ''), table_industry_array[i].text.replace('\n', ''), table_stockbroker_array[
        i].text.replace('\n', ''), table_law_firm_array[i].text.replace('\n', ''), table_cpa_array[i].text.replace('\n',
                                                                                                                   ''), \
    table_date_array[2 * i].text, table_date_array[2 * i + 1].text

    output = ' '.join(list(s)).encode('utf-8')
    print output
    f.write(output+'\n')

2、写入文本时，刚开始想写csv文件，于是百度了一个csv的写入方法，结果发现写入的文件每一个汉字都接一个空格，还有乱码的问题，最后放弃了，采用最原始的open ,write的方法搞定。

特此记录下此过程，以便以后跟踪学习进度。