巧用selenium爬取巨潮资讯公司数据

立项背景：在做深度学习的过程中利用python进行建模，需要数据来训练模型。

项目目标：通过运用python的selenium模块，爬取巨潮资讯网站关于公司的数据并存储到csv文件。

项目流程图

源码

from selenium.webdriver import Chrome       #引入selenium中的Chrome
from selenium.webdriver.common.keys import Keys       #引入键盘
import time         #时间模块
import requests
import os
import csv
import codecs
import csv
data_index=1
data=[1,2,3,4,5]
temp_index1=1
temp_index2=1
browser=Chrome()         #创建浏览器
browser.get("http://webapi.cninfo.com.cn/#/dataBrowse")
browser.find_element_by_id('btn2').click()
#找到输入框，输入男装并且回车
time.sleep(3)
js="var q=document.documentElement.scrollTop=10000"
browser.execute_script(js)
time.sleep(3)
browser.find_element_by_xpath('//div[@class="detail-cont-top"]//*[@type="text"]').send_keys("制造业",Keys.ENTER)
browser.find_element_by_xpath('//*[@id="root"]/div/div[3]/div/div/div/div[1]/div/div[2]/div[1]/div[2]/div[1]/div[1]/div/i').click()
lis=browser.find_elements_by_xpath('//*[@id="result_a"]/ul//li[@class="tree-empty tree-opened"]')
for li in lis[11:13]:
    src_name=li.find_element_by_xpath('.//a').get_attribute("data-name")
    print(src_name)
    path='F:\\pang'+'\\'+src_name
    isExists = os.path.exists(path)
    if not isExists:
        os.makedirs(path)

    #爬数据_第二个框
    li.find_element_by_xpath('.//a').click()
    browser.find_element_by_xpath('//*[@id="root"]/div/div[3]/div/div/div/div[1]/div/div[2]/div[1]/div[2]/div[2]/div[1]/div[1]/label/i').click()
    browser.find_element_by_xpath('//div[@class="arrow-btns"]/button[1]').click()
    print("手点")
    time.sleep(10)
    browser.find_element_by_xpath('//*[@id="root"]/div/div[3]/div/div/div/div[1]/div/div[2]/div[1]/div[2]/div[2]/div[3]/div[1]/label/i').click()

    browser.find_element_by_xpath('//*[@id="root"]/div/div[3]/div/div/div/div[1]/div/div[2]/div[2]/div[2]/div[1]/div[3]/ul/li[1]/label/i').click()
    browser.find_element_by_xpath('//*[@id="root"]/div/div[3]/div/div/div/div[1]/div/div[2]/div[2]/div[2]/div[1]/div[3]/ul/li[3]/label/i').click()
    browser.find_element_by_xpath('//*[@id="root"]/div/div[3]/div/div/div/div[1]/div/div[2]/div[2]/div[2]/div[1]/div[3]/ul/li[15]/label/i').click()
    browser.find_element_by_xpath('//*[@id="root"]/div/div[3]/div/div/div/div[1]/div/div[2]/div[2]/div[2]/div[1]/div[3]/ul/li[16]/label/i').click()

    browser.find_element_by_xpath('//*[@id="root"]/div/div[3]/div/div/div/div[1]/div/div[2]/div[2]/div[2]/div[2]/button[1]').click()

    browser.find_element_by_xpath('//*[@id="root"]/div/div[3]/div/div/div/div[1]/div/div[2]/div[2]/div[2]/div[3]/div[1]/label/i').click()

    browser.find_element_by_xpath('//*[@id="root"]/div/div[3]/div/div/div/div[1]/div/button').click()


    #页面出来了
    for page_index in range(200):
        for i in range(10):
            for j in range(4):
                temp='//*[@id="contentTable"]/tbody/tr['+str(i+1)+']/td['+str(j+1)+']'
                browser.execute_script(js)
                time.sleep(3)
                data_1=browser.find_element_by_xpath(temp).get_attribute('title')
                data[0]=data_index
                data[j+1]=data_1
            data_index+=1

            print(data)
            path_new = path + '\\data.csv'
            with open(path_new, 'a',encoding='utf-8',newline='') as csvfile:
                writer = csv.writer(csvfile)
                writer.writerow(data)
        print(page_index+1,"页爬取成功,下一页喽")
        browser.find_element_by_xpath('//li[@class="page-next"]').click()
        
    time.sleep(10)

项目运行效果