巧用selenium爬取巨潮资讯公司数据
立项背景:在做深度学习的过程中利用python进行建模,需要数据来训练模型。
项目目标:通过运用python的selenium模块,爬取巨潮资讯网站关于公司的数据并存储到csv文件。
项目流程图
源码
from selenium.webdriver import Chrome #引入selenium中的Chrome
from selenium.webdriver.common.keys import Keys #引入键盘
import time #时间模块
import requests
import os
import csv
import codecs
import csv
data_index=1
data=[1,2,3,4,5]
temp_index1=1
temp_index2=1
browser=Chrome() #创建浏览器
browser.get("http://webapi.cninfo.com.cn/#/dataBrowse")
browser.find_element_by_id('btn2').click()
#找到输入框,输入男装并且回车
time.sleep(3)
js="var q=document.documentElement.scrollTop=10000"
browser.execute_script(js)
time.sleep(3)
browser.find_element_by_xpath('//div[@class="detail-cont-top"]//*[@type="text"]').send_keys("制造业",Keys.ENTER)
browser.find_element_by_xpath('//*[@id="root"]/div/div[3]/div/div/div/div[1]/div/div[2]/div[1]/div[2]/div[1]/div[1]/div/i').click()
lis=browser.find_elements_by_xpath('//*[@id="result_a"]/ul//li[@class="tree-empty tree-opened"]')
for li in lis[11:13]:
src_name=li.find_element_by_xpath('.//a').get_attribute("data-name")
print(src_name)
path='F:\\pang'+'\\'+src_name
isExists = os.path.exists(path)
if not isExists:
os.makedirs(path)
#爬数据_第二个框
li.find_element_by_xpath('.//a').click()
browser.find_element_by_xpath('//*[@id="root"]/div/div[3]/div/div/div/div[1]/div/div[2]/div[1]/div[2]/div[2]/div[1]/div[1]/label/i').click()
browser.find_element_by_xpath('//div[@class="arrow-btns"]/button[1]').click()
print("手点")
time.sleep(10)
browser.find_element_by_xpath('//*[@id="root"]/div/div[3]/div/div/div/div[1]/div/div[2]/div[1]/div[2]/div[2]/div[3]/div[1]/label/i').click()
browser.find_element_by_xpath('//*[@id="root"]/div/div[3]/div/div/div/div[1]/div/div[2]/div[2]/div[2]/div[1]/div[3]/ul/li[1]/label/i').click()
browser.find_element_by_xpath('//*[@id="root"]/div/div[3]/div/div/div/div[1]/div/div[2]/div[2]/div[2]/div[1]/div[3]/ul/li[3]/label/i').click()
browser.find_element_by_xpath('//*[@id="root"]/div/div[3]/div/div/div/div[1]/div/div[2]/div[2]/div[2]/div[1]/div[3]/ul/li[15]/label/i').click()
browser.find_element_by_xpath('//*[@id="root"]/div/div[3]/div/div/div/div[1]/div/div[2]/div[2]/div[2]/div[1]/div[3]/ul/li[16]/label/i').click()
browser.find_element_by_xpath('//*[@id="root"]/div/div[3]/div/div/div/div[1]/div/div[2]/div[2]/div[2]/div[2]/button[1]').click()
browser.find_element_by_xpath('//*[@id="root"]/div/div[3]/div/div/div/div[1]/div/div[2]/div[2]/div[2]/div[3]/div[1]/label/i').click()
browser.find_element_by_xpath('//*[@id="root"]/div/div[3]/div/div/div/div[1]/div/button').click()
#页面出来了
for page_index in range(200):
for i in range(10):
for j in range(4):
temp='//*[@id="contentTable"]/tbody/tr['+str(i+1)+']/td['+str(j+1)+']'
browser.execute_script(js)
time.sleep(3)
data_1=browser.find_element_by_xpath(temp).get_attribute('title')
data[0]=data_index
data[j+1]=data_1
data_index+=1
print(data)
path_new = path + '\\data.csv'
with open(path_new, 'a',encoding='utf-8',newline='') as csvfile:
writer = csv.writer(csvfile)
writer.writerow(data)
print(page_index+1,"页爬取成功,下一页喽")
browser.find_element_by_xpath('//li[@class="page-next"]').click()
time.sleep(10)
项目运行效果