RNA序列优化评分：吉布斯自由能批量计算

山外青山楼外楼，西湖歌舞几时休，爬虫用了N多次，到头一看是新手。selenium识别网页结构下的元素，而<iframe>(需要对HTML框架有一定的认识)相当于在一个网页结构下另起一个网页结构，这就导致当你的元素处于镶嵌于<iframe>框架时就不能直接获取到，需要将selenium定位到目的元素<iframe>框架之下，才能求取。

 

 本文旨在获得<iframe>框架下RNA的吉布斯自由能数值，RNA的吉布斯自由能在一定程度反映了RNA的稳定性，通过比较不同DNA转录的RNA的吉布斯自由能，我们可以初步了解目标基因转录产物的稳定性，从而对其蛋白表达量有一定的评估。

一、DNA转录成RNA

    DNA到RNA需要将序列互补，并将碱基T转化为U。

seq1 = []
f = open("/home/lh/Documents/Lin/优化序列.txt","r")
for a in f.readlines():
  if a[0] not in [">",'\n']:
    seq1.append(a.replace("\n","")) 

f.close()

seq5 = []
for a in seq1:
  seq4 = ""
  for b in a:
    if b == "T":
      seq4 += "A"
    if b == "A":
      seq4 += "U"
    if b == "G":
      seq4 += "C"
    if b == "C":
      seq4 += "G"
  seq5.append(seq4)

二、批量获取RNA吉布斯自由能

from tqdm import tqdm
import selenium
from tqdm import tqdm
from selenium import webdriver
import re
import time
from bs4 import BeautifulSoup
browser = webdriver.Firefox()
import time
i = 0
energy = []
for a in tqdm(seq5):
  i += 1
  browser.get('https://rna.urmc.rochester.edu/RNAstructureWeb/Servers/Fold/Fold.html')
  browser.find_elements_by_css_selector('#main > form:nth-child(4) > div:nth-child(1) > pre:nth-child(8) > textarea:nth-child(1)')[0].send_keys(a)
  browser.execute_script('window.scrollTo(593,636)')
  browser.find_elements_by_css_selector('#main > form:nth-child(4) > div:nth-child(2) > table:nth-child(2) > tbody:nth-child(1) > tr:nth-child(2) > td:nth-child(2) > input:nth-child(1)')[0].click()
  browser.execute_script('window.scrollTo(593,636)')
  browser.find_elements_by_css_selector('.button')[0].click()
  time.sleep(80)
  browser.implicitly_wait(30)
  element = browser.find_elements_by_tag_name('iframe')
  browser.switch_to_frame(element[0])
  browser.implicitly_wait(30)
  element = browser.find_elements_by_tag_name('iframe')
  browser.switch_to_frame(element[0])
  time.sleep(5)
  bf = str(BeautifulSoup(browser.page_source,"lxml"))
  bf1 = bf[bf.index("ENERGY") + 9:bf.index("ENERGY") + 15]
  energy.append((i,("energy",bf1)))
  browser.switch_to.default_content()

遇到两个问题：

1. 输入RNA序列后，点击提交报错，显示找不到该元素

click()命令类似于模拟鼠标操作，元素必须在屏幕中可见

2.提交序列生成吉布斯自由能过程找不到目标元素

1）网页处于持续渲染或者刷新中，未展示出所需元素

2）元素隐藏

三、问题解决

1.针对于第一个问题，可以使用命令browser.execute_script('window.scrollTo(x,y)')，使其元素处于屏幕可见位置，其中x,y为鼠标位置坐标。

2.针对第二个问题中第一个小问题，可以等待网页加载，主要由强制等待，显性等待、隐性等待，或者条件等待。

3.针对第二个问题中第二个小问题，第一步找到<iframe>位置，然后使用命令browser.switch_to_frame(),定位到<iframe>框架中，有意思的是我们的元素处于<iframe>的<iframe>中，因此需要定位两次，直至我们的元素暴露出来。

selenium找不到定位元素原因总结：

1. 鼠标点击找不到位置，很可能是点击的位置不在屏幕视野中

2. 找不到文本，很有可能是网页渲染没有完成，需要等待加载，也有可能文本在<iframe>中，一个网页等价于一个<iframe>，selenium默认识别第一层框架中的元素，因此框中框需要将其定位到指定的框架中，尤其注意你需要的文本处于多层框架中，那么需要定位到元素所在的框架中