一、使用Selenium+Phantoms来抓取数据
1.登录:最重要的是设置User-Agent,否则无法转跳链接
from selenium.webdriver.common.desired_capability import DesiredCapabilities
user_agent=(
"Mozilla/5.0()"
)
2.输入用户名和密码:
<input id="loginname" type="text" class="W input" maxlength="128" autocomplete="off" action-data="text=........" name="username" node-type="username" tabindex="1">
(1)为了与微博内容交互,需要用到javascript
相关的javascript代码:
document.getElementById('loginname').value='abc'
document.getElementsByName('password')[0].value='abc'
通过Selenium提供的send_keys来进行传递value
driver.find_element_by_id('loginname').send_keys(username)
driver.find_element_by_name('password').send_keys(password)
二、微博接口分析
三、直接调用微博API来抓取
四、表单及登录
四、表单及登录