【数据分析46讲】实战篇

数据采集实战：如何自动化运营微博

Selenium 自动化测试工具

做 Web 自动化测试的时候，可以选用 Selenium 或者 Puppeteer 工具

• Selenium 更关注程序执行的流程本身，比如找到指定的元素，设置相应的值，然后点击操作
• Puppeteer 是浏览者的视角，比如光标移动到某个元素上，键盘输入某个内容等

如果我们想定位一个元素，可以通过 id、name、class、tag、链接上的全部文本、链接上的部分文本、XPath 或者 CSS 进行定位，在 Selenium Webdriver 中也提供了这 8 种方法方便我们定位元素

获取到元素之后，我们就可以对这个元素进行操作:

• 清空输入框的内容：使用 clear() 函数；
• 在输入框中输入内容：使用 send_keys(content) 函数传入要输入的文本；
• 点击按钮：使用 click() 函数，如果元素是个按钮或者链接的时候，可以点击操作；
• 提交表单：使用 submit() 函数，元素对象为一个表单的时候，可以提交表单；

微博自动化运营：加关注，写评论，发微博

• 我们也可以使用XPath进行元素定位
• 使用了 implicitly_wait 函数以及 time.sleep() 函数让浏览器和程序等待一段时间，完成数据加载之后再进行后续的操作，这样就避免了数据没有加载完，导致获取不到指定元素