linkedin网页爬虫难点:
- 网页进入:登录网页(个人账号登录);API接口进入(需要进行一系列复杂且不懂的申请操作,且每次爬的数据量有限);虚拟网址登入,用requests的Session维持登录状态(目前已不可行,https://www.linkedin.com/uas/login-submit)
- 爬虫难点:网页项目没有明确的#css可以爬,必须找到相应的class,且网页element处于更新中,这次爬了不代表下次能用相同的规则爬。
网页进入
用selenium驱动chrome: Rselenium package
我起初首先看的网址,对我有启蒙作用,然而有一些方法已经失效,aja渲染也没必要用,只能帮助进入,无法帮助爬虫,且在python环境下完成
使用R软件的Rselenium包自动驱动;非常详细地告诉你R怎么配置chromedriver,需要用到java执行档
更详细生动的python selenium的操作,selenium和Rselenium其实原理都相同,互通的。
#在cmd中执行: java -Dwebdriver.chrome.driver=D:\Chromedriver.exe -jar D:\selenium-server-standalone-3.141.59.jar
library(Rselenium)
remDr=remoteDriver(browserName='chrome')
#打开领英网页
remDr$open()
loginurl='https://www.linkedin.com/login?fromSignIn=true&trk=guest_homepage-basic_nav-header-signin'
remDr$navigate(loginurl)
# 用户名和密码;这里是通过代码输入了,实际上自己在监控网页上输入用户名密码即可,只要你不关闭chrome,就保持了cookie.