爬虫学习总结

1 工具准备

• 安装pycharm和anaconda；
• selenium（自动测试工具，模拟浏览器访问） 安装与 chromedriver安装；参考

2 网页相关操作

F12查看网页源码；
Ctrl+shift+C定位网页元素；

3 定位元素

利用selenium查找元素时经常会遇到找不到情况：

1. 常规方法Selenium元素定位的30种方式
2. 通过xpath来查找，快速获取网页元素的xpath
3. xpath基本语法：“//”从匹配的当前节点选择文档中的节点，而不考虑它们的位置（相对路径）
   xpath = ‘//div[@class=“text”/a]’
   //*[@id=“statuses”]/div[2]/div[1]/div/div/div[1]/div[2]/a[1]