Webscraper爬取使用总结（持续更新）

我是精神抖擞王大鹏，不卑不亢，和蔼可亲~  
计算机硕士，目前小米大数据开发。日常会分享总结一些自己面试实际问题的回答，欢迎一起讨论。
公众号：diting_dapeng

1.使用link可以使得爬取到的内容多获取两列,一列是该指定link处的文字text,一列是跳转的链接的url；

2.使用link爬取多级页面时,如果想获得多级页面下的内容,不管这个页面是在当页打开,或是在新的页面打开,都可以在创建的类型为link的结构下,再对子页面的元素进行抓取；

3.Text用于文本,Table用于表格,image用于图片；

4.Element用于结构体,可以在结构体内再去选择子元素,但是其子元素不用勾选multiple选项；

5.Element scroll down用于爬取下拉滚动式的页面结构体；

6.Element click用来爬取需要点击的分页页面；

7.Element click的使用基本上有两种：

第一是采用click one的方式直接全部选取:

第二是采用click more的方式来点击下一页进行获取：

8.遇到有规律的分页，可以使用[2-5]表示第2页到第5页，如果是步长为2页，则可以:[2-5:2]；