webscraper多页爬取_webscraper的常见爬取问题

1.webscraper抓取的数据，导出的excel文档内容是乱码，怎么解决？

造成的原因：电脑编码的不同。百度搜索“excel打开是乱码的解决方案”的百度经验。

2.抓取的数据无序怎么解决？

安装couchDB工具。

3.如何抓取大部分(95%)网页的选择器？

1.Element 选择器

2.下来加载选择器

3.点击加载选择器

4.循环翻页抓取

5. 选择器中spc键。主要是键盘S键(select，选择)、P(parent，父选择器)键来代替鼠标操作，避免了点击选中容易跳转和反爬虫的网页。

6.选择器的组合：下拉加载选择器和点击加载选择器可以同时设置为同一级别的目录。

4.webscraper可以抓取视频吗？

不可以，但是可以利用link选择器抓取视频链接。

5.webscraper的抓取范围？

打开网页，能看见的部分就能抓取，看不见的部分就不能抓取。

6.采取的数据不完整怎么办？

鼠标可以多次点击那些没有选中的元素，用鼠标进行手动操作。

7.面对反爬虫网站，无法通过鼠标、键盘操作去选中爬取的元素怎么办？

鼠标放在爬取元素的上面，接着鼠标右键打开审查元素，从审查元素中拷贝选择器的代码(一般是“A class=B代码”)，一般这段代码位于选中元素的上一行或者下一行代码处。之后将审查元素的代码以这个格式写入选择器中。

格式：A.B 也就是h2.ContentItem-title(注意A和B之间有一个实心点)

8.不要用于商业用途，仅供学习交流。