qq_66640856的博客

（水字数，解决方案看下一章...）今天准备下家公司入职的部分学习，想到部署这些必不可少，于是乎用了以前在大学里面用过的http-server服务来运行vue打包好的dist文件，但在打包之前测试项目运行的时候，也就是在vue项目启动后，ip后的是vue的默认端口8080，访问进去却是http-server默认启动的页面，由于目标没有指定默认的HTML文件（如index.html），所以它默认展示了目录列表。

本文从爬虫案例出发，以爬取番茄小说网站中小说为例，详细介绍了网络爬虫的四个基本步骤：发送请求、获取数据、解析数据以及保存数据。首先，我们需要了解如何通过编写代码来发送HTTP请求与目标网站建立通信，并如何通过设置请求头，包括用户代理（User-Agent）、认证令牌（Tokens）、Cookies等信息来绕过网站的安全措施。接着，说明如何获取服务器响应的数据，并使用如parsel这类的HTML解析器，根据HTML文档结构提取有用信息。最后，讨论了数据的保存方法，包括存储格式的选择和数据处理的注意事项。

HTML