- 博客(3)
- 收藏
- 关注
原创 python爬虫爬取小说
文章目录1.请求服务器1.1分析网页2获取第一章内容2.1获取html文件2.2解码2.3提取并保存信息2.4写入txt3.爬取首页所有链接3.1封装函数的方法3.2爬取首页所有链接4、爬取所有章节 1.请求服务器 1.1分析网页 请求服务器之前要先看一下这个网页的构造,我们可以看到它的信息全部都是通过html加载出来的,一个url 对应一个章节,所以我们只需要提取到该小说目录的所有链接就可以...
2020-04-19 22:27:12
4110
4
原创 电影信息爬取
文章目录1.抓包分析1.1 网页分析1.2如何进行抓包2.电影信息爬取2.1爬取第一页2.1.1请求网页2.1.2获取text内容:2.1.3获取json内容:2.1.4xpath提取内容2.2爬取2020所有电影信息3将爬取内容写入CSV文件4.代码汇总 1.抓包分析 网址:电影票房 1.1 网页分析 在爬取网页内容之前,第一件事就是分析它的网页数据的加载方式,再决定我请求服务器的方式。 我们点...
2020-04-19 21:13:13
1813
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人