- 博客(3)
- 资源 (1)
- 收藏
- 关注
原创 python爬取笔趣阁小说
笔趣看是一个盗版小说网站,这里有很多起点中文网的小说,该网站小说的更新速度稍滞后于起点中文网正版小说的更新速度。并且该网站只支持在线浏览,不支持小说打包下载。所以可以通过python爬取文本信息保存,从而达到下载的目的以首页的《一念永恒》作为测试:1、先查看第一章地址中的html文本:https://www.biqukan.com/1_1094/5403177.html通过requests库...
2020-04-20 10:33:40
1892
原创 一个简单python爬虫的实现——爬取电影信息
最近在学习网络爬虫,完成了一个比较简单的python网络爬虫。首先为什么要用爬虫爬取信息呢,当然是因为要比人去收集更高效。网络爬虫,可以理解为自动帮你在网络上收集数据的机器人。网络爬虫简单可以大致分三个步骤:第一步要获取数据,第二步对数据进行处理,第三步要储存数据。获取数据的时候这里我用到了python的urllib标准库,它是python中非常方便抓取网页内容的一个模块。具体为:...
2020-04-20 10:20:33
3888
原创 python爬虫之爬取豆瓣电影top250
今天利用xpath写了一个小爬虫,比较适合一些爬虫新手来学习。话不多说,开始今天的正题,我会利用一个案例来介绍下xpath如何对网页进行解析的,以及如何对信息进行提取的。python环境:python3.5先看看网页的样子豆瓣电影网站链接我们下面将要对电影的名字、链接、评分、评价人数和一句话描述这些信息进行提取1、检查并复制电影名字的xPath信息电影《肖申克的救赎》的xPath信...
2020-04-12 20:31:49
1250
CSDN博客.html
2020-04-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人