爬虫-python
yang_xiaomie
这个作者很懒,什么都没留下…
展开
-
利用Python爬取妙笔阁小说网站的小说信息并保存为txt和csv格式
本次爬取的是妙笔阁小说网仙侠系列中所有小说的信息,打开网页会看到如下图所示的小说列表。 根据列表,选择爬取小说的书名、作者、最新更新、简介这四项信息。 在爬取之前,为了防止网站禁止爬取,需构造访问的请求头,模拟浏览器访问该网站。那么如何构建请求头,需要找到访问网站时的代理: 在想要爬取的页面按F12,然后点击NetWork,按F5刷新,随便点击进去一个即可,然后找到User-原创 2017-11-30 12:08:07 · 3042 阅读 · 1 评论 -
利用Python爬取妙笔阁小说网的《我是至尊》小说
由于妙笔阁小说网中大多数小说章节数过大,基本上为几千章。所以挑选后选取了章节数为100多章的小说《我是至尊》。 下面详细描述爬取过程: 1.构建请求头:user_agent = 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Saf原创 2017-11-30 15:51:54 · 870 阅读 · 0 评论