![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
明的大世界
在校研究生
展开
-
爬虫学习笔记:天猫(淘宝)评论数据爬虫
1、杂语近期课程需要爬取淘宝、天猫商品评论信息,进行数据挖掘分析和情感分析。在网上查找相关资料,翻阅一些博客和csdn文章,对淘宝天猫商品评论爬虫有了一些了解,并且成功爬取到需要的数据。因此,在此对这几天的学习做个总结,也给有同样需求的朋友一点参考。2、目的和方法2.1 目的本文目的很明确,爬取天猫(淘宝)中某个商品的评论信息,信息包括商品的型号、用户评论(主要分析这两个信息)。商品链接地址:https://detail.tmall.com/item.htm?spm=a230r.1.14原创 2020-05-19 15:30:23 · 6793 阅读 · 9 评论 -
爬虫学习笔记:爬取古诗文网
1、目标网站目标网站:https://so.gushiwen.org/shiwen/default.aspx?2、爬虫目的爬取目标网站的文本,如古诗的内容,作者,朝代,并且保存到本地中。3、爬虫程序# -*- coding:utf-8 -*-#爬取古诗网站import requestsimport re#下载数据def wr...原创 2020-04-09 19:23:29 · 1476 阅读 · 0 评论 -
爬虫学习笔记:爬取笔趣阁剑来小说
1、目的爬取笔趣阁网站的剑来小说正文内容,并保存到本地中。2、实现方案首先,请求目标网站的网页数据,通过分析找出章节地址的特点,并通过xpath获取到章节链接;其次,请求每一章节的内容,通过数据清洗去除脏数据,得到剑来文章正文;最后,保存数据到本地。3、程序设计3.1 请求数据模块请求模块,负责请求网站数据,主要使用req...原创 2020-04-04 13:02:20 · 834 阅读 · 0 评论 -
爬虫学习笔记:爬取任意百度贴吧帖子中的图片和视频 2
续前篇:https://blog.csdn.net/maxMikexu/article/details/1052915761、代码# -*- coding: utf-8 -*-import requestsfrom lxml import etreeimport osfrom urllib import parse#爬虫class BtcSpider(object): ...原创 2020-04-03 20:28:45 · 222 阅读 · 0 评论