爬虫
文章平均质量分 90
zczczcc
小张小张自有主张
展开
-
Python+Selenium爬取新浪微博数据
爬取新浪微博数据一级目录二级目录三级目录一级目录二级目录三级目录原创 2021-01-24 09:46:41 · 2550 阅读 · 1 评论 -
Python+Selenium爬取新浪微博评论数据
Python+Selenium爬取指定新浪微博的数据微博分析微博端类型Ajax动态加载数据选择爬取对象进行评论界面分析Python实现代码微博分析微博端类型首先找到一个待爬取的微博,需要注意的是,微博分为:微博网页端(http://weibo.com)如图1,微博手机端(http://m.weibo.cn)如图2以及微博移动端(http://weibo.cn)如图3。难度程度排序如下:网页端>手机端>移动端图一:(网页端)图二:(手机端)图三:(移动端)Ajax动态加载数据原创 2021-01-23 21:18:22 · 2937 阅读 · 5 评论 -
Python+Selenium爬取新浪微博数据时的用户模拟登陆
新浪微博用户模拟登录WebDriver基本元素定位方式xpath表达式定位selenium–操作滚动条driver.switch_to.frame用法Python代码实现模拟登陆的思路:1.采用webdriver的get方法打开网页2.选择用密码进行登陆(定位+点击)3.在input tag输入用户名及密码(定位+输入)4.登陆(定位+点击登陆按钮)WebDriver基本元素定位方式find_element_by_id() —采用id属性进行定位例如在百度页面中输入关键字进行搜索<s原创 2021-01-05 09:30:11 · 1186 阅读 · 3 评论 -
爬取MOOC课程评论区的评论数据
对MOOC上某一课程评论区的评论数据爬取出来(例如:爬取《大学生计算机基础》)1、爬取流程框架2、爬取数据** 用户名-namesList、用户ID-user_ID、评论内容-commentList、评论时间-commentTime、浏览次数-watch_numList、回复次数-reply_numList、用户个人主页user_indexList、用户的身份信息 -user_infoList该课程评论区界面该评论者个人页面3、数据可视化1.将爬取的数据以xlsx保存下来F原创 2020-11-13 22:51:08 · 6236 阅读 · 22 评论