- 博客(3)
- 收藏
- 关注
RSS订阅原创 通过scrapy，从模拟登录开始爬取知乎的问答数据
通过scrapy，从模拟登录开始爬取知乎的问答数据这篇文章将讲解如何爬取知乎上面的问答数据。首先，我们需要知道，想要爬取知乎上面的数据，第一步肯定是登录，所以我们先介绍一下模拟登录：先说一下我的思路：1.首先我们需要控制登录的入口，重写start_requests方法。来控制到这个入口之后，使用callback回调函数来调用login函数.2.在login函数中通过response.text获取到该
2017-12-23 17:42:01
3089
原创 利用AJAX JAVA 通过Echarts实现豆瓣电影TOP250的数据可视化
1.mysql表的结构2.数据（数据是通过爬虫得来的,本篇文章不介绍怎么爬取数据，只介绍将数据库中的数据可视化）：下面就是写代码了：首先看一下项目目录：数据库层：业务逻辑层：package dao;import java.sql.ResultSet;import java.sql.SQLExceptio
2017-12-03 19:15:46
1941
原创 Scrapy爬取伯乐在线的所有文章
前置工作：1. 配置环境变量2.创建虚拟环境3. 安装scrapy （在这里不作介绍，注意有几个前置包安装成功才能装scrapy）4.创建scrapy项目5.更换虚拟环境6. 新创建一个spider名为jobbole7.创建一个用于测试的py文件。名字为main8. 下面运行一下main9.项目可以正常跑起来的情况下，下面就是开始写代码，
2017-12-03 10:34:03
1662
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人