爬虫
西红柿炒番茄丶丨
这个作者很懒,什么都没留下…
展开
-
利用Scrapy爬取职友集中企业的信息数据
利用Scrapy爬取职友集中企业的信息数据需求分析要抓取的地址url: http://www.jobui.com/cmp要抓取的信息,是对应的每个公司详情页中的数据首先需要获取所有公司的列表,程序自动翻页,获取下一页的链接地址,获取每个公司的详情页的url获取到详情页的url 发起请求,在详情页中获取想要抓取的数据代码编写首先利用命令行创建爬虫项目scrapy startproject原创 2017-08-24 20:50:55 · 2035 阅读 · 1 评论 -
爬取网易财经中股票的历史交易数据
爬取网易财经中股票的历史交易数据需求分析得到股票代码 股票代码的信息是在东方财富网中获取(http://quote.eastmoney.com/stocklist.html)得到股票的历史交易记录 股票的历史交易记录是可以在网易财经中直接下载excel表的,地址(http://quotes.money.163.com/trade/lsjysj_603088.html#06f01)这是某一股原创 2017-08-27 21:25:04 · 30420 阅读 · 15 评论 -
爬虫Scrapy框架详解
爬虫Scrapy框架详解1. 概述下图显示了 Scrapy 的大体架构,其中包含了它的主要组件及系统的数据处理流程(绿色箭头所示)。下面就来一个个解释每个组件的作用及数据的处理过程。2. 组件2.1 Scrapy Engine (Scrapy 引擎)Scrapy 引擎是用来控制整个系统的数据处理流程,并进行事务处理的触发。更多的详细内容可以看下面的数据处理流程。...原创 2018-05-29 11:56:33 · 1188 阅读 · 0 评论 -
Deepin中安装配置ChromeDriver
Deepin中安装配置ChromeDriver查看当前的Chrome版本信息在谷歌浏览器地址栏中输入chrome://version/可以查看当前的Chrome信息:Google Chrome: 62.0.3202.62 (正式版本) (64 位)修订版本: 9da914b118cb0d10d715ccc4ad20575a0305a304-refs/branch-hea...原创 2018-05-31 12:08:09 · 2118 阅读 · 2 评论