- 博客(4)
- 收藏
- 关注
原创 爬取的天津二手房数据分析
首先是数据整理,先把带有汉字的数据字符串进行清洗,并转化为数据格式(float),这里主要采用了str.split、.apply、.find函数。 整理后的数据如图: 其次是数据分析,这里使用了BDP: ...
2018-06-09 17:59:20
936
原创 scrapy入门实践—————爬取天津链家数据
scrapy架构上手简单,程序架构清晰,试过几个爬虫的程序感觉还是scrapy的程序架构功能强大,程序条理分明。 1、在当前目录下创建新的 Scrapy 项目,使用如下代码: $scrapy startproject XXXXX(名称) 2、在当前目录中会新建一个名称也是 XXXXX(名称)的项目文件夹。文件夹的目录结构如下所示: ...
2018-06-09 16:43:07
325
转载 scrapy简介
Scrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。(360百科)Scrapy 使...
2018-06-09 16:30:57
1035
原创 写在前面
最近一段时间刚好有些空余时间,无事可做,想着也不能把时间给荒废了,就想着学点什么。听说python挺火,人工智能也是大热门,在网上一搜资源还真不少。无奈基础太差,智能找些网上的示例来进行练习,目前已经完成了简单的人脸识别、五子棋对弈、12306订票等大小程序的本地执行,也在学习Andrew Ng的机器学习课程。期间还有幸蹭了天津的第二届世界人工智能大会,算是对人工智能这个新兴行业有了一...
2018-06-09 16:12:46
149
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人