毕业论文开题报告（爬取58同城新房）

学生姓名：孙其伏

所属学院：应用技术学院

专业：大数据技术与应用

班级：大数据（5）班

学号：20203210514

指导老师 姓名：张彤

职称：讲师

一、题目：

爬取58同城新房

二、选题：

生产/社会，能够快速提取到有用信息

三、为什么爬取：

首先，我们从文化和民众心理的角度来看，买房在中国其实已经是一种文化了，为什么这么说呢？因为对于大多数中国人而言，大家都有非常重的乡土观念，在于中国人的民族性格之中，家的概念是一个比什么都重要的事情，要有家也就必须要有房，这几乎已经成为了中国人，一个非常重的家族理念，这种安土重迁的概念已经深深植根于中国人的性格深处，所以在这样的情况下，几千年的历史注定了中国人对于买房呈现出非常重的需求，所以从民族文化和民族性格的角度出发，中国人喜欢买房，可以说已经是深入人心的事情。所以房屋对中国人的意义很大

四、研究目的及意义：

能使房屋数据可视化，使得信息更加的简介，清晰，更加方便与想要购买房屋的人员

需要掌握的相关技能：

        1.学习Python包并完成根本的爬虫进程，学习scrapy。

        2.搭建工程化的爬虫，学会 scrapy。

        3.去搭建一些爬虫框架，就具有爬虫工程师的思想。

五、完成步骤：

登录网站，选择信息，筛选信息，爬取信息