使用的是python2.7下的scrapy爬虫框架,用到的包还有lxml,BeautifulSoup,requests等等
2.爬取目标
目前网络上发布房屋买卖信息的网站不少,我选择了信息量比较大的五八同城网站,当然,由于是比较大的网站,反扒的措施自然也不会少,爬取的信息主要有,房屋地址,房屋大小,房间数量,房屋朝向,房屋层数,每平米售价,总售价,详情页面等等
3.后端
使用mongodb存储房屋数据,使用百度地图API将地址信息解析为坐标信息,使用springmvc框架搭建项目,使用阿里云服务器发布项目
4.前端
使用echarts图表工具进行数据可视化.jquery进行元素选择
（1）Python所有方向的学习路线（新版）
这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
最近我才对这些路线做了一下新的更新，知识体系更全面了。
（2）Python学习视频
包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。
（3）100多个练手项目
我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。
小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数初中级Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频
如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）
频**
如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）
[外链图片转存中…(img-BIFgcVll-1710903760124)]
扫一扫
561
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
