- 据说大数据py必学的,尤其是爬虫。 我现在需要做个爬虫爬取大量后台数据,给大数据分析作支撑。我之前用php和java做过爬虫,各有优缺点这里不多说了。 选择py是个趋势。首先要学py就要了解这是个什么东西。我去百度百科瞟了一眼。了解了py的情况和基础语法,就开始百度之旅了。
- 首先安装py稳定版本3.6。然后写几个简单脚本跑一跑。感受一下py的世界。总的感觉一个字好舒服啊的服。既有php的即写即运行的快感。也有java的导包即用的拿来主义。一句话不要怂就是干。
- 在网上找了几个爬虫小列子拿下来运行了下。由于py版本问题略微的调整下就可以运行了。感觉还不错。使用国际通用手法开始爬取自己的目标站。登陆地址 cookie herders 请求头相应头的分析 1天就搞定一个单点登陆的网站登陆以及授权问题。验证码相当头疼啊。据说py可以机器学习识别验证吗 。折腾了1周没搞定暂时放下。机器学习思路也了解的差不多了。还有一条路是数字图像处理技术 。看上去好痛苦,为了破解验证码学这个是不是有点那啥啥了。
- 体验了一把py的好,琢磨着花点时间折腾下挺不错的。现在初步制定目标为py爬虫 大数据这个方向毕竟工作也需要。数字图像处理考虑兼修一下。
- 目标定了,开始制定小计划,每天练习一个py的算法,每周用这些算法做一个小程序出来。
- 每周基于小程序做一个总结。
老那学python之目标
最新推荐文章于 2024-07-12 16:16:27 发布