爬虫python 能做什么_Python爬虫学了可以做什么工作？

谢邀~

爬虫是计算机学科的一个技术，同级的还有如前端、后端、iOS、Android等。

基本每个语言都可以编写爬虫程序，而且都提供了方便的框架，比如 python 的 Scrapy，java 的 Heritrix 等，你可以选择任意一门语言来编写爬虫。

学会爬虫后，你可以批量自动化的抓取网页上的数据，而不用手动复制。

比如抓取：微信公众号文章标题

新浪微博

知乎

淘宝

亚马逊

等。

当然编程的学习成本比较大，市面上也有很多的工具可以做到爬虫需要做的事情，比如谷歌插件web scraper。

webscraper 有如下优点——免费

不受操作系统限制，只要安装 Chrome 浏览器即可运行

操作简单，易上手。（很多没有技术背景的同学，都可以快速学会）

功能强大：不仅可以抓静态网页，对于 js 动态加载的数据，也很容易抓取

根据已经测试的经历，下列类型网站均可抓取——58 同城、大众点评、美团、链家等

微信公众号、简书、知乎、博客等

淘宝、阿里巴巴、网易严选等可以在浏览器查看到的数据，95% 均可抓取。

你可能会问，那剩下的 5% 是什么呢？—— 等你遇到再说吧，如果遇不到，那对你来说，就是 100% 了 [微笑]

我的公众号（多元思维Hack）也写过一篇文章，《不用写代码，30 秒抓取李笑来所有微博》，介绍的就是如何使用 web scraper来抓取李笑来的微博。

还有另一篇详细讲解如何安装使用web scraper的文章，如果有兴趣可以去看看。

以我个人不成熟的经验来看，如果你想实现某个功能，而你不知道有没有这个工具，99% 是因为你信息源有问题，这个时候，你可能需要向朋友询问，或者加一些互联网相关的知识星球、微信群等。信息爆炸的社会，优质的信息源能极大提高你的人生效率。当然可能有些工具涉及到利益，需要付费，千万不要省这点钱。

不要重复造轮子，要相信，在你之前，已经有编程大牛将这块的功能打磨好了，你重新做性价比会差很多。

希望对你有帮助。