python爬虫jsp网页_Python有了可以直接进行网页数据爬虫吗？

先说结论，可以，但是比较难。

1. Python != 爬虫

Python是一门编程语言，而爬虫是一个由计算机编程语言编写制成的一个计算机程序，用于提取网络上的信息。Python可以用来编写爬虫程序，而且也有十分丰富的生态环境，且语法简单，适合新手学习。

2. 可以只用Python编写爬虫吗

可以，但是说实话，真的不容易。你可以用Python自带的库urllib来获取网页源码（数据），但是，你该如何分析它们呢？一般网页都是使用HTML编写的，是无法自动转换成为Python的数据格式的。这，就需要正则表达式来帮你了。关于正则表达式，Python有一个内置库re，可以用来处理正则表达式。正则表达式一般可以处理比较正常（简单）的HTML代码，但是遇到复杂的，就有点儿弱了。我自己其实现在也没完全掌握正则，所以不做评论。

3. 那么，一般用什么呢？

一般编写爬虫会使用requests库来获取网页信息，用BeautifulSoup（bs4）来解析网页HTML代码。这两个库都不是自带的，需要使用Python的包管理器pip来安装。如果遇到了可以直接获取缘数据（例如JSON格式的），那么可以用json库来转换为Python字典。如果遇到比较难爬的，例如，有动态数据并且不暴露API的，可以使用selenium。它是一个可以直接模拟浏览器（Chrome，Firefox，等等）的Python自动化测试库，当然也可以用来写爬虫。这样，你就可以直接获取浏览器渲染好了的代码，来很容易地解析了。再或者，项目非常大，可以用scrapy，它是一个Python的爬虫框架，具体我也没有接触过，就没法评论了。

上面就是我自认为比较可行的方法，欢迎反驳，但大佬勿喷。最后，不要脸的发个小广告：我自己做了一个爬虫，爬取百度的各式各样的搜索（百度网页搜索，百度图片搜索，百度知道搜索，百度视频搜索，百度资讯搜索，百度文库搜索，百度经验搜索和百度百科搜索），链接在下方，有兴趣可以来看看。

GitHub：BaiduSpider/BaiduSpider​github.com

文档：BaiduSpider​baiduspider.github.io

知乎视频​www.zhihu.com

最最后，让我们共同进步！