使用python爬取豆瓣网站？如何简单的爬取豆瓣网站？

1.对python爬虫的看法

首先说说我对python的看法，我的专业是大数据，我从事的工作是java开发，但是在工作之余，我对python又很感兴趣，因为我觉得python是一门很好的语言，第一：它可以用来爬取数据，也就是我今天要介绍的；第二：它可以用来做项目的后端搭建；第三：可以用来做数据分析，第四：它的语法比较简单，代码写起来也没有java语法那么严格。我觉得python做第二门兼职语言再好不过了。

2.爬取数据过程中的感想

有时候，我们爬取的数据是比较杂乱的，需要我们对数据进行清洗处理，去掉错误或者空值，如果我们用数据来进行研究，这是必经的过程。所以我们不仅要学会爬取数据，还要学会对爬取的数据进行处理，所以我觉得想要学习python这门语言，先学爬虫，在爬虫的基础上一边学数据处理。

3.本次爬取数据的所得

3.1第一次数据爬取

爬取数据三要素：获取网站信息，获取需要爬取数据的节点，将数据进行保存

3.2爬取数据的处理

由于第一次的数据爬取出来，格式上比较混乱，且如果要使用到数据的话，就得把有用的数据提取出来，因此进行数据处理并且重新进行保存是必要的，这里使用到了正则表达式（正则在数据处理和数据爬取中都是一个重要的存在）

总结
此代码只能用于爬取简单的数据，如果要爬取动态的数据或者是更多数据需要使用到多方面的东西=========================================================================

下面是一个固定的写法：用于确保某段代码只有在脚本作为主程序运行时才会执行，通常用于定义脚本的入口点。也就是说如果这个py文件被其他给引入了，他是不会执行这个里面的内容的

当 my_script.py 被直接运行时，__name__ 变量的值为 '__main__'，因此 main() 函数会被调用。
当 my_script.py 被其他文件导入时，__name__ 变量的值为 'my_script'，因此 main() 函数不会被调用。

if __name__ == '__main__':
    handle()

他提高了代码的复用性和可维护性，如果在该块中编写单元测试代码，这些测试代码只会在直接运行脚本时执行。