python爬虫入门+数据分析 day2

前言

需求分析
爬取豆瓣Top250的基本信息，包括：

1. 电影名称
2. 豆瓣评分
3. 评价数
4. 电影概括
5. 电影链接

豆瓣前250

爬虫初识

股市，保险风险评断
百度指数

数据本身可能不能说明什么，然而对比数据就可以知道许多
查公司，查老板，查子公司
找工作的时候能用到，做背景调查
天眼查

原理

web spider

基本流程

python的强大点：库！

准备工作

如何爬取多个网页

这是第二页，250？后边是参数，用＆连接起来，start=25是说这一页第一个是26，后边是过滤器

https://movie.douban.com/top250?start=25&filter=

分析页面

找规律，开发者模式F12检查
status是200就是正常接收到了并且返回了

编码规范

1. 先选中
2. 然后CTRL+/就会把选中的注释掉

引入模块（第三方的库）

def add(a,b):
    return a+b
print(add(2,3))

结果是5

引入第三方模块

这样会报错，因为第三方模块在系统里边是没有的

1在terminal里边也是可以的
2
找到settings点进去

点击最右边那一列加号搜索你缺少的模块就行了，然后安装，安装成功即可使用

引入模块