python爬虫基础与数据分析及可视化基础一、Python基础二、Python爬虫三、数据分析基础四、数据可视化基础

python基础、爬虫、数据分析学习笔记

• 一、Python基础

• * I. 基本数据类型 
  

  •   * i. int、float、str、bool数据类型的定义 
    

    • ii. tuple(元组)：
    • iii. list(列表)
    • iv. set(集合)：
    • v. dict(字典)
  • II. 基本控制结构

  •   * i. if-elif-else语句： 
    

    • ii. for语句：
    • iii. while语句
    • iv. in，and，or，break，contiue语句
  • III. 函数定义:
  • IV. 文件读取
• 二、Python爬虫

• * I. 获取本地用户代理信息 
  

  • II. Requests库

  •   * i. requests的安装 
    

    • ii. requests、Cookie免登陆、Session保持会话
  • III. 正则表达式
  • IV. 筛选网页信息
• 三、数据分析基础

• * I. Jupyter Notebook 数据分析及可视化工具 
  

  •   * i. jupyter notebook的安装 
    

    • ii. 使用jupyter notebook进行数据可视化的基本配置
  • II. Pandas、numpy、matplotlib库的安装：
  • III. Pandas的基本使用

  •   * i. Pandas读取文件 
    

    • ii. Pandas.Series的基本语法
    • iii. pandas.Dataframe的基本语法
  • IV. 数据处理
• 四、数据可视化基础

• * I. 画布 
  

  •   * i. 创建画布 
    

    • ii. 自定义画布大小并在指定位置创建坐标系
  • II. 条形图

  •   * i. 在一个坐标轴上绘制两个条形图 
    

    • ii. 横向条形图
  • III. 折线图
  • IV. 饼图

一、Python基础

1. python中变量的定义不用在变量名前面声明变量类型，编译器会根据赋值的数值区分数据类型
2. 字符串用单引号 'python' 或者双引号 "python" 均可
3. python对代码书写格式做出了严格的要求，用缩进替换了传统 "{}" 表示语句作用范围的方式

I. 基本数据类型

数据类型	表达式
int	整形
float	浮点型
str	字符型
bool	布尔类型
tuple	元组
list	l列表
set	集合
dict	字典

i. int、float、str、bool数据类型的定义

    a = 1  # int
    b = 1.1  # float
    c = 'python'  # str
    d = True  # bool
    print('a:', type(a), 'b:', type(b), 'c:', type(c), 'd:', type(d), sep='\n')
    
    #输出结果：
    a:
    <class 'int'>
    b:
    <class 'float'>
    c:
    <class 'str'>
    d:
    <class 'bool'>

ii. tuple(元组)：

元组和列表相似，但一旦确定无法无法更改，即无法增加或者删除某个元素，只能删除整个元组

    # 创建元组
    tuple1 = ()  # 空元组
    tuple2 = (1,)  # 单个元素，","不能少
    tuple3 = (1, 2, 3, "python", "java")  # 多个元素
    print(tuple1, tuple2, tuple3, sep='\n')
    '''
    输出结果：
    ()
    (1,)
    (1, 2, 3, 'python', 'java')
    '''
    
    # 访问元素
    print(tuple3[1])  # 下标访问
    print(tuple3[0:2:1])  # 切片访问
    '''
    输出结果：
    2
    (1, 2)
    '''
    
    # 删除元组
    del tuple2
    
    # 元素个数
    print(len(tuple3))
    '''
    输出结果：
    5
    '''
    
    # 元素遍历
    for Member in tuple3:
        print(Member)
    for i in range(len(tuple3)):
        print(tuple3[i])
    '''
    输出结果：
    1
    2
    3
    python
    java
    1
    2
    3
    python
    java
    '''
    

iii. list(列表)

    # 创建列表
    List1 = []  # 空列表
    List2 = [1, 2, "python", "java"]  # 普通列表
    List3 = [[1, 2], ["python", "java"]]  # 复合列表
    print(List1, List2, List3, sep='\n')
    '''
    输出结果：
    []
    [1, 2, 'python', 'java']
    [[1, 2], ['python', 'java']]
    '''
    
    # 访问元素
    print(List2[0])  # 输出第一个元素
    print(List2[0:2:1])  # 输出从0每次增一到2-1位置的元素,输出结果一个列表
    '''
    输出结果：
    1
    [1, 2]
    '''
    
    # 插入元素
    List2.append("c++")  # 插入字符串'c++'
    print(List2)
    '''
    输出结果：
    [1, 2, 'python', 'java', 'c++']
    '''
    
    # 删除元素
    List2.remove(1)  # 删除第1个元素
    print(List2)
    del List2[1]  # 删除下标为1的元素
    print(List2)
    List2.pop()  # 删除末尾元素
    print(List2)
    List2.clear()  # 清空列表元素，操作后为空列表
    print(List2)
    del List2  # 删除整个列表
    '''
    输出结果：
    [2, 'python', 'java', 'c++']
    [2, 'java', 'c++']
    [2, 'java']
    []
    '''
    
    # 元素个数
    print(len(List3))
    '''
    输出结果：
    2
    '''
    
    # 元素反转
    List3.reverse()
    print(List3)
    '''
    输出结果：
    [['python', 'java'], [1, 2]]
    '''
    
    # 元素遍历
    for Member in List3:
        print(Member)
    for i in range(len(List3)):
        print(List3[i])
    '''
    输出结果：
    ['python', 'java']
    [1, 2]
    ['python', 'java']
    [1, 2]
    '''

iv. set(集合)：

满足数学上对集合的定义，无序，互异，所以集合中不存在重复的元素，即有去重功能，也不能通过下标来访问某个元素，只能判断集合中是否存在某个元素

    # 创建集合
    set1 = set()
    set2 = {1, 2, 'python', 'java'}
    set3 = {(1, 2), 'python', 'java'}
    print(set1, set2, set3, sep='\n')
    '''
    输出结果：
    set()
    {1, 2, 'java', 'python'}
    {'java', 'python', (1, 2)}
    '''
    
    # 判断某个元素是否存在
    print('python' in set2)
    '''
    输出结果：
    True
    ''&