大数据学习笔记——Python基础（上）

最新推荐文章于 2022-03-09 22:21:21 发布
最新推荐文章于 2022-03-09 22:21:21 发布
阅读量1.2k 收藏 6
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bajiaoyu517/article/details/104342927
版权

一、Python知识点

1.变量&运算符

在这里插入图片描述

2.jupyter notebook常用快捷键

Esc 和 Enter 在命令和编辑模式之间跳转。

命令模式下：

A 键，将在选中单元格上方插入新单元格
B 键，将在选中单元格下方插入一个单元格

按两次D键，可以删除单元格

Z键，撤消已删的但与前各

Y键，将选中的单元格变成代码单元格

F键、弹出’查找和替换’菜单

编辑模式下：

Shift+Enter : 运行本单元，并选中下个单元

Ctrl+Enter : 运行本单元

Alt+Enter : 运行本单元，在其下插入新单元

3.输入输出

（1）
在这里插入图片描述
（2）
①*定义宽度、小数点精度

pi=3.141592653
print("pi = %.*f" % (3,pi))#用*从后面的元组中读取字段精度即3，结果：pi = 3.142

②- 用做左对齐

pi=3.141592653
print('%-10.3f' % pi) #左对齐 结果：3.142

③+ 在正数前面显示加号( + )

pi=3.141592653
print('%+f' % pi) #显示正负号 结果：+3.141593

④# 在八进制数前面显示零(‘0’)，在十六进制前面显示’0x’或者’0X’(取决于用的是’x’还是’X’)
⑤0 显示的数字前面填充’0’而不是默认的空格

pi=3.141592653
print('%010.3f' % pi) #用0填充空白  
#000003.142

⑥% ‘%%’输出一个单一的’%’
⑦(var) 映射变量(字典参数)
⑧m.n. m 是显示的最小总宽度,n 是小数点后的位数(如果可用的话)
（3）结合format构造字符串

"{} {}".format("hello", "world")    # 不设置指定位置，按默认顺序
'hello world'

"{0} {1}".format("hello", "world")  # 设置指定位置
'hello world'

"{1} {0} {1}".format("hello", "world")  # 设置指定位置
'world hello world'

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
注：format必须和字符串配套使用
在这里插入图片描述
（4）输入(input)

a = input("input:")
input:123                  # 输入整数
type(a)
<class 'str'>              # 字符串
4.Python内置数据类型

在这里插入图片描述

（1）list列表
list1 = [1, 2, 3, 4, 5, 6, 7 ]
print (list1[1:5])
#结果:  [2, 3, 4, 5]

#修改
list1 = [1, 2, 3, 4, 5, 6, 7 ]
list1[0] = 0
#list1 = [0, 2, 3, 4, 5, 6, 7 ]

#删除
list1 = [1, 2, 3, 4, 5, 6, 7 ]
del list1[0]
#list1 = [2, 3, 4, 5, 6, 7 ]

在这里插入图片描述

list1 = [1, 2, 3, 4, 5, 6, 7 ]
print(list1[1])   #2
print(list1[-1])  #7
print(list1[1:])  #[2,3,4,5,6,7]
list2 = [1, 2, 3, 4, [5,6,7]]
print(list1[4])     #[5,6,7]	嵌套

在这里插入图片描述
按tab键显示提示
在这里插入图片描述

（2）tuple元组

Python 的元组与列表类似，不同之处在于元组的元素不能修改。
元组使用小括号，列表使用方括号。
元组创建很简单，只需要在括号中添加元素，并使用逗号隔开即可。
元组中只包含一个元素时，需要在元素后面添加逗号，否则括号会被当作运算符使用。

a=(1)#int类型
a=(1，)#tuple类型  可用type验证


在这里插入图片描述

（3）dict字典

dict{k: v}

  • 由键 - 值对（key-value）组成的键(key)可以是任何类型，通常是数字或字符串

  • 字典的值(value)可以是任意Python的对象

  • 字典具有极快的查找速度(hash) ，类似于书本的索引、目录

  • 它的元素是无序的

  • 键值(key)不能重复出现

dict1 = {'Name': 'zhangsan', 'Age': 7, 'Class': 'First' }
print(dict1['Name'])   # zhangsan
print(dict1['Age'])    # 7
dict1['Age'] = 8    # 更新Age
dict1['Sex'] = "男"  # 添加信息
del dict1['Name'] # 删除键 'Name'
dict1.clear()     # 清空字典
del dict1        # 删除字典

在这里插入图片描述

（4）set集合

  • set和dict类似，也是一组key的集合，但不存储value

  • 由于键(key)不能重复，所以在set中没有重复的key

  • set可以看成数学意义上的无序和无重复元素的集合

  • 注意：创建一个空集合必须用 set() 而不是 { }，因为 { } 是用来创建一个空字典。

parame = {value01,value02,...}
set(value)
s.add( x ) #添加元素
s.remove( x )
#将元素 x 从集合 s 中移除，如果元素不存在，则会发生错误。
#此外还有一个方法也是移除集合中的元素，且如果元素不存在，不会发生错误。格式如下所示：
s.discard( x )
s.pop()#也可以设置随机删除集合中的一个元素

在这里插入图片描述

（5）其他类型

  • 空值 None

    空值是Python里一个特殊的值，用None、NULL表示

    None不是0，0是有意义的，而None是一个特殊的空值

  • 常量

    常量就是不能变的变量，通常用全部大写的变量名表示常量

    例: PI = 3.14159265359

    4.判断语句
if 5>4 :
    print('yes')
5.自动化控制
(1)条件语句
if 表达式:
    成立则执行这句
elif 表达式:
    成立则执行这句
else:
    不成立则执行这句
(2)循环语句(for)
l = [0, 1, 2, 3, 4]
for i in l:  #相当于for i in range(5):
  print(i)

for i in range(1, 10):
    print(i) #打印1~9

for i in range(1, 10, 2):
    print(i) #打印1 3 5 7 9 有换行

sum([i for i in range(1, 11)]) #配合内置函数

li = [[1, 2, 5], [3, 4, 7]]
li_new = []  #希望得到: li_new = [1, 2, 3, 4, 5, 7]
for i in li:
    li_new.extend(i)
li_new.sort()
print(li_new)
(3)循环语句(while)
while 判断条件：
    语句  #死循环按CTRL+C来退出
(4)pass 语句

pass是空语句，是为了保持程序结构的完整性。

    if student == 'xiaohong':
        pass
(5) 语句流程图 Flow Chart

ProcessOn
https://processon.com/

6.函数
def hello():
    '''say hello''' #存放函数说明
    print('Hello')
    
def information(name,age):
    print('名字:',name)
    print('年龄:',age)
information(age = 12, name = '张三')#Python 解释器能够用参数名匹配参数值，相当于information('张三',12)

def information(name,age = 18):#定义默认参数，在调用时如果没有传入，则使用默认的参数进行运算
    print('名字:',name)
    print('年龄:',age)
information(name = '张三')

def calc(*args):#可变参数：传入的参数个数是可变的；加了星号 * 的参数会以元组(tuple)的形式导入
    sum = 0
    for n in args:
        sum = sum + n
    return sum
print(calc(1,2,3))#6
print(calc())#0

def info(a, **kw):#加了两个星号 的参数会以字典的形式导入
    print(a)#1
    print(kw)#{'name': '张三', 'age': 12}
info(1, name = '张三',age = 12)
7.变量作用域

变量作用域的关键字
global 引用全局
nonlocal 引用上层

二、网络爬虫

1.原理

爬虫模拟浏览器发送请求到服务器，即发送一个Request，服务器响 应，会得到一个Response，Response的内容便是所要获取的页面内容，类型一般为HTML，然后可以用正则表达式、网页解析库进行解析。最后把数据保存下来。

2.网页的基本构成
  • html（结构）：是网页的核心部分，表示一个网页的结构。（房子架构）
    HTML语言：
<!DOCTYPE html><!--<!DOCTYPE html>指明版本信息-->
<html><!--HTML由<html>开始，</html>结束-->
<head>
    <!--告诉浏览器如何渲染页面-->
    <title>标题</title>
</head>
<body>
    <!--放置网站内容-->
    <h>正文标题及层次，一共可以写6层</h>
	<p>段落内容 </p>
	<div>文本块，相当于划分出来一块新的块</div>
	<img src='C:\Users\image3.jpg'></img>
    <a href='https://www.icourse163.org'>我是超链接</a>
</body>
</html>
  • css（样式）：是网页的基础部分，将网页进行装饰美化。（墙和地板砖）
  • javascript（功能）：是网页的功能部分，网页中主要的功能都在这实现。（家具）
3.requests的使用
import requests#导入requests
url='https://www.baidu.com/'
r = requests.get(url)#使用get方法请求数据
r.status_code#或r ,获得包含网页信息的响应数据
#返回结果：200	响应成功；30x	重定向；40x	网页找不到；50x	服务器内部错误（x可能为任何数字，一般常见的有304、403、404）
r.status_code  # 打印状态码
r.text        #以文本形式打印网页源码
r.url         # 打印请求url
r.headers      # 打印头信息
r.cookies      # 打印cookie信息
r.content      #以二进制形式打印数据
r.encoding     #打印编码方式
r.apparent_encoding# 打印备选编码方式
#常见的编码种类：ASCII	1字节	英文通用；GBK	2字节	中文汉字、兼容ascii；Unicode	2字节	通用编码规则、兼容ascii；UTF-8	1-6字节	可变长编码、汉字(3字节)注意：在Python3中默认采用UTF-8编码格式
#GBK和UTF-8对汉字编码区别：GBK编码时，一个汉字占2个字节，UTF-8编码时，一个汉字占3个字节。在以前很多中文网站都使用GBK编码，可以节省空间，而现在存储成本下降，为了统一编码格式，大多数网站都采用UTF-8编码
4、字符串解析常用函数

在这里插入图片描述

s = ' abcddbcaba '
s.strip()#去除首尾的空格、换行
s.strip('  ab')#'cddbc'
s.replace('a','A',2)#' AbcddbcAba '
s.split('d')#[' abc', '', 'bcaba ']  在字符转中有两个’d’，所以切了两刀，中间出现空字符串
s.split('d')[0]#' abc'   用split将字符串分隔，以’d’进行分隔，并只取切分后的第一段内容
#应用：
'苍天大树。'in r.text#true
raw_string=r.text.split('苍天大树。')[1].split('</span></p><div class="img-container">')[0]
5.Xpath的使用（数据解析）

在这里插入图片描述
（1）解析Xpath路径

import requests#导入requests
from lxml import etree#导入lxml

url='http://quotes.toscrape.com/'

r = requests.get(url)#使用get方法请求数据

r.status_code#或r ,获得包含网页信息的响应数据

data=etree.HTML(r.text)

#加[0]是为了直接获取中间的内容
word=data.xpath('/html/body/div/div[2]/div[1]/div[1]/span[1]/text()')[0]#利用Xpath来获取想要的网页内容
#结果：word  Out[6]: '“The world as we have created it is a process of our thinking. It cannot be changed without changing our thinking.”'
#可以一层一层的去找我们需要获取的内容，->div[1]->div[1]->span[1]->text() 最后使用text()方法将这个标签下的内容提取

（2）利用@获取属性标签里的内容
在这里插入图片描述

#使用了@itemtype来获取了属性标签itemtype里的内容
data.xpath('/html/body/div/div[2]/div[1]/div[1]/@itemtype')[0]
#Out[8]: 'http://schema.org/CreativeWork'

（3）利用// 取所有子元素

data.xpath('//div[@class="quote"]/@itemtype')
#Out[9]: ['http://schema.org/CreativeWork','http://schema.org/CreativeWork'， 'http://schema.org/CreativeWork'， 'http://schema.org/CreativeWork', 'http://schema.org/CreativeWork', 'http://schema.org/CreativeWork', 'http://schema.org/CreativeWork', 'http://schema.org/CreativeWork', 'http://schema.org/CreativeWork', 'http://schema.org/CreativeWork']
data.xpath('//div[@class="quote"]/@itemtype')[0]#取第一个符合条件的

（4）获取当前网页内容

import requests#导入requests
from lxml import etree#导入lxml

url='http://quotes.toscrape.com/'

r = requests.get(url)#使用get方法请求数据

data=etree.HTML(r.text)

total=data.xpath('/html/body/div[1]/div[2]/div[1]/div')#利用Xpath来获取想要的网页内容

save_list=[]

for info in total:
    quote=info.xpath('./span[1]/text()')[0]
    author=info.xpath('./span[2]/small/text()')[0]
    tags=info.xpath('./div[1]/meta/@content')[0]
    print(quote,author,tags)
    temp=quote+','+author+','+tags
    save_list.append(temp)

（5）保存网页内容

s='学习让我充实！'
f=open('123.txt','w')#用open函数操作文件，第一个参数为文件名（与代码同路径可以直接写文件名，不同写路径如'd:\\123.txt'；f = open(r'd:\123.txt','r')如果文件不在当前文件夹下，需要添加路径，那么需要用到转义字符，在这里推荐在路径前加r），第二个参数为操作模式（见下图1）
f.write(s)#操作文件对象（见下图2）
f.close#有时候在写文件的时候会忘记加关闭操作会在内存中制造一些垃圾，在这里推荐直接用with open，程序会自动帮你关闭文件with open('123.txt','w') as f:
    #f.write(s)

图1
图2
（*6）Xpath的节点

<movie_rating> <!--1.文档节点，即根节点 -->
    <movie> <!--2.元素节点，属于<movie_rating>的子节点  -->
        <title lang="en">The Shawshank Redemption</title><!--3.lang="en" 为属性节点，<title>节点的属性  -->
        <!--4.The Shawshank Redemption 为文本节点  -->
        <director>Frank Darabont</director> 
        <year>1994</year><!--5.<title>/<director>/<year>元素节点  -->
    </movie>
</movie_rating>

参考: [https://www.icourse163.org/learn/kaopei-1207518810#/learn/announce]

夕阳下的奔跑517
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
7. Python-列表(List)
黄雄进的博客
12-16 810
列表(list) 定义：列表是容器型数据类型（序列）, 将[ ]作为容器的标志，多个元素用逗号隔开。 特点：可变的（指的列表中元素可变 -> 元素支持CRUD） ​ 有序的（支持下标操作） 声明列表：变量名 = [元素1, 元素2, 元素3,…] [ ] -> 空列表 列表中的元素类型：任何类型的数据都可以作为列表元素; 同一个列表中数据的类型可以不一样 获取列表中的元...
python 反转列表的两种方式
s_kangkang_A的博客
11-12 2819
一：使用reversed list_a = [1,2,3,4,5,6] list_b = list(reversed(list_a)) print(list_b) 说明：reversed返回的是迭代器，因此需要list才能变成列表 二：切片，从后取，步长为1 list_a = [1,2,3,4,5,6] list_b = list_a[::-1] print(list_b) ...
python列表操作详解_python 列表操作方法详解
weixin_39564368的博客
01-29 1779
python 列表操作方法详解一、总结一句话总结：列表增：b_list = ['a','b','c','d']列表删：del b_list[2]列表改：b_list[0] = 123列表查：print(b_list[1:3]) #['b', 'c']：遍历：for value in b_list1、列表中的+和*操作符的意思(列表对 + 和 * 的操作符与字符串相似)？+号：组合：[1, 2, 3...
Python学习笔记之列表
Python | Golang | C/C++
05-03 1354
什么是列表？ 列表是序列类型中的一种数据结构。使用中括号[]包裹的一系列数据元素的集合。 如何定义一个列表？ 一般形式： x = [] 或 y = [元素1，元素2，元素3,...] 或 z = [None] 或 m = list()  # 使用工厂函数list创建一个空列表 列表的特点： a、用[]包裹； b、元素间用逗号‘，’分隔； c、元素的类型可以是任意的数据类型（如：数值
python基础：list列表的增删改查
m0_51100426的博客
09-28 430
python基础：list列表一、访问列表中的值二、更新列表三、新增列表中的值 创建一个列表 list1 = ['physics', 'chemistry', 1997, 2000] list2 = [1, 2, 3, 4, 5 ] list3 = ["a", "b", "c", "d"] 一、访问列表中的值 #!/usr/bin/python list1 = [1, 2, 3, 4, 5, 6, 7 ,8] #获取列表中某一个值 print(list1[0]) #输出值：1
Python学习笔记——大数据之SPARK核心
01-27
【Python学习笔记——大数据之SPARK核心】 Spark作为大数据处理框架的核心在于其Resilient Distributed Datasets（RDD），这是一种弹性分布式数据集。RDD是Spark设计的基石，它将大量数据分布在多台机器上，可以...
Python学习笔记——大数据之Spark简介与环境搭建
02-24
Spark是Apache顶级项目里面最火的大数据处理的计算引擎，它目前是负责大数据计算的工作。包括离线计算或交互式查询、数据挖掘算法、流式计算以及图计算等。核心组件如下：SparkCore：包含Spark的基本功能；尤其是...
Python学习笔记7——数据清洗之多表合并
12-20
本篇笔记将主要讨论Python中如何进行多表的纵向和横向合并，以应对不同场景下的数据整合需求。 首先，我们要准备好工具包。在Python中，最常用的数据处理库是Pandas，它提供了丰富的数据结构和函数，方便我们进行...
#Python3中List列表
weixin_43097301的博客
10-02 1246
List列表 1.格式: 列表名 = [列表选项1，列表选项2，列表选项3……，列表选项n] **本质：**是一种有序的集合 list序列中的每个元素都分配一个数字 - 它的位置，或索引，第一个索引是0，第二个索引是1，依此类推。 创建一个列表，只要把逗号分隔的不同的数据项使用方括号括起来即可： #注意：列表中的元素数据可以是不同类型的 list = [1, 2, &quot;sunck&quot;, &quot;good&quot;,...
Python编写程序，给定列表[1,2,3,4,5,6,7,8,9,10]，先输出原列表，删除其中所有奇数之后再输出。(试使用优化方法列表推导式优化该问题)
sulleyla的博客
09-22 7173
代码实现 方法一（传统循环遍历法）： n=[1,2,3,4,5,6,7,8,9,10]#初始化列表 n#输出原列表 m=[]#定义一个空列表，用于添加满足条件的列表元素 for i in n:#删除原列表中的所有奇数 if i%2==0: m.append(i) m#返回新列表 方法二（列表推导式优化）： n=[1,2,3,4,5,6,7,8,9,10]#初始化列表 n#输出原列表 num=[i for i in n if i%2==0]#删除
Python中列表的常用方法
weixin_45717984的博客
03-26 1919
Python中列表的常用方法 列表在python中是用的最多的一种结构，由于python的变量没有数据类型，也就是说python是没有数组的，所以python加入了更加强大的列表。 一、列表的取值 用法：列表名[下标] (下标从0开始) list1 = [1,2,3,4,5,6,7,8,9] print(list1[2]) 二、列表的组合 用法：列表1+列表2 list1 = [1,2,3] li...
Python的列表和元组
weixin_49572264的博客
08-08 617
一、序列 1.序列的数学操作 a=(1,2,3,4,5) b=('a','b','c','d') print(sum(a)) #取a中数值元素的和 print(max(a)) #取a中数值元素的最大值 print(min(a)) #取a中数值元素的最小值 # 上述数学函数仅能对序列元素均为数值型的元素进行操作，当期元素为非数值型元素时，系统将产生TypeError错误。 2.序列的加法操作和乘法操作 a=(1,2,3,4,5) b=('a','b','c') print(a+
python入门（三）列表LIST
m0_46614636的博客
11-05 2450
列表的常用方法和实用技巧。
Python-列表
QIYUH_的博客
02-22 1772
列表 1，什么是列表 ①列表属于容器型数据类型，一个列表可以保存多个数据类型。 ②[]作为容器标志，里面的多个元素用逗号隔开。 2，列表的特点 ①列表是可变的（元素的个数，元素的值，元素的顺序可变）。 ②列表是有序的：每个元素都有位置对应的索引值（下标值）。 ③元素的要求：列表对元素没有要求，任何类型数据都可以放入列表，同一个列表可以保存不同数据类型。 list1 = [ ["", 123, 23.1, True, False], ["hahahhahahh"], [12, 12,
python怎样设置列表-Python 列表(List)操作方法详解
weixin_39638305的博客
11-11 675
参考文献来源于脚本之家列表是Python中最基本的数据结构，列表是最常用的Python数据类型，列表的数据项不需要具有相同的类型。列表中的每个元素都分配一个数字 - 它的位置，或索引，第一个索引是0，第二个索引是1，依此类推。Python有6个序列的内置类型，但最常见的是列表和元组。序列都可以进行的操作包括索引，切片，加，乘，检查成员。此外，Python已经内置确定序列的长度以及确定最大和最小的元...
python之列表[list]基础用法
m0_65472085的博客
03-09 6969
定义列表 list1 = [] # 定义空列表 list1 = list() # 定义空列表 list1 = [1,2,3,4,5,6,7] list2 = [3,“abc”,5,[6,7],(8,9),{“key1”:“value1”}] 读取列表中第2个值 print(list1[1]) 通过索引改变列表的值 list1[1]=“hello” print(list1) 删除列表中的元素 del list2[5] print(list2) 列表嵌套 list1 = [3,4,5] list2 = [7,8
Python列表的操作、列表中常用的方法以及列表的拷贝（day04）
weixin_43821576的博客
06-12 743
一、 列表 1.列表的定义：本质上是一个有序的集合 2.创建列表 list1 = [1,2,3] list2 = [] list3 = list() 二、列表的操作 1.列表的组合使用“+” list3 = list1 + list2 2.列表的重复 list2 = list1 * n 3.判断元素是否在列表中存在 元素 in 列表 若存在返回True，否则返回False。 4.列表访问 ...
day5-列表作业(2)
Tangcc_sayhi的博客
03-08 508
1.已知一个数字列表，求列表中心元素。 list1 = ['a', 'b', 'c', 'd', 'e', 'f', 'g'] num = len(list1) print(list1[int(num/2)]) 2.已知一个数字列表，求所有元素和。 num = [12, 23, 34, 44, 33, 34, 234] print(sum(num)) 3.已知一个数字列表，输出所有奇数下标元素。 nums = [1, 2, 4, 90, 55, 76, 88] for x in range(len(n
list - 列表方法 _ python3
weixin_30905133的博客
10-11 355
1. list.append(x) 把一个元素添加到列表的结尾，相当于a[len(a):] = [a] 例子： list = [1,2,3] print("list = ", list) # 把一个元素添加到列表的结尾 list.append(4) print("list.append(4) \n",list) # 等同于 list[len(list):]=[5] prin...
python note.doc
12-17
综上所述，Python学习的基础内容涵盖了语法、数据类型、控制语句、函数、模块、包、类与继承、字符编码以及数据读写等。掌握这些基础知识对于深入学习和应用Python是非常重要的。通过学习和实践，我们可以逐步提高...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值