先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip204888 (备注大数据)
正文
代码一
for name in favorite.keys():
代码二
for name in favorite:
代码一和代码二表示的意思相同,name都代表字典中的键,只是代码一表达更清楚一些
此外,可以通过 sorted( ) 来获得特定顺序排列的键列表的副本
for name in sorted(favorite.keys( )):
③ 遍历所有的值
for language in favorite.values():
language代表字典中的值
此外,通过对包含重复元素的列表调用set( ),可让Python找出列表中独一无二的元素
for language in set(favorite.values()):
【原输出】
Python
C
Python
【新输出】
Python
C
注意:可以使用一对花括号直接创建集合,并在其中用逗号分隔元素,并且集合不会以特定的顺序存储元素
【输入】
languages = {'python','ruby','python','c'}
print(languages)
【输出】
{'ruby','python','c}
- 嵌套
① 在列表中存储字典
aliens = []
for alien_number in range(30):
new_alien ={'color':'green','points': 5}
aliens.append(new_alien)
② 在字典中存储列表
pizza = {
'crust':'thick',
'toppings':['mushrooms','extra cheese'],
}
③ 在字典中存储字典
users = {
'aeinstein':{
'first':'albert',
'last':'einstein',
'location':'princeton',
},
'mcurie':{
'first':'marie',
'last':'curie',
'location':'paris',
},
}
第6章 用户输入和while循环
- 函数input( ) 的工作原理
message = input('Tell me something,and i will repeat it back to you:')
print(message)
用input( )获得的值是由字符串表示,如果想将输入转化为数值的话要用到int( )函数
height = int(height)
- 求模运算符 (%)
>>> 4 % 3
1
>>> 5 % 3
2
- 使用break退出循环
要立即退出循环,不再运行循环中余下的代码,也不管条件测试的结果如何,可使用break语句
4. 在循环中使用continue
使用后会返回循环开头,并跳过continue之后的代码
第7章 函数
- 定义函数
【输入】
def greet\_user(username):
print(f"Hello,{username.title()}!")
greet_user('jesse')
【输出】
Hello,Jesse!
其中username是一个形参,'jesse’是一个实参
2. 传递实参
【代码一】
def describe\_pet(animal_type,pet_name):
【代码二】
def describe\_pet(pet_name,animal_type='dog')
代码一为正常的函数定义,代码二则给形参使用了默认值
但是要注意的是,如果使用默认值且调用时只有一个实参时,默认值顺序需往后放
【代码三】
describe_pet('hamster','harry')
【代码四】
describe_prt(animal_type='hamster',pet_name='harry')
代码三的实参是位置实参,代码四的实参是关键字实参(不用按照参数顺序来)
3. 返回值
def name(first_name,last_name):
full_name = f"{first\_name} {last\_name}"
return full_name.title()
musician = name('jimi','hendrix')
print(musician)
- 传递任意数量的实参
【代码一】
def make\_pizza(\*toppings):
print(toppings)
make_pizza('mushrooms','green peppers','extra cheese')
>>> ('mushrooms','green peppers','extra cheese')
形参名*toppings
中的星号(*)是创建了一个名为toppings的空元组,并将收到的所有值都分装到这个元组中
经常会看到通用形参名*args,它也收集任意数量的位置形参
【代码二】
def build\_profile(first,last,\*\*user_info):
user_info['first\_name'] = first
user_info['last\_name'] = last
return user_info
user_profile = build_profile('albert','einstein',
location='princeton',
field='physics')
print(user_profile)
>>> {'location':'princeton','field':'physics',
'first\_name':'albert','last\_name':'einstein'}
形参**user_info
中的两个星号(**)创建了一个名为user_info的空字典,并将收到的所有名称值对都放到这个字典中;其中(location='princeton',field='physics'
)表示关键字实参
*经常会看到形参名*kwargs,它用于收集任意数量的关键字实参
5. 将函数存储在模块中
① 导入整个模块
加入已经有写好的程序pizza.py,那么可以通过import来调动这个程序:
import pizza
当完成上面的步骤即读取程序成功后,调用其中的函数需按以下语法:
>>> module_name.function_name( )
② 导入特定函数
可以导入模块中的特定函数:
>>> from module_name import function_name
>>> from module_name import function_0,function_1,function_2
导入后想调用这些函数就不用加上前面的模块名了
>>> make_pizza(16,'mushrooms')
③ 导入模块中的所有函数
>>> from module_name import \*
from pizza import \*
make_pizza(16,'pepperoni')
这个星号就是将模块pizza中的所有函数都复制到这个程序文件中
这种方法使用需谨慎,如果模块中有函数的名称与当前项目中使用的名称相同,Python会覆盖函数,而不是分别导入所有函数
6. 使用as
① 给函数指定别名
from pizza import make_pizza as mp
mp(16,'pepperoni')
② 给模块指定别名
import pizza as p
p.make_pizza(16,'pepperoni')
第8章 类
- 创建类
class Dog:
def \_\_inti\_\_(self,name,age):
self.name = name
self.age = age
self.fur_colour = white #默认值
def sit(self):
print(f"{self.name} is now sitting.")
def roll\_over(self):
print(f"{self.name} rolled over!")
def paw\_colour(self,colour):
self.paw_colour = colour
dog = Dog(jess,4)
dog.fur_colour = brown #直接修改属性
dog.paw_colour(black) #通过方法修改属性的值
首字母大写的名称指的是类
在方法__init__( )中,形参self必不可少,而且必须位于其它形参前面;上面的name和age我们可以仅仅当做两个没有名字的值,然后我们需要创建一个变量即self.name和self.age去把它们装进去
2. 使用类
class Dog:
--snip--
my_dog = Dog('Willie',6)
#调用属性
print(f"My dog's name is {my\_dog.name}.")
print(f"My dog is {my\_dog.age} years old.")
#调用方法
my_dog.sit()
my_dog.roll_over()
- 继承
class Car:
--snip--
class Battery:
def \_\_init\_\_(self,battery_size=75):
self.battery_size = battery_size
def describe\_battery(self):
print(f"This car has a {self.battery\_size}-kWh battery.")
class ElectricCar(Car): #ElectricCar这个类继承了Car类的所有内容
def \_\_init\_\_(self,make,model,year):
super().__init__(make,model,year) #super()函数可以调用父类的方法
self.battery = Battery()
my_tesla = ElectricCar('tesla','model s','2019)
my_tesla.battery.describe_battery() #在类ElectricCar中调用了另一个类Bttery的方法
- 导入类
① 导入单个类
已知文件car.py,从此文件中向另一个文件导入Car类:
from car import Car
② 从一个模块中导入多个类
from car import Car,ElectricCar
③ 导入整个模块
import car
④ 导入模块中的所有类
>>> from module_name import \*
⑤使用别名
from electric_car import ElectricCar as EC
my_tesla = EC('tesla','roadster','2009)
- Python标准库
① 函数randint()
>>> from random import randint
>>> randint(1,6)
3
函数会生成一个位于1和6之间的随机整数
② 函数choice()
>>> from random import choice
>>> players = ['chaeles','martina','michael','florence','eli']
>>> first_up = choice(players)
>>> first_up
'florence'
函数会随即返回其中的一个元素
第9章 文件和异常
- 从文件中读取数据
(1)读取整个文件
[文件pi_digits.txt]
3.1415926535
8979323856
2643383279
下面程序打开并读取这个文件:
>>> with open('pi_digits.txt) as file_object:
>>> contents = file_object.read()
>>> print(contents.rstrip()) #rstrip()用于消除原始结果后会空出的一行
3.1415926535
8979323856
2643383279
(2)文件路径
① 相对路径
由于文件夹text_files位于文件夹python_work中,可以使用相对文件路径来打开其中的文件
with open('text\_files/filename.txt') as file_object:
这行代码让Python到文件夹python_work下的文件夹text.files中去查找指定的 .txt文件
注意:显示文件路径时,代码中可以使用斜杠(/)
② 绝对路径
如果文件不在python_work中,则可以使用绝对路径进行查找
file_path = '/home/ehmatthes/other\_files/text\_files/filename.txt'
with open(file_path) as file_object:
此代码提供了完整的路径
(3)逐行读取
>>> filename = 'pi\_digits.txt'
>>> with open(filename) as file_object:
>>> for line in file_object:
>>> print(line.rstrip()) #rstrip()可以消除原始结果每行后的空白行
3.1415926535
8979323856
2643383279
(4)创建一个包含文件各行内容的列表
>>> filename = 'pi\_digits.txt'
>>> with open(filename) as file_object:
>>> lines = file_object.realines()
>>> pi_string = ''
>>> for line in lines:
>>> pi_string += line.strip() #strip()可以消除原始结果每行的前后空白
>>> print(pi_string)
3.141592653589793238562643383279
- 写入文件
>>> filename = 'programming.txt'
>>> with open(filename,'w') as file_object:
>>> file_object.write("I love programming.\n")
>>> file_object.write("I love creating new games.\n")
I love programming.
I love creating new games.
调用open( )时提供两个实参,第一个是要打开的文件的名称,第二个则是告诉Python进行的模式,可指定读取模式(‘r’)、写入模式(‘w’)、附加模式(‘a’)或读写模式(‘r+’)。如果省略了模式实参,Python将以默认的只读模式打开文件
注意:Python只能将字符串写入文本文件,如果要将数值数据存储到文本文件中,必须先使用函数str( )将其转换为字符串格式
写入模式会再返回文件对象前清空该文件的内容,如果想在文件后直接添加内容而不是覆盖原有的内容,可以以附加模式打开文件
3. 异常
(1)处理ZeroDivisionError异常
① 使用try-except代码块
try:
print(5/0)
except ZeroDivisionError:
print("You can't divide by zero!")
② 使用else代码块
代码块
print("Give me two numbers,and I'll divide them.")
print("Enter 'q' to quit.")
while True:
first_number = input("\nFirst number: ")
if first_number == 'q':
break
second_number = input("Second number: ")
if second_number == 'q':
break
try:
answer = int(first_number) / int(second_number)
except ZeroDivisionError:
print("You can't divide by 0!")
else:
print(answer)
(2)处理FileNotFoundError异常
读取一个不存在的文件:
filename = 'alice.txt'
try:
with open(filename,encoding='utf-8') as f:
contents = f.read()
except FileNotFoundError:
print(f"Sorry,the file {filename} does not exist.")
(3)分析文本
这里将使用方法split( ),这里以空格为分隔符将字符串分拆成多个部分,并将这些部分都存储到一个列表中
>>> title = "Alice in Wonderland"
>>> title.split()
['Alice','in','Wonderland']
下面将分析多本书
def count\_words(filename):
try:
with open(filename,encoding='utf-8') as f:
contents = f.read()
except FileNotFoundError:
print(f"Sorry,the file {filename} dose not exist.")
else:
words = contents.split()
num_word = len(words)
print(f"The file {filename} has about {num\_words} words.")
filnames = ['alice.txt','siddhartha.txt','moby\_dick.txt','little\_women.txt']
for filename in filenames:
count_words(filename)
(4)静默失败
def count\_words(filename):
try:
--snip--
except FileNotFoundError:
pass
else:
--snip--
pass语句将什么都不会发生,没有traceback,也没有任何输出
4. 存储数据
(1)使用json.dump( )和json.load( )
① json.dump( )
import json
numbers = [2,3,5,7,11,13]
filename = 'numbers.json'
with open(filename,'w') as f:
json.dump(numbers,f)
以上将numbers列表存储于numbers.json文件中
② json.load( )
import json
filename = 'numbers.json'
with open(filename) as f:
numbers=json.load(f)
print(numbers)
以上将numbers.json中的数据读取出来
(2)保存和读取用户生成的数据
import json
try:
with open(filename) as f:
usename = json.load(f)
except FileNotFoundError:
username = input("What is your name?")
with open(filename,'w') as f:
json.dump(username,f)
**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
**需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)**
![img](https://img-blog.csdnimg.cn/img_convert/864676d973885e0f829a8fab7a1815fc.png)
**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**
import json
filename = ‘numbers.json’
with open(filename) as f:
numbers=json.load(f)
print(numbers)
以上将numbers.json中的数据读取出来
(2)保存和读取用户生成的数据
import json
try:
with open(filename) as f:
usename = json.load(f)
except FileNotFoundError:
username = input(“What is your name?”)
with open(filename,‘w’) as f:
json.dump(username,f)
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)
[外链图片转存中…(img-xMJgFvoq-1713349870203)]
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!