2024年大数据最全干货合集│最好用的 python 库都在这_机器学习中tpdm什么意思(3)，最新大数据开发面试题整理

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

    # 最大号字体
    max_font_size=2000
).generate(cut_word)

word_cloud.to_file('word\_cloud.jpg')
im = word_cloud.to_image()
im.show()

#### 三、可视化进度条 - tpdm


* 好看的进度条，不仅会让人一眼就知道**任务的进度**，还能够让自己的心情愉悦

from time import sleep
from tqdm import tqdm

这里同样的，tqdm就是这个进度条最常用的一个方法

里面存一个可迭代对象

for i in tqdm(range(1, 500)):

模拟你的任务

sleep(0.01)
sleep(0.5)

#### 四、优美的表格 - PrettyTable


* 可以让你在命令行打印出优美的表格

import prettytable as pt

按行添加数据

tb = pt.PrettyTable()
tb.field_names = [‘name’, ‘age’, ‘height’, ‘weight’]
tb.add_row([‘亮仔’, 25, 174, 65])
tb.add_row([‘程序员’, 23, 164, 55])
tb.add_row([‘程序员亮仔’, 27, 184, 69.5])

print(tb)

±----------±----±-------±-------+

| name | age | height | weight |

±----------±----±-------±-------+

| 亮仔 | 25 | 174 | 65 |

| 程序员 | 23 | 164 | 55 |

| 程序员亮仔 | 27 | 184 | 69.5 |

±----------±----±-------±-------+

#### 五、多进程 - multiprocessing


* 创建多进程

from multiprocessing import Process

def func(s):
print(s)

if name == ‘__main__’:
process = [
Process(target=func, args=(‘1’, ))
Process(target=func, args=(‘2’, ))
]

[p.start() for p in process]
[p.join() for p in process]

#### 六、多线程 - threading


* 创建多线程

import threading

def func(s):
print(s)

if name == ‘__main__’:
thread = [
threading.Thread(target=func, args=(‘1’, ))
threading.Thread(target=func, args=(‘2’, ))
]

[t.start() for t in thread]
[t.join() for t in thread]

#### 七、谷歌翻译 - googletrans


* 自动语言检测，批量翻译，语言检测等

from googletrans import Translator

translator = Translator()

未提供源语言以及翻译的最终语言,会自动翻译成英文

translator.translate(‘안녕하세요.’)

告诉它翻译成什么语言

translator.translate(‘안녕하세요.’, dest=‘ja’)

告诉它源语言是什么

translator.translate(‘程序员亮仔’, src=‘zh-cn’)

语言检测

t = ttranslator.detect(‘이 문장은 한글로 쓰여졌습니다.’)
t.lang

#### 八、重复回调 - retrying


* 如果请求失败，我们需要再重新进行进行请求，防止请求异常导致数据缺失

from retrying import retry

@retry(stop_max_attempt_number=5)
def say():
try:
cxyliangzai
except Exception as e:
# 可以将错误记录日志
print(e)
raise

say()

#### 九、游戏开发 - pygame


* 实现 python 游戏的开发，可以开发各种大小型游戏

import pygame, sys
from pygame.locals import *

初始化pygame

pygame.init()

设置窗口的大小，单位为像素

screen = pygame.display.set_mode((500,400), 0, 32)

设置窗口的标题

pygame.display.set_caption(‘用户事件监控’)

设置背景

screen.fill((255, 255, 255))

程序主循环

while True:

获取事件

for event in pygame.event.get():
# 判断事件是否为退出事件
if event.type == QUIT:
# 退出pygame
pygame.quit()
# 退出系统
sys.exit()

# 获得键盘按下的事件 
if event.type == KEYDOWN:
  if(event.key==K_UP or event.key==K_w):
    print("上")
  if(event.key==K_DOWN or event.key==K_s):
    print("下")
  if(event.key==K_LEFT or event.key==K_a):
    print("左")
  if(event.key==K_RIGHT or event.key==K_d):
    print("右")
  # 按下键盘的Esc键退出
  if(event.key==K_ESCAPE):
    # 退出pygame
    pygame.quit()
    # 退出系统
    sys.exit()

# 获得鼠标当前的位置 
if event.type ==MOUSEMOTION:
  print(event.pos)

# 获得鼠标按下的位置
if event.type ==MOUSEBUTTONDOWN:
  print("鼠标按下：", event.pos)

# 获得鼠标抬起的位置
if event.type ==MOUSEBUTTONUP:
  print("鼠标抬起：", event.pos) 

绘制屏幕内容

pygame.display.update()

#### 十、绘图教程 - turtle


* 可以画出各种各样奇妙的图案，简直就是程序中的画板

from turtle import *

colors = [‘red’, ‘purple’, ‘blue’, ‘green’, ‘yellow’, ‘orange’]
for x in range(360):
pencolor(colors[x % 6])
width(x / 100 + 1)
forward(x)
left(59)

#### 十一、数据分析 - pandas


* 数据分析处理库，为解决数据分析任务而创建的，能够快速便捷地处理数据的函数和方法

import pandas as pd

info = pd.read_csv(“students.csv”, encoding = “utf-8”)

查看数据框的一些属性：最大、最小、均值、四分位数等

info.describe()

空值相关的操作

pin = info[“pin”]
pin_isnull = pd.isnull(pin)
pin_isnull_list = info[pin_isnull]
len(pin_isnull_list)

缺失值相关操作, 简单的处理办法就是过滤掉null值

books = info[“life_cycle_books”]
book_isnull = pd.isnull(books)
book_list_isnull = info[“life_cycle_books”][book_isnull == False]
mean = sum(book_list_isnull) / len(book_list_isnull)

删除缺失值, 所有行

na_info = info.dropna(axis = 1)

删除缺失值, 可以指定列

na_info = info.dropna(axis = 0, subset = [“age”, “name”])

#### 十二、算法加密 - pycryto


* pycryto 能实现大致 3 种类型的数据加密（单向加密、对称加密 和非对称加密），产生随机数，生成密钥对，数字签名

from Crypto.Hash import SHA256

hash = SHA256.new()
hash.update(‘Hello, World!’)

使用digest()方法加密

digest = hash.digest()

使用hexdigest（）方法加密，该方法加密后是16进制的

hexdigest = hash.hexdigest()

print(digest, hexdigest)

#### 十三、操作 win 电脑 - pywin32


* pywin32 包装了 Windows 系统的 Win32 API，能创建和使用 COM 对象和图形窗口界面

import win32api
import win32con

hid = win32gui.WindowFromPoint((100, 100))

获取窗口标题

title = win32gui.GetWindowText(hid)

获取窗口类名

class_name = win32gui.GetClassName(hid)

模拟鼠标在(400, 500)位置进行点击操作

point = (400, 500)
win32api.SetCursorPos(point)
win32api.mouse_event(win32con.MOUSEEVENTF_LEFTDOWN, 0, 0)
win32api.mouse_event(win32con.MOUSEEVENTF_LEFTUP, 0, 0)

#### 十四、自动程序测试 - Selenium


* Selenium 是一个用于 Web 应用程序测试的工具。Selenium 测试直接运行在浏览器中，就像真正的用户在操作一样

from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

初始化谷歌浏览器

driver = webdriver.Chrome()

最大化窗口

driver.maximize_window()

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

.maximize_window()

[外链图片转存中…(img-RK3LeeR0-1714872935937)]
[外链图片转存中…(img-znIFxo7I-1714872935937)]
[外链图片转存中…(img-oswAR7na-1714872935937)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取