Koma_zhe的学习笔记

【Python】Python和PyPy的区别、字符串的大小写转换函数、eval()函数

随着数字化转型的工作推进，数据治理的工作已经被越来越多的公司提上了日程。作为新一代的元数据管理平台， Datahub在近一年的时间里发展迅猛，大有取代老牌元数据管理工具Atlas之势。在大数据研发中，原始数据就有着非常多的数据库，数据表。而经过数据的聚合以后，又会有很多的维度表。我们缺乏对数据资产的管理。事实上，有很多公司都提供了开源的解决方案来解决上述问题，这也就是数据发现与元数据管理工具。元数据一般来说是数据的数据。具体来说，就是对动态数据的一种静态信息描述。元数据管理是为了对数据资产进行有效的组织。它

Java程序调用py脚本命令行带参数执行

python面向对象笔记

【代码】【NumPy】从文件读取，保存和导入文件。

二者区别在与处理的数据类型不一样：如下二例：.weekday()：pythonimport pandas as pdfrom pandas import to_datetimeli="2020/04/26 22:11:20"df_dt = to_datetime(li, format="%Y/%m/%d %H:%M:%S")print(df_dt)y=df_dt.years=df_dt.secondm=df_dt.minuteh=df_dt.hourd=df_dt.dayM=df_

修改JupyterNotebook工作目录保证已经安装完，修改工作目录：jupyter notebook --generate-config系统显示：使用记事本，打开配置文件，并修改文件路径：去掉行前#，修改dir = C:\work\xxxx，打开jupyter notebook，显示更改后的路径，查找文件比较方便Jupyter常用快捷键Shift+Enter : 运行本单元，选中下个单元Ctrl+Enter : 运行本单元Alt+Enter : 运行本单元，在其下插入新单元

Matplotlib饼图示例import matplotlib.pyplot as plt# 构造数据edu = [0.2515, 0.3724, 0.3336, 0.0368, 0.0057]labels = ['中专', '大专', '本科', '硕士', '其他']#设置字体为楷体plt.rcParams['font.sans-serif'] = ['KaiTi']# 绘制饼图plt.pie(x=edu, # 绘图数据 labels=labels, # 添加教育

解决中文乱码import matplotlib.pyplot as pltx = ['北京', '上海', '深圳', '广州']y = [60000, 58000, 50000, 52000]plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签plt.rcParams['axes.unicode_minus']=False #用来正常显示负号plt.plot(x, y)plt.show()设置图例位置import ma

列表解析式# 都变成大写fruit = ["apple", 'orange', "banana", "balabala"]fruit = [x.upper() for x in fruit]print(fruit)# 挑选出以b开头的b = []for x in fruit: if x.startswith("B"): b.append(x)print(b)b = [x.lower() for x in fruit if x.startswith("B")]p

yield语法# 原始斐波那契数列def fibonacci(n): a = 0 b = 1 nums = [] for i in range(n): nums.append(a) a, b = b, a + b return numsprint(fibonacci(12))#yield 的作用就是把一个函数变成一个 generator，带有 yield 的函数不再是一个普通函数，# Python 解释器会将其视为一个

# enumerate可以加索引fruit = ["apple", 'orange', "banana", "watermelon","pomelo","pear","guava"]#for x in enumerate(fruit): #(0, 'apple')# print(x) #<class 'tuple'>for i, x in enumerate(fruit): print(i, x)print("-------------")#反方向输

采用函数式编程，减少for循环的编写直接贴代码：Map：# Map会将⼀个函数映射到⼀个输⼊列表的所有元素上 map(function_to_apply, list_of_inputs)items = [1, 2, 3, 4, 5]squared = []for i in items: squared.append(i ** 2)print(squared)squared2 = list(map(lambda x: x ** 2, items))print(squared2)

迭代器 (iterators) ：迭代器是⼀个让程序员可以遍历⼀个容器（特别是列表） 的对象。 然⽽， ⼀个迭代器在遍历并读取⼀个容器的数据元素时， 并不会执⾏⼀个迭代。换句话说这⾥有三个部分：可迭代对象 (Iterable)：可迭代对象 (Iterable) 是Python中任意的对象， 只要它定义了可以返回⼀个迭代器的 iter ⽅法， 或者定义了可以⽀持下标索引的 getitem ⽅法， 那么它就是⼀个可迭代对象。 简单说，可迭代对象就是能提供迭代器的任意对象。迭代器 (Iterator

直接上代码# coding=utf-8#传不定长的参数def test_var_args(f_arg, *argv): print("first normal arg:", f_arg) print(len(argv)) print(type(argv)) print(argv) for arg in argv: print("another arg through *argv:", arg)#传不定长度的键值对def greet_me(

'''题目：输入某年某月某日，判断这一天是这一年的第几天？1.程序分析：以3月5日为例，应该先把前两个月的加起来，然后再加上5天即本年的第几天，特殊　　　　　　情况，闰年且输入月份大于3时需考虑多加一天。'''year = int(input('year:\n'))month = int(input('month:\n'))day = int(input('day:\n'))months = (0,31,59,90,120,151,181,212,243,273,304,334)#计算满

Zip()函数：#参数说明：iterabl – 一个或多个迭代器;zip([iterable, …])zip()是Python的一个内建函数，它接受一系列可迭代的对象作为参数，将对象中对应的元素打包成一个个 tuple（元组），然后返回由这些tuples组成的list（列表）。若传入参数的长度不等，则返回list的长度和参数中长度最短的对象相同。利用*号操作符，可以将list unzip（解压）。（在 Python 3.x 中为了减少内存，zip() 返回的是一个对象。如需展示列表，需手动 lis

问题描述安装python提示：缺少api-ms-win-crt-runtime-l1-1-0.dll动态库解决方案查看你的电脑是64位还是32位的windows系统Windows10系统（此电脑）-> 右键 -> 属性 -> 找到系统类型 如果64位说明是64位操作系统 否则32位操 作系统安装对应的vc_redist.x86.exe或者vc_redist.x64.exe...

简单介绍：使用dtale:启动、数据加载功能介绍：主菜单选项:0. 切换语言1. 创建列2. 汇总数据3. 缺失率分析4. 绘图5. 高亮功能6. 代码导出、数据导出列菜单功能：1. 冻结2.隐藏和删除3. 替换和类型转换4. 描述性统计5. 过滤6. 方差报告7. 文本清洗简单介绍：dtale官方api：https://pypi.org/project/dtale/dtale是pandas的GUI工具，提供数据的所有详细信息，是一个强大的数据可视化数据分析工具。使用dtale:启动、数据.

需求：提取word的表格，并保存在excel中pip install python-docxTest.docx：from docx import Documentfrom openpyxl import Workbookfrom docx.shared import Cm #Cm模块，用于设定图片尺寸大小#word中文档成为Document，每段内容称为Paragraph，每个段中不同部分称为Run（颜色、字体、粗细、斜体等不同就是不同的文字块）doc = Document(r"Te.

python 使用 openpyxl 操作 excel转载自好帖：python自动化办公——python操作Excel、Word、PDF集合大全from openpyxl import load_workbookfrom openpyxl.utils import FORMULAEworkbook = load_workbook(filename="股吧上证指数模拟.xlsx")#获取Sheet列表名称，例 ['Sheet1']print(workbook.sheetnames)#通过.

需求：读Excel中第一列作为文件夹名，第二列开始都是图片链接，图片链接可以有多条，每一行可以图片链接数不一，把每一行的图片下载到指定文件夹中。test.xlsx例如：import pandas as pdimport requestsimport numpy as npimport reimport osimport time# 读取Excel中Sheet1中的数据data = pd.DataFrame(pd.read_excel('test.xlsx', 'Sheet1'))#

需求：挂梯子后出现，爬虫开代理以后，访问https报错信息报 hostname xxxx的错误，requests不到链接。我的解决方法：1.设置环境变量2.可能需要重启电脑后，程序会报错requests 警告：InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verif解决方法：在requests前加上requests.packages.urllib3.disable_warn

需求：取网址的后半部分出来 例如：xxxx.jpgimport reimport requests#匹配俩种结尾的网址patten = "https://.*/(.+).jpg|https://.*/(.+).png"content = "https://www.kd13sale.com/wp-content/uploads/2021/09/89418ea6gy1grtpm8bcdhj20ku194wu9.jpeg"c = "https://static01.nyt.com/images/20

涉及pandas和文件IO和正则Re:手动在项目路径下新建“下载21.11.12纽约时报-时间正文的文章”文件夹import pandas as pdimport redata = pd.DataFrame(pd.read_excel('纽约时报.xlsx', 'Sheet1'))#print(data)# 查看读取数据内容# print(data.values[0:, 0])#取第一列# print(data.values[0:,1])#取第2列# #print(data.iloc[0