![](https://img-blog.csdnimg.cn/d9af77e2663d4c9b9a766c92a1a33b37.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Data Analysis
数据分析相关
Koma_zhe
这个作者很懒,什么都没留下…
展开
-
【Python Re】正则匹配图片链接
需求:取网址的后半部分出来 例如:xxxx.jpgimport reimport requests#匹配俩种结尾的网址patten = "https://.*/(.+).jpg|https://.*/(.+).png"content = "https://www.kd13sale.com/wp-content/uploads/2021/09/89418ea6gy1grtpm8bcdhj20ku194wu9.jpeg"c = "https://static01.nyt.com/images/20原创 2021-11-14 22:51:31 · 1616 阅读 · 0 评论 -
【爬虫错误】ValueError: check_hostname requires server_hostname以及InsecureRequestWarning: Unverified HTTPS.
需求:挂梯子后出现,爬虫开代理以后,访问https报错信息报 hostname xxxx的错误,requests不到链接。我的解决方法:1.设置环境变量2.可能需要重启电脑后,程序会报错requests 警告:InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verif解决方法:在requests前加上requests.packages.urllib3.disable_warn原创 2021-11-14 23:01:43 · 2752 阅读 · 4 评论 -
【爬虫】Python爬虫下载外网图片
需求:读Excel中第一列作为文件夹名,第二列开始都是图片链接,图片链接可以有多条,每一行可以图片链接数不一,把每一行的图片下载到指定文件夹中。test.xlsx例如:import pandas as pdimport requestsimport numpy as npimport reimport osimport time# 读取Excel中Sheet1中的数据data = pd.DataFrame(pd.read_excel('test.xlsx', 'Sheet1'))#原创 2021-11-14 23:10:00 · 1615 阅读 · 1 评论 -
【DataHub】LinkedIn DataHub学习笔记
随着数字化转型的工作推进,数据治理的工作已经被越来越多的公司提上了日程。作为新一代的元数据管理平台, Datahub在近一年的时间里发展迅猛,大有取代老牌元数据管理工具Atlas之势。在大数据研发中,原始数据就有着非常多的数据库,数据表。而经过数据的聚合以后,又会有很多的维度表。我们缺乏对数据资产的管理。事实上,有很多公司都提供了开源的解决方案来解决上述问题,这也就是数据发现与元数据管理工具。元数据一般来说是数据的数据。具体来说,就是对动态数据的一种静态信息描述。元数据管理是为了对数据资产进行有效的组织。它原创 2022-06-22 15:39:54 · 2555 阅读 · 11 评论 -
【NumPy】从文件读取,保存和导入文件
【代码】【NumPy】从文件读取,保存和导入文件。原创 2022-09-28 16:13:01 · 687 阅读 · 0 评论 -
【Jupyter notebook】修改JupyterNotebook工作目录与Jupyter常用快捷键
修改JupyterNotebook工作目录保证已经安装完,修改工作目录:jupyter notebook --generate-config系统显示:使用记事本,打开配置文件,并修改文件路径:去掉行前#,修改dir = C:\work\xxxx,打开jupyter notebook,显示更改后的路径,查找文件比较方便Jupyter常用快捷键Shift+Enter : 运行本单元,选中下个单元Ctrl+Enter : 运行本单元Alt+Enter : 运行本单元,在其下插入新单元原创 2022-05-24 10:59:59 · 234 阅读 · 0 评论 -
【Matplotlib】饼图、柱状图、散点图以及三维模型实例
Matplotlib饼图示例import matplotlib.pyplot as plt# 构造数据edu = [0.2515, 0.3724, 0.3336, 0.0368, 0.0057]labels = ['中专', '大专', '本科', '硕士', '其他']#设置字体为楷体plt.rcParams['font.sans-serif'] = ['KaiTi']# 绘制饼图plt.pie(x=edu, # 绘图数据 labels=labels, # 添加教育原创 2022-05-05 16:06:07 · 723 阅读 · 0 评论 -
【Python】Python提取word表格,并保存在excel中
需求:提取word的表格,并保存在excel中pip install python-docxTest.docx:from docx import Documentfrom openpyxl import Workbookfrom docx.shared import Cm #Cm模块,用于设定图片尺寸大小#word中文档成为Document,每段内容称为Paragraph,每个段中不同部分称为Run(颜色、字体、粗细、斜体等不同就是不同的文字块)doc = Document(r"Te.原创 2021-12-29 21:12:49 · 3406 阅读 · 0 评论 -
【Python】Python操作excel
python 使用 openpyxl 操作 excel转载自好帖:python自动化办公——python操作Excel、Word、PDF集合大全from openpyxl import load_workbookfrom openpyxl.utils import FORMULAEworkbook = load_workbook(filename="股吧上证指数模拟.xlsx")#获取Sheet列表名称,例 ['Sheet1']print(workbook.sheetnames)#通过.原创 2021-12-29 20:03:58 · 3239 阅读 · 3 评论 -
【DTale】数据分析强大工具DTale的使用
简单介绍:使用dtale:启动、数据加载功能介绍:主菜单选项:0. 切换语言1. 创建列2. 汇总数据3. 缺失率分析4. 绘图5. 高亮功能6. 代码导出、数据导出列菜单功能:1. 冻结2.隐藏和删除3. 替换和类型转换4. 描述性统计5. 过滤6. 方差报告7. 文本清洗简单介绍:dtale官方api:https://pypi.org/project/dtale/dtale是pandas的GUI工具,提供数据的所有详细信息,是一个强大的数据可视化数据分析工具。使用dtale:启动、数据.原创 2022-01-20 15:35:05 · 9195 阅读 · 8 评论 -
【Excel&Python】Python Excel取部分列生成TxT文件
涉及pandas和文件IO和正则Re:手动在项目路径下新建“下载21.11.12纽约时报-时间正文的文章”文件夹import pandas as pdimport redata = pd.DataFrame(pd.read_excel('纽约时报.xlsx', 'Sheet1'))#print(data)# 查看读取数据内容# print(data.values[0:, 0])#取第一列# print(data.values[0:,1])#取第2列# #print(data.iloc[0原创 2021-11-14 22:47:18 · 1958 阅读 · 0 评论 -
【Matplotlib】解决中文乱码、设置图例位置、使用子图
解决中文乱码import matplotlib.pyplot as pltx = ['北京', '上海', '深圳', '广州']y = [60000, 58000, 50000, 52000]plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签plt.rcParams['axes.unicode_minus']=False #用来正常显示负号plt.plot(x, y)plt.show()设置图例位置import ma原创 2022-04-30 10:23:08 · 808 阅读 · 0 评论