数据分析
文章平均质量分 67
qfxietian
这个作者很懒,什么都没留下…
展开
-
三行Python代码轻松提取PDF表格数据
从 PDF 表格中获取数据是一项痛苦的工作。不久前,一位开发者提供了一个名为 Camelot 的工具,使用三行代码就能从 PDF 文件中提取表格数据。PDF 文件是一种非常常用的文件格式,通常用于正式的电子版文件。它能够很好的将不同的排版格式固定下来,形成版面清晰且美观的展示效果。然而,对于想要从 PDF 中提取信息的人们来说,PDF 是个噩梦,尤其是表格。大量的学术报告、论文、分析文章都使用 PDF 展示其中的表格数据,但是对于如果想要直接从表格中复制数据则会非常麻烦。不久前,有一位开发者提供了一原创 2022-05-10 17:13:22 · 303 阅读 · 0 评论 -
十大经典排序算法Python版实现(附动图演示)
排序算法是《数据结构与算法》中最基本的算法之一。本文介绍10种常见的内部排序算法,及如何用Python实现。排序算法可以分为内部排序和外部排序,内部排序是数据记录在内存中进行排序,而外部排序是因排序的数据很大,一次不能容纳全部的排序记录,在排序过程中需要访问外存。常见的内部排序算法有:插入排序、希尔排序、选择排序、冒泡排序、归并排序、快速排序、堆排序、基数排序等。用一张图概括:关于时间复杂度: 平方阶 (O(n2)) 排序:各类简单排序,直接插入、直接选择和冒泡排序;原创 2022-04-19 09:49:05 · 361 阅读 · 0 评论 -
使用Python分析14亿条数据
Google Ngram viewer是一个有趣和有用的工具,它使用谷歌从书本中扫描来的海量的数据宝藏,绘制出单词使用量随时间的变化。举个例子,单词 Python (区分大小写) :这幅图来自:books.google.com/ngrams… ,描绘了单词 ‘Python’ 的使用量随时间的变化。它是由谷歌的n-gram 数据集驱动的,根据书本印刷的每一个年份,记录了一个特定单词或词组在谷歌图书的使用量。然而这并不完整(它并没有包含每一本已经发布的书!),数据集中有成千上百万的书,时间上涵盖原创 2022-04-11 10:34:34 · 228 阅读 · 0 评论 -
这门“网红”编程语言,或将面临淘汰
Ruby,一种简单快捷的面向对象(面向对象程序设计)脚本语言,在20世纪90年代由日本人松本行弘(Yukihiro Matsumoto)开发,遵守GPL协议和Ruby License。曾经,它红极一时。但随着时代车轮滚滚向前,如今的Ruby,已不复从前。从 Google Trends来看,虽然不太科学、但至少能说明一点问题。无论是 Ruby 还是 Ruby on Rails,多年来在 Google Trends 都处于一路走低的状态。十年前,极受追捧Ruby 是一种用于面向对象编原创 2022-03-14 15:03:57 · 458 阅读 · 0 评论 -
15个让人爱不释手的Python高级库
为什么我喜欢Python对于初学者来说,这是一种简单易学的编程语言;另一个原因:大量开箱即用的第三方库,正是 23 万个由用户提供的软件包使得Python真正强大和流行。在本文中,我挑选了15个最有用的软件包,介绍它们的功能和特点。1. DashDash是比较新的软件包,它是用纯Python构建数据可视化app的理想选择,因此特别适合处理数据的任何人。Dash是Flask,Plotly.js和React.js的混合体。2. PygamePygame是SDL多媒体库的Python装原创 2022-02-24 17:36:57 · 225 阅读 · 0 评论 -
中级大数据工程师应掌握哪些技能?
在人工智能大数据时代,大数据工程师是必备技能人才之一,那对于初级大数据工程师应该掌握哪些技能呢?如果你也想成为一名大数据工程师,看看自己是否已达到中级大数据工程师的要求?大数据处理方向的职业功能包括:大数据应用开发、大数据系统搭建、大数据 平台管理与运维、大数据技术服务和大数据处理与应用;大数据分析方向的职业功能包括:大数据应用开发、大数据系统搭建、大数据平台管理与运维、大数据技 术服务和大数据分析与挖掘;大数据管理方向的职业功能包括:大数据平台管理与运维、大数据技术服务、大原创 2022-02-24 17:17:30 · 705 阅读 · 0 评论 -
可能是最强的Python可视化神器,建议一试
数据分析离不开数据可视化,我们最常用的就是Pandas,Matplotlib,Pyecharts当然还有Tableau,看到一篇文章介绍Plotly制图后我也跃跃欲试,查看了相关资料开始尝试用它制图。 Plotly Plotly是一款用来做数据分析和可视化的在线平台,功能非常强大,可以在线绘制很多图形比如条形图、散点图、饼图、直方图等等。而且还是支持在线编辑,以及多种语言Python、Javascript、Matlab、R等许多API。它在Python中使用也很简单,直接用Pip Inst原创 2022-02-09 17:43:56 · 113 阅读 · 0 评论 -
50行Python代码爬取黑丝美眉高清图
一、技术路线requests:网页请求BeautifulSoup:解析html网页re:正则表达式,提取html网页信息os:保存文件importreimportrequestsimportosfrombs4importBeautifulSoup二、获取网页信息获取网页信息的固定格式,返回的字符串格式的网页内容,其中headers参数可模拟人为的操作,‘欺骗’网站不被发现defgetHtml(url):#固定格式,获取html内容head...原创 2022-01-14 13:44:42 · 281 阅读 · 0 评论 -
Python异步编程和事件驱动
1、异步编程[1] 同步和异步描述的是进程/线程的调用方式同步和异步 同步调用指的是线程发起调用后,一直等待调用返回后才继续执行下一步操作,这并不代表CPU在这段时间内也会一直等待,操作系统多半会切换到另一个线程上去,等到调用返回后再切换回原来的线程。 异步就相反,发起调用后,线程继续向下执行,当调用返回后,通过某种手段来通知调用者。 解释和说明 我们需要注意同步和异步过程中的调用返回,指的是内核进程将数据复制到调用进程。上面说的顺序式编程里面,通常调用就是同步的,上一原创 2022-01-14 13:38:10 · 624 阅读 · 0 评论 -
字节跳动月薪4万的数据分析师,需要达到什么水准?
互联网的发展把我们带入一个数据驱动的大数据时代,数据成为信息时代的“新石油”和“新煤炭”,而致力于挖掘数据价值,通过分析数据为公司创造价值的专业技能岗位——数据分析师,正在逐渐成为各大企业争抢的香饽饽。下图是字节跳动的招聘要求,月薪23K~45K,18薪,不得不说,这个待遇,真香!不难看出,受大厂青睐的数据分析师都需要一定的语言基础,比如Python,SQL,以及Excel、Power BI等工具,更要具备很强的业务思维,也就是说,你不能只懂技术,而不懂公司的业务。如果你找不到方向,那么学.原创 2022-01-13 15:46:44 · 1903 阅读 · 0 评论 -
这 8 个 Python 技巧让你的数据分析提升数倍
不管是参加Kaggle比赛,还是开发一个深度学习应用,第一步总是数据分析,这篇文章介绍了8个使用Python进行数据分析的方法,不仅能够提升运行效率,还能够使代码更加“优美”。一行代码定义List定义某种列表时,写For 循环过于麻烦,幸运的是,Python有一种内置的方法可以在一行代码中解决这个问题。下面是使用For循环创建列表和用一行代码创建列表的对比。x=[1,2,3,4]out=[]foriteminx:out.append(item**2)pri...原创 2022-01-07 16:48:15 · 136 阅读 · 0 评论 -
3天学会网页爬虫进行数据分析
想学习爬虫数据分析的小伙伴,可以来体验体验了,话不多说,想学习的直接来私聊博主!原创 2022-01-07 11:51:05 · 655 阅读 · 1 评论 -
一篇文章说清Python数据分析,这个学习路线绝了
近年来,数据分析师的需求非常大,90%的岗位技能需要掌握Python作为数据分析工具。2021年史上最全Python数据分析学习路线,从语言基础、数据工具、商业分析、到机器学习,一篇文章帮你搞定,奥利给!话不多说,新手自学Python数据分析的4大阶段,直接开始。第一阶段:Python语言基础数据分析的第一步就是先玩明白Python语言。Python语言简洁,入门容易,包括语言基础、常用数据结构、函数、面向对象编程;以及Python自动化办公知识。学习成就:掌握Python语言作原创 2022-01-02 19:09:08 · 9157 阅读 · 0 评论 -
18个Python高效编程技巧,收藏
初识Python语言,觉得Python满足了我上学时候对编程语言的所有要求。Python语言的高效编程技巧让我们这些大学曾经苦逼学了四年c或者c++的人,兴奋的不行不行的,终于解脱了。高级语言,如果做不到这样,还扯啥高级呢?01 交换变量>>>a=3>>>b=6这个情况如果要交换变量在c++中,肯定需要一个空变量。但是Python不需要,只需一行,大家看清楚了>>>a,b=b,a>>>print(a)...原创 2021-12-08 21:17:03 · 154 阅读 · 0 评论 -
字节跳动月薪4万的数据分析师,需要达到什么水准?
互联网的发展把我们带入一个数据驱动的大数据时代,数据成为信息时代的“新石油”和“新煤炭”,而致力于挖掘数据价值,通过分析数据为公司创造价值的专业技能岗位——数据分析师,正在逐渐成为各大企业争抢的香饽饽。下图是字节跳动的招聘要求,月薪23K~45K,18薪,不得不说,这个待遇,真香!不难看出,受大厂青睐的数据分析师都需要一定的语言基础,比如Python,SQL,以及Excel、Power BI等工具,更要具备很强的业务思维,也就是说,你不能只懂技术,而不懂公司的业务。有鉴于此,为帮助各...原创 2021-12-08 21:13:30 · 608 阅读 · 0 评论