技术杂谈
数据工程与机器学习
这个作者很懒,什么都没留下…
展开
-
尝试这些新的VS Code功能,大幅提升工作效率
Visual Studio Code将代码编辑器的简单性与开发人员对其核心edit-build-debug周期所需的功能结合在一起。它提供了全面的代码编辑,导航和代码高亮,以及轻量级调试,丰富的可扩展性插件以及与现有工具的轻量级集成。Visual Studio Code会定期更新,其中包含许多新功能和错误修复。以下是VSCode的一些新功能,这些功能将显著提升代码编辑和调试过程的生产率。本文来自《数据黑客》,登录官网可阅读更多精彩资讯和文章。格式化修改后的文本VSCode有了一个新的设置editor原创 2020-11-26 07:15:29 · 543 阅读 · 0 评论 -
2021年值得关注的技术和工具
这是一份为DevOps(开发和运营)和SRE(网站可靠性管理)工程师准备的技术清单。本文来自《数据黑客》,登录官网可阅读更多精彩资讯和文章。1. 通过Kubernetes CRD管理云服务所有三个主要的云提供商(AWS / Azure / GCP)现在都支持一种通过自定义资源定义(CRD)从Kubernetes设置和管理云服务的方法。AWS在开发人员预览版中提供了适用Kubernetes(ACK)的AWS控制器;,Azure最近启动了Azure Service Operator (已弃用Azure的O原创 2020-11-24 08:32:31 · 642 阅读 · 1 评论 -
程序员的9个经验教训,只有亲身经历才会懂
程序员从挫败中吸取经验,不断进步,本文介绍我亲身经历的9个经验教训。1. 不存在最便宜,最快速,最可靠的软件这是戈登·贝尔的名言,这里要吸取的经验教训是,你应该设计尽可能简单的系统或软件,降低复杂性以减少bug的数量。2. 理解你的代码有时候你修复了一个bug,但不明白问题是怎么解决的。相信大多数程序员都经历过这种情况。确保你理解自己的代码,找出为什么这个修复起了作用。刨根问底的心态比什么都重要,在必要的时候要虚心求助,保持这种态度,不知不觉中你已经成为人们转而求助的对象。复制粘贴代码也是如此。原创 2020-10-21 09:38:29 · 1153 阅读 · 2 评论 -
这四个VSCode插件可以大幅提升Python开发效率
作为一个数据科学家,拥有良好的编码惯例非常重要,这样可以让同事更容易地阅读和理解你的代码,避免混淆。为了让代码易于理解,应该做到以下几点:类型提示代码文档仅保留有用的变量,函数和包突出显示代码中需要改进的部分避免琐碎的错误VSCode是我最喜欢的IDE,在这篇文章中,我将介绍4个插件,它们能帮助我们实现以上提出的几点原则,提升代码质量。Python Type Hint类型提示明确指出变量的数据类型,当调用函数或类时,“提示”程序员应该提供什么类型的参数。例如下面的函数,明确指出参数是原创 2020-10-20 09:42:26 · 2356 阅读 · 0 评论 -
你现在应该学习使用FastAPI
Python一直是开发轻量级web应用程序的热门选择,这要归功于Flask、Django、Falcon等许多优秀的框架。由于Python是机器学习的头号语言,打包模型并将其作为服务公开尤其方便。多年来,Flask一直是这项工作的头号工具,但如果你没有听说过,现在有一个新的挑战者。FastAPI是Python的一个相对较新的web框架,它从它的前辈那里汲取灵感,完善它们并修复其许多缺陷。建立在Starlette之上,它带来了一大堆令人敬畏的功能。简单但精彩的UI所有的web框架都需要在功能和给开发者自由原创 2020-10-16 09:45:11 · 1054 阅读 · 0 评论 -
处理超大型数据的17个策略
原文出处:Medium作者:Jeff Hale原文标题:17 Strategies for Dealing with Data, Big Data, and Even Bigger Data处理大数据很棘手。没有人喜欢内存不足的错误,没有人喜欢等待代码长时间运行,没有人喜欢离开Python。Python是数据科学领域最流行的语言,Numpy和Pandas是进行数值计算和数据分析的主要工具。不幸的是,如果你在本地工作,pandas可以处理的数据量受计算机内存的限制。如果你在云端工作,更多的内存会.原创 2020-10-15 09:48:09 · 723 阅读 · 0 评论 -
VSCode是否会成为最好的Python IDE?
原文出处:Medium作者:Matthew MacDonald原文标题:Has VS Code Become the Best IDE for Python?Visual studio code是一个模块化的代码编辑器,因此扩展是必需的。您可以使用它们来获取基本的功能,如语言编译器,以及有用的工具,如代码格式化程序、linter和profiler。仔细看,你甚至会发现表情符号支持。VS code市场大约有20000个扩展。但多年来,一直有一个不受挑战的扩展主导着排名。最流行的VS代码扩展是Pyt.翻译 2020-10-15 09:44:39 · 605 阅读 · 0 评论 -
使用click创建完美的Python命令行程序
Python程序员的主要工作是写命令行程序,即直接在终端运行的脚本。随着项目规模增长,我们希望创建有效的命令行接口,通过提供不同的参数,解决不同的问题,而不是每次都修改源代码。Click库是一个非常高效的命令行工具,能够帮助我们快速创建完美的命令行接口,小编认为这是每个Python程序员都应该掌握的工具。原文出处:Medium作者:Yannick原文标题:perfect-command-line-interfaces-python作为Python开发人员,我们经常编写命令行程序。例如,在.原创 2020-10-13 09:56:53 · 518 阅读 · 0 评论 -
Python3.9来了,有哪些新变化?
Python 3.9.0 最终版本于2020年10月5号发布。像多数Python爱好者一样,我非常兴奋地探索着最新的功能,本文将为大家展示10个有趣的新特征。本文来源于Medium,翻译校对:蜂鸟数据,原文作者:Farhad Malik,原文标题:10 Awesome Python 3.9 Features1. 字典更新和合并字典添加两个新的运算符,’|‘和’|=’。'|‘运算符用于合并字典,’|='运算符用于更新。字典合并:字典更新:2. 基于PEG的高性能解析器Python原创 2020-10-10 10:19:31 · 950 阅读 · 0 评论 -
Jupyterlab + Ipywidgets,打造交互式分析平台
使用JupyterLab(Jupyter Notebook)分析数据时,一遍又一遍地重新运行同一单元格(每次稍微修改参数)的代码是非常低效的。尽管如此我还是会这么做,例如为函数选择不同的值,为分析选择不同的日期范围,甚至调整图表的主题。这不仅效率低下,而且令人沮丧,破坏了探索性数据分析的流程。解决问题的理想方案是使用交互式控件来更改输入,而无需重新运行代码。幸运的是已经有人创造了解决问题的工具。在本文中,我们将学习如何使用Ipywidgets,使用短短几行代码来构建交互式控件。这个库能够将Jupyter原创 2020-10-09 10:17:25 · 2186 阅读 · 1 评论 -
史上最全的Python定量金融三方库汇总
Python在定量金融领域的应用非常广泛,从衍生品定价到量化交易,Python社区提供了大量解决问题的工具。本文汇总了定量金融的大量三方库,按功能进行分类,覆盖数值运算,衍生品定价,回溯检验,风险管理,数据爬取,可视化等多个子领域,供每个Python程序员参考。不要重复造轮子,明确要解决的问题,然后寻找相应的工具。很多著名的包如Numpy,Pandas,Seaborn,backtrader等已经被证明高度有效,即便没有找到符合应用场景的包,类似的工具也能够为创建自己的解决方案提供参考。内容来源于G.原创 2020-09-27 17:30:10 · 7189 阅读 · 4 评论 -
Excel还是Python?一文教你集成Python和Excel!
Excel是很出色的工具,但有时候它不够好用。当数据集较小,需要处理的问题比较简单时,Excel最好用。但是一旦跳出这些舒适区域,就会发现Excel无法满足业务需求。当然,可以使用VBA来解决问题,但为什么不考虑Python呢,借助xlwings这个三方库,我们可以把Python和Excel完全集成到一起。为什么要集成Python和ExcelExcel VBA能完成很多数据分析工作,包括自动化。那么为什么要使用Python?有以下几个重要的原因:即便不用VBA,也可以在Excel中创建自定义函数。原创 2020-09-24 17:42:33 · 910 阅读 · 0 评论 -
还在寻找下一个数据科学项目?不要错过这12个酷炫的项目(附教程)
你完成过多少个数据科学项目?过去几年,数据科学一直处于蓬勃发展中,由于各种创新,推动人工智能领域的发展会使它进一步发展。随着越来越多的行业开始意识到数据科学的力量,更多的机会出现在市场上。如果您喜欢数据科学,并渴望牢牢掌握该技术,那么现在正是磨练您的技能的最佳时机。撰写本文的目的在于为您的下一个项目分享一些可行的想法,这不仅会增强您对数据科学的信心,而且在提高技能方面也将发挥关键作用。热门有趣的数据科学项目对于初学者而言,数据科学艰深晦涩,但是通过不断的实践,你很快就可以掌握该主题中的各种概念和术语原创 2020-09-22 15:46:19 · 434 阅读 · 0 评论 -
终端设置指南,让Mac/Linux/Windows终端更上一层楼
我们都使用终端。它使我们实现所有想要的操作,并且以更快,更简单的方式实现。从基本的系统操作到运行复杂的脚本,它绝对是每个程序员都应该熟练使用的工具。在本指南中,我们将安装和配置终端,让它用起来更高大上。选择并安装终端首先,我们需要安装终端才能对其进行配置。Linux您可以使用Linux的默认终端,但朋友推荐的终端是Linux Terminator。即使可能有很多其他终端版本,该版本也可以做得很好。MacMac的默认终端也不错,但是使用iTerm2确实有很大的改进。分割窗格,搜索甚至粘贴历史记原创 2020-09-19 15:20:59 · 532 阅读 · 0 评论 -
高效使用Jupyter Notebook的15个技巧
在数据科学领域,Jupyter Notebook是一种非常流行的工具。本文旨在分享一些很酷的技巧,帮助您在使用Jupyter Notebook时更加高效,包括了解如何从Jupyter执行终端命令,如何通过隐藏输出来加速运行,为Notebook添加拓展等。1:使用快捷键了解快捷键可以节省很多时间。下图用黄色突出显示了我常用的组合。如果您忘记了快捷方式,可以进入命令模式并按H键查看完整列表。Jupyter Notebook还允许您根据需要创建自己的快捷键。单击“编辑快捷方式”按钮以设计您自己的热键。2:原创 2020-09-15 19:18:49 · 2345 阅读 · 1 评论 -
针对Python开发人员的10个很棒的项目创意
Python是世界上使用最广泛的编程语言之一,并且可以为其通用性质做出贡献,这使其成为解决各个领域问题的合适工具。使用Python,您不仅可以为网络开发程序,还可以为桌面和命令行开发程序。Python可以适合各种技能水平的程序员,从学生到中级开发人员,再到专家和专业人士。但是每种编程语言都需要不断学习,Python也是如此。如果您真的想获得深入的实践知识,没有比使用Python更好的方法来进行一些很棒的项目,这些项目不仅可以让您在空闲时间忙碌,而且可以教您如何获得更多有用的Python知识。选择项目平台原创 2020-09-09 18:58:24 · 432 阅读 · 0 评论 -
高级Python:学习这10个原则,写出大师级别的函数!
文章总结了写好函数的10个原则,全文近万字,干货满满,值得每一个python程序员收藏。【蜂鸟数据:金融数据API提供商,想获得金融数据?查看我们的官方文档吧】不管编程语言使用哪种实现机制,它们都为函数保留了席位。函数是任何代码项目中必不可少的部分,因为它们负责准备和处理数据以及配置用户界面元素。毫无疑问,Python被定位为面向对象的编程语言,它依赖于函数来执行与数据相关的操作。因此,编写良好的函数对于构建弹性代码库至关重要。在一个小项目中定义一些简单的函数很简单。随着项目的扩大,函数可能变得更加复原创 2020-09-04 18:38:30 · 300 阅读 · 0 评论 -
7行代码创造360亿美元的商业帝国?这家公司做到了
去年6月24日,Stripe的联合创始人Patrick Collison 发表了一条推文:达到这个周末的参与度指标!Mixpanel的创始人Suhail Doshi很快做出回应:这是增加用户保留率的一种方法。是的,可以肯定地说这些家伙很有幽默感。考虑到他们看似荒谬的在线支付解决方案,这并不奇怪。科里森兄弟没有追逐1000小时的编程合同为每个客户构建笨拙的支付解决方案,而是构建了7行代码,开发人员可以将其插入到他们的网站中。结果就是Stripe,这家公司拥有数不清的现金。为什么Strip原创 2020-09-03 18:43:52 · 164 阅读 · 0 评论