yihuliunian的博客

大数据(Big Data)是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合。”业界通常用4个V(即Volume、Variety、Value、Velocity)来概括大数据的特征。 一是数据体量巨大(Volume)。截至目前，人类生产的所有印刷材料的数据量是200PB(1PB=210TB)，而历史上全人类说过的所有的话的数据量大约是5EB(1EB=210PB)。当前，典型个人计算机硬盘的容量为TB量级，而一些大企业的数据量已经接近EB量级。 二...

转载自品略图书馆http://www.pinlue.com/article/2020/09/0712/2611202048648.html有效的分析已成为决定性因素，很明显，掌握它的人会蓬勃发展。但是，实现这一目标的过程并非没有障碍。最常见的数据分析挑战是什么？公司如何自信地应对它们？下面就来介绍一下。1、浏览预算限制数据分析领导者需要在当下采取行动，但同时也需要考虑未来。平衡这些需求要求他们在制定清晰，全面的战略中发挥主导作用。但是，企业通常缺乏合适的数据和分析组织结构。在许多公...

转载自品略图书馆http://www.pinlue.com/article/2020/07/0910/2711002737036.html文件传输协议（File Transfer Protocol，FTP）是一种提供网络之间共享文件的协议。它可以在计算机之间可靠、高效地传送文件。在传输时，传输双方的操作系统、磁盘文件系统类型可以不同。FTP协议允许TCP/IP网络上的两台计算机之间进行文件传输。而FTP服务是基于FTP协议的文件传输服务。工作时，一台计算机上运行FTP客户端应用程序，另...

转载自品略图书馆http://www.pinlue.com/article/2020/07/0306/3710953839048.html在数据分析中，常常有这样的场景，需要对不同类别的数据，分别进行处理，然后再将处理之后的内容合并，作为结果输出。对于这样的场景，就需要借助灵活的groupby功能来处理。groupby的操作过程如下split, 第一步，根据某一个或者多个变量的组合，将输入数据分成多个groupapply,第二步， 对每个group对应的数据进行处理combine...

转载自品略图书馆http://www.pinlue.com/article/2020/07/0108/2610907304851.html导语关于日志，在大家的印象中都是比较简单的，只须引入了相关依赖包，剩下的事情就是在项目中“尽情”的打印我们需要的信息了。但是往往越简单的东西越容易让我们忽视，从而导致一些不该有的bug发生，作为一名严谨的程序员，怎么能让这种事情发生呢？所以下面我们就来了解一下关于日志的那些正确使用姿势。正文日志规范命名首先是日志文件的命名，尽量要做到见名...

转载自品略图书馆http://www.pinlue.com/article/2020/06/3014/4710901582333.html排序是最基本的算法之一，常见的排序算法有插入排序、希尔排序、选择排序、冒泡排序、堆排序、归并排序及快速排序。每个排序算法的时间复杂度是不同的，但是最优的时间复杂度是O(NlogN)。有些排序算法是原址排序（即不需要额外空间），也有一些是非原址排序，这也是需要注意的特点。同样地，还要注意排序算法是否是稳定排序，这有时候很重要。这篇文章简单地介绍各个排序算法的思想..

转载自品略图书馆http://www.pinlue.com/article/2020/05/2406/0610599842223.html在实际工作中，经常会遇到查询的任务，比如根据某些rs号，检索dbsnp数据库，提取这些snp位点的信息，对于这样的任务，最基本的操作方法是将数据库的内容存为字典，然后检索特定的key即可。对于小文件而言，这样的操作编码简单，运行速度也比较满意，但是对于大型数据库而言，将数据库存为字典这个动作是非常耗费时间的，而且每次运行代码都要执行这样的操作，导致效率大大..

转载自品略图书馆http://www.pinlue.com/article/2020/04/0210/5110100879443.html未来的大数据时代最赚钱的岗位或者技能是啥？有人说AI工程师，也有人说高级咨询师，还有人说网络安全工程师.....从百度，知乎看到的答案层出不穷，但80%的答案里都出现了一个相同的职业，那就是数据分析师。现在越来越多岗位都对数据分析能力有要求，...

转载自品略图书馆http://www.pinlue.com/article/2020/03/1707/2210031765835.html数据挖掘工程师负责科技数据挖掘算法模型的构建、应用、评测、报告。下面是第一范文网小编为您精心整理的数据挖掘工程师的基本职责。　　数据挖掘工程师的基本职责1　　职责:　　1、参与K12教育行业大数据分析、大数据处理、数据挖掘等系统的设计和开...