![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据知识分享
文章平均质量分 78
大数据知识分享
大数据知识分享
展开
-
IT和OT融合缩小物联网感知差距
转载自:https://www.aaa-cg.com.cn/?xmta7当一家公司决定推进一个新的物联网项目时,这不仅仅是IT讨论。物联网连接了信息技术(IT)和运营技术(OT)的世界,例如控制系统,数据采集系统(DAQ)和工业网络。在一些公司中,这两个团队从来没有在同一房间里,更不用说一起工作以部署IoT系统了。他们对物联网有不同的看法,以及有关如何建立协作关系的问题。然而,在许多情况下,成功的业务成果取决于IT / OT的融合。 物联网需要紧密的IT / OT协作 物...转载 2021-01-21 10:36:54 · 345 阅读 · 0 评论 -
通过深度学习+TensorFlow.js对蒙娜丽莎进行动画处理
看蒙娜丽莎(Mona Lisa)画像时,你会发现她的眼睛将四处移动跟随你。这就是所谓的“蒙娜丽莎效应”。为了娱乐,我们把蒙拉丽莎画像制成交互式数字肖像,通过你的浏览器和网络摄像头将这种现象变为现实。 该项目的核心是利用TensorFlow.js,深度学习和一些图像处理技术。总体思路如下:首先,我们必须生成蒙娜丽莎(Mona Lisa)头的图像序列,眼睛从左到右凝视。从该项目中,我们将根据观看者的位置连续不断地实时选择并显示单个帧。 在通过深度学习+TensorFlow.js对蒙娜丽莎..转载 2021-01-21 10:23:00 · 394 阅读 · 0 评论 -
大数据如何使用OSM模型和AARRR模型搭建指标体系
一、 什么是指标体系 1.1 指标体系定义 指标体系是将零散单点的具有相互联系的指标,系统化的组织起来,通过单点看全局,通过全局解决单点的问题。它主要由指标和体系两部分组成。 指标是指将业务单元细分后量化的度量值,它使得业务目标可描述、可度量、可拆解,它是业务和数据的结合,是统计的基础,也是量化效果的重要依据。 指标主要分为结果型和过程型: a)结果型指标 用于衡量用户发生某个动作后所产生的结果,通常是延后知道的,很难进行干预。结果型指标更多的是监控...转载 2021-01-20 15:49:22 · 3732 阅读 · 0 评论 -
数据可视化作品都有哪些
在一个信息大爆炸的时代,每天都有很多的新消息、新发现、新趋势向我们狂轰乱炸而来。在这个过程中,我们既是数据的生产者,也是数据的使用者,然而初次获取和存储的原始数据总是杂乱无章的。 要想数据达到生动有趣、让人一目了然的效果,就需要借助数据可视化。数据图表天才们可以用简洁、直观又有趣的图表帮我们把大量的信息汇聚在小小的一张图表中,不仅让枯燥的数据和信息变了模样,还让洞察见解跃然纸上,轻松传达复杂观点。 今天就特意为大家收罗了一些优秀的数据可视化作品,让我们一起来感受数据之美。 ...转载 2021-01-20 14:44:42 · 703 阅读 · 0 评论 -
如何使用pandas中的时序数据分组运算
一、简介 我们在使用pandas分析处理时间序列数据时,经常需要对原始时间粒度下的数据,按照不同的时间粒度进行分组聚合运算,譬如基于每个交易日的股票收盘价,计算每个月的最低和最高收盘价。 而在pandas中,针对不同的应用场景,我们可以使用resample()、groupby()以及Grouper()来非常高效快捷地完成此类任务。二、在pandas中进行时间分组聚合 在pandas中根据具体任务场景的不同,对时间序列进行分组聚合可通过以下两类方式实现: 2....转载 2021-01-19 14:10:50 · 301 阅读 · 0 评论 -
大数据分析Python有哪些爬虫框架
一、Scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。二、PySpider pyspider 是一个用python实现的功能强大的网络爬虫系统,能在浏览器界面上进行脚本的编写,功能的调度和爬取结果的实时查看,后端使用常用的数据库进行爬取结果的存储,还能定时设置任务与任务优先级等。三、Crawley Cra...转载 2021-01-19 14:05:03 · 145 阅读 · 0 评论 -
如何使用Python生成数据分析报告
逛知乎的时候看到这样一个提问,Python自动化办公能做那些有趣或者有用的事情? 看了一下这个提问,我想这可能是很多职场人面临的困惑,想把Python用到工作中来提升效率,却不知如何下手?Python在自动化办公领域越来越受欢迎,重复性工作让Python去做将是一种趋势。 看了一些办公自动化的文章,感觉更多是知识的罗列,看完后不知所云。为了更方面大家去学习,今天我将以学生考试成绩为例,手把手教你使用Python完成自动化办公,一键生成学生成绩数据分析报告(word版),如果...转载 2021-01-19 13:55:22 · 3045 阅读 · 0 评论 -
如何使用数据分析客户购买意愿
工作中是否经常遇到这样的场景:业务部门希望通过营销活动来提高产品的销量,但是预算是有限的。在预算允许范围内,如何更多的提升转化率是每个从事数据分析、数据挖掘人员需要面临的问题。 本篇将以银行营销活动相关数据为例,手把手教大家如何识别客户是否有意愿购买该银行的产品,针对高意愿客户进行精准营销来提升转化率。废话不多说,下面开始详细介绍我们的解决方案。 数据中包含客户基本信息、活动行为信息。在实际场景中,如果有客户的偏好信息,参与活动历史信息等,也可以加入其中。 数据预...转载 2021-01-19 13:47:44 · 3158 阅读 · 0 评论 -
第一方数据,第二方数据,第三方数据,都是什么意思?
数据无处不在——我们每天创造超过2.5艾字节(exabytes)的数据,研究人员预测到2025年将会有163泽字节(zettabytes)的数据。此外,还有许多种类的数据与企业有关。我们有第一方,第三方,现在甚至还有第二方的数据。你如何了解和区分呢?一、什么是第一方数据? 第一方数据是指企业直接从受众(包括客户、网站访问者和社交媒体关注者)那里收集的数据。“第一方”是指收集第一手数据用于重新定位的一方。简言之,第一方数据是企业自己收集的消费者信息 - 换句话说,“拥有”。例如,一家企业可能拥有存储在转载 2021-01-18 13:57:10 · 8560 阅读 · 0 评论 -
python-java等编程语言最适合找什么工作
以下编程语言被报告为最常用的语言:1,JavaScript2,HTML / CSS3,SQL4,python5,java 下面我们将更详细地描述与每种编程语言相关的软件开发类型和职称。 5种最佳编程语言:一、JAVASCRIPT JavaScript始终是软件开发人员的首选。它通常用于前端和后端开发以及移动开发,这可能是因为它受所有主要浏览器的支持,并被包括Facebook和YouTube在内的Web顶级网站所利用。对于初学者来说,这也是一门很棒...转载 2021-01-18 12:11:48 · 341 阅读 · 1 评论 -
数据分析Python有哪些爬虫框架
一、Scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。二、PySpider pyspider 是一个用python实现的功能强大的网络爬虫系统,能在浏览器界面上进行脚本的编写,功能的调度和爬取结果的实时查看,后端使用常用的数据库进行爬取结果的存储,还能定时设置任务与任务优先级等。三、Crawley Cra...转载 2021-01-18 11:10:18 · 205 阅读 · 0 评论 -
大数据分析数据挖掘工具sklearn使用指南
一、使用sklearn数据挖掘 1、数据挖掘的步骤 数据挖掘通常包括数据采集,数据分析,特征工程,训练模型,模型评估等步骤。 显然,这不是巧合,这正是sklearn的设计风格。我们能够更加优雅地使用sklearn进行特征工程和模型训练工作。此时,不妨从一个基本的数据挖掘场景入手: 我们使用sklearn进行虚线框内的工作(sklearn也可以进行文本特征提取)。通过分析sklearn源码,我们可以看到除训练,预测和评估以外,处理其他工作的类都实现了3个方法:...转载 2021-01-18 11:07:06 · 460 阅读 · 0 评论 -
大数据时代也要保护隐私
大数据技术通过分类、聚类、回归分析、关联规则等算法,可以从海量不完整、非确定性信息资源中挖掘出有价值的实用信息和知识。但这种技术运用也会带来信息安全问题。在数据存储、处理、传输的各个环节,人们的一言一行都可能浑然不觉地被他人所掌握和利用。如被商业企业和广告界所推崇的精准营销,就是商家通过线上线下的大数据整合,将用户的兴趣爱好、行为习惯等信息收集起来,进而形成对用户的精确定位,再把产品推送给用户购买。 大数据时代信息安全的威胁不仅来自大数据抓取、记录的个人信息被泄漏,事实上,大数据与云计算、物联网等技术.转载 2021-01-18 10:02:29 · 664 阅读 · 0 评论 -
大数据分析的现状和发展前景
一、大环境现状 大数据分析 ,机器学习本身是一个相对较新的行业。市场上企业不一定有充沛的人才,不少企业实际上还在新建相关部门的阶段,业务怎么干在摸索中。而即使已经有这类人才队伍的先行企业,也希望巩固,扩大自己的人才优势,所以现在的企业都希望招聘的候选人有扎实的基础,这不仅包括数据分析,机器学习这方面的基础,也实际上包括数学,程序开发等相关基础。因为数据分析,机器学习是一个涉及数学,统计,编程,业务领域知识等多领域的综合学科。 二、岗位分类 从具体的岗位工作内容来看也是类似。现在全世界该转载 2021-01-18 09:55:01 · 3560 阅读 · 0 评论