![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
行思坐忆,志凌云
务实北斗应用之星火,畅想北斗产品之燎原
展开
-
python+flume+kafka+SparkStreaming+HBase实现日志采集实时数据分析功能
功能介绍(python模拟产生日志,flume采集日志文件更新【一分钟一更新】,作为kafka的生产者连接存入topic,idea编写kafka消费者消费数据,消费的同时存储至hbase)步骤1.编写python日志产生程序generatorLog.py2.定时调用py执行日志产生定时运行程序crontab -e*/1 * * * * /home/hadoop/project/s...原创 2019-12-02 15:47:34 · 1349 阅读 · 2 评论 -
银行数据平台发展方向
DT 时代,银行业务趋向敏态化,数据量呈现出爆炸式增长态势,这些蕴涵无限价值的大数据给整个银行体系带来了创新动能,成为银行提升竞争力的关键因素。从业界数据管理和数据利用的趋势来看,数据平台进化已成为各银行急需解决的问题。如何选择进化路径?本期,我们邀请了 Kyligence 资深解决方案架构师李明江分享他对银行业数据平台进化的洞察。银行业是最早进行电子化、信息化建设的行业之一,也是最早发掘数...转载 2019-11-06 16:59:37 · 437 阅读 · 0 评论 -
如何搭建企业大数据分析平台
讨论一:先来谈谈企业搭建大数据分析平台的背景。1、搭建大数据平台离不开BI。在大数据之前,BI就已经存在很久了,简单把大数据等同于BI,明显是不恰当的。但两者又是紧密关联的,相辅相成的。BI是达成业务管理的应用工具,没有BI,大数据就没有了价值转化的工具,就无法把数据的价值呈现给用户,也就无法有效地支撑企业经营管理决策;大数据则是基础,没有大数据,BI就失去了存在...转载 2019-04-02 09:13:54 · 8545 阅读 · 3 评论 -
九大数据挖掘方式简介
基于数据挖掘的9大主要成熟技术以及在数据化运营中的主要应用: 1、决策树 2、神经网络 3、回归 4、关联规则 5、聚类 6、贝叶斯分类 7、支持向量机 8、主成分分析 9、假设检验1 决策树决策树(Decision Tree)是一种非常成熟的、普遍采用的数据挖掘技术。之所以称为树,是因为其建模过程类似一棵树的成长过程,即从根部开始,到树干,到分枝,再到细枝末节的分叉,最终生...转载 2019-04-01 17:13:04 · 758 阅读 · 0 评论 -
基于大数据的工程行业的企业级数据中心建设实例
摘要目前工程企业所使用数据中心,多采用传统技术建设,普遍存存在着 建设成本高、扩展性不强、计算处理及分析挖掘能力有限的缺点。为了满足基于大数据的数据存储、处理、分析及应用需求,结合并行计算、大规模数据分析挖掘、线性扩展、全类数据支持等技术的企业级数据中心能够有效的实现全业务、全层级、全类型数据资源的集中整合和分析。 目前,大部分工程行业企业所构建的数据中心积累了大量的结构化数据、非结构化数据...转载 2019-03-19 14:16:07 · 971 阅读 · 0 评论 -
风电大数据盈利的六种商业模式
一、SCADA系统企业数据自营模式企业自身拥有海量数据和大数据技术,同时具备一定的分析能力,能够根据数据分析结果改进现有产品或预测未来,从而使企业获得利润的商业模式是企业数据自营模式。不是所有的企业都适应与这一商业模式,这种商业模式的成功运行建立在4个条件之上。首先,数据来自公司内部,可以是生产经营信息或管理信息;其次,拥有先进的大数据技术,能够对信息进行充分的挖掘和提炼;再次,具备高效的...原创 2019-03-19 14:11:26 · 1658 阅读 · 0 评论 -
浅析大数据商业模式
难懂的商业模式互联网时代的到来,我们似乎越来越看不懂现在的商业模式。为什么我们免费使用百度搜索,这家公司还可以有如此高的收入?为什么不拥有一辆出租车的UBER(优步)成了最大出行平台,不拥有一个房间的Airbnb(爱彼迎)成了最大的酒店平台?为什么我们完全不熟悉的网红、主播收入可以轻松上亿?面对这个熟悉又...转载 2019-03-19 11:36:38 · 1055 阅读 · 1 评论 -
大数据工具介绍
外面有成千上万的大数据工具。它们都承诺可以为你节省时间和资金,并帮助发掘之前从来见过的业务洞察力。虽然确实如此,可是面对那么多的选择,想理清这么多的工具谈何容易。哪一种工具适合你的技能组合?哪一种工具适合你的项目?为了替你节省一点时间,并帮助你首次选对工具,我们列出了我们青睐的几款数据工具,涉及数据提取、存储、清理、挖掘、可视化、分析和整合等领域。数据存储和管理如果你准备处理大数据,就要考...转载 2019-01-24 08:57:47 · 366 阅读 · 0 评论