![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据及云计算
文章平均质量分 69
君子藏器
近10年来,一直带领研发团队进行煤炭行业软件产品研发,同时进行煤炭、电信、电力、政府等行业项目开发,目前专注于矿山行业云产品的研发工作。
展开
-
OpenStack Grizzly Install Guide(master Single)
OpenStack Grizzly Install GuideVersion:2.0Source:https://github.com/mseknibilel/OpenStack-Grizzly-Install-GuideKeywords:Single node OpenStack, Grizzly, Quantum, N转载 2016-07-12 09:10:13 · 746 阅读 · 0 评论 -
工业大数据漫谈11:工业大数据可视化的难点
工业大数据采集、处理之后,非常重要的一个环节就是数据可视化工作。毕竟,无论我们有多少数据,都是需要看到的,否则数据的意义又在哪里呢? 数据可视化技术第一代应该是报表软件,通过报表系统能够把复杂的数据整理成规则的表格,并配以漂亮的图形,比如柱图、饼图、折线图等等。第二代当属BI(Business Intelligence)了,BI比起简单的报表又更进了异步,它已经不单单是一个工具软原创 2017-05-27 15:14:21 · 4065 阅读 · 0 评论 -
马云2017年数博会全文实录:IOT、大数据将对传统制造业带来巨大的冲击!
马云:我觉得刚才的对话还是很不错,因为首先觉得这样的讨论应该是在硅谷,怎么跑到贵州来讨论,其实这本身就是一个巨大的变化。我觉得可能四五年以前大家在贵州讨论最多的是我们该怎么样抓住机会,能够更加的后工业化,怎么样能够讨论挖更多的煤,开更多的工厂。但是短短四年还不到的时间,我们看到整个贵州大数据产业迅猛发展,这确实让人震撼。 刚才我自己坐在下面在想,其实我们以前对贵转载 2017-05-29 19:28:27 · 3565 阅读 · 1 评论 -
工业大数据漫谈8:工业大数据的采集
工业大数据最基础的工作当然是数据采集,没有数据,一切跟大数据相关的技术、应用都是空中楼阁,那么,工业大数据的采集和传统的互联网大数据采集有哪些不同,又会涉及到哪些技术呢?今天我们就来聊一聊。 在谈工业大数据采集之前,先看看都有哪些类型的工业数据需要采集。互联网的数据主要来自于互联网用户和服务器等网络设备,主要是大量的文本数据、社交数据以及多媒体数据等,而工业数据主要来源于机器设备原创 2017-05-10 15:13:20 · 10824 阅读 · 5 评论 -
工业大数据漫谈13:Hadoop在工业大数据中的作用
现在,一谈到大数据的技术,Hadoop都是绕不开的话题,似乎在项目中不使用Hadoop或者类似的分布式数据库技术,就不是大数据应用。那么,到底在工业大数据应用中,没有没必要使用Hadoop,或者在什么样的应用环境中使用Hadoop才是适合的呢?首先,让我们来看一看Hadoop是什么,它是为解决什么问题而发展起来的。简单说,Hadoop是一个能够对大量数据进行分布式处理的软件框架。它包含众多原创 2017-06-05 08:49:24 · 4056 阅读 · 0 评论 -
工业大数据漫谈12:实时数据库与时序数据库
在工业大数据数据库存储领域,除了传统的关系型数据库和分布式数据库以外,还有一种类型的数据库是非常常用,而且是非常有必要的,就是实时数据库和时序数据库。实时数据库诞生于美国,主要是因为现代工业制造流程及大规模工业自动化的发展,导致大量的测量数据需要集成和存储,而采用关系数据库难以满足速度和容量的要求,因此在80年代中期,开始诞生了适用于工业监控领域的实时数据库。实时数据库其实并不单单只是一个原创 2017-06-02 08:14:12 · 28373 阅读 · 0 评论 -
工业大数据漫谈14:煤矿与非煤矿矿山如何应用大数据
在工业领域,煤矿与非煤矿山属于相对特殊的行业,不是我们传统意义上的工厂模式,而是一种资源开采模式。矿山行业因为其生产的特殊性,因此在工业大数据的应用上,也呈现出了与制造型工业完全不同的特点。与制造型工业相比较,矿山行业最大的区别在于产品质量无法通过生产工艺的改进而提高(煤炭深加工等不是我们今天探讨的范畴),海尔冰箱可以升级各种功能,格力空调可以提出各种不同的设计理念,还可以推出高端品牌等等。而原创 2017-06-08 09:39:02 · 4991 阅读 · 0 评论 -
工业大数据漫谈17:云计算与工业大数据的关系
前面聊了工业大数据与工业4.0和物联网(IOT)的关系,今天来看看工业大数据和云计算的关系。云计算这一概念可以追溯到上个世纪Sun和Oracle提出的“网络就是计算机”。限于当时的互联网条件等多方面的原因,这一提法后来不了了之。造化弄人,后来当云计算再次“火”起来的时候,云计算的鼻祖之一Sun却处境尴尬,最终被Oracle收购。而Oracle则对云计算这个新名词似乎有些抵触,在云计算方面一直非原创 2017-06-22 09:50:23 · 2565 阅读 · 0 评论 -
工业大数据漫谈15:工业大数据与工业4.0的关系
现在的世界,已经进入了一个概念满天飞的年代。和工业大数据相关的概念非常多,包括工业4.0、物联网、云计算、人工智能、智能制造等等,接下来,我会追根溯源,把这些概念都理清楚,这样,我们才能更好地理解工业大数据。今天先聊一聊工业4.0是怎么回事。工业4.0的概念来源比较清晰,不像大数据概念的来源,说不清,道不明。工业4.0是德国联邦教研部与联邦经济技术部在2013年汉诺威工业博览会上提出的概念。它原创 2017-06-11 08:36:00 · 2663 阅读 · 0 评论 -
工业大数据漫谈16:物联网(IOT)与工业大数据的关系
上一次谈了谈工业大数据和工业4.0的关系,今天来聊一聊物联网和工业大数据的关系。我们先看一看什么是物联网是怎么来的。物联网的概念其实起源很早,1999年,在美国召开的移动计算和网络国际会议首先提出了物联网(Internet of Things)这个概念。提出者是1999年MIT Auto-ID中心的Ashton教授,他在研究RFID时提出了结合物品编码、RFID和互联网技术的解决方案。当时的提原创 2017-06-12 21:55:56 · 3702 阅读 · 0 评论 -
工业大数据漫谈18:工业大数据数据采集常见的工业协议简介(上)
在工业大数据领域的从业者有很大一部分是传统IT从业人员,对于工业控制协议比较陌生,因此再做工业大数据采集时,对于各类工业协议有时容易搞不清楚,我简单把在做工业大数据采集时常见的几种工业协议整理了一下,以便搞清这些工业协议的概念和区别。为了容易理解,我把常见的工业协议按照OSI(Open System Interconnect)参考模型分到了不同层次,注意,这只是为了容易理解和区分各类协议,实际原创 2017-06-26 11:49:09 · 6871 阅读 · 0 评论 -
工业大数据漫谈10:开源工业大数据软件简介(下)
(7)分析框架SparkSQL SparkSQL的前身是Shark,给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具,Hive应运而生,它是当时唯一运行在Hadoop上的SQL-on-Hadoop工具。但是MapReduce计算过程中大量的中间磁盘落地过程消耗了大量的I/O,降低的运行效率,为了提高SQL-on-Hadoop的效率,大量的SQL-on-Ha原创 2017-05-12 16:04:33 · 3044 阅读 · 1 评论 -
工业大数据漫谈9:开源工业大数据软件简介(上)
今天真是一个美好的时代,有无数的开源系统可以为我们提供服务,现在有许多开发软件可以用到工业大数据中,当然很多系统还不成熟,应用到工业中还需要小心,并且需要开发人员对其进行一定的优化和调整。下面就简单介绍一些开源的大数据工具软件,看看有哪些能够应用到工业大数据领域。 下面这张图是我根据网上流传的一张开源大数据软件分类图整理的: 我们可以把开源大原创 2017-05-12 16:00:24 · 7396 阅读 · 2 评论 -
OpenStack Grizzly Install Guide(OVS_MutliNode)
OpenStack Grizzly Install GuideVersion:2.0Source:https://github.com/mseknibilel/OpenStack-Grizzly-Install-GuideKeywords:Multi node, Grizzly, Quantum, Nova, Keysto转载 2016-07-13 09:12:35 · 645 阅读 · 0 评论 -
OpenStack Icehouse Installation: Two-node architecture with legacy networking (nova-network)
OpenStack Icehouse Installation: Two-node architecture with legacy networking (nova-network)Welcome to OpenStack Icehouse installation manual !This document is based on the OpenStack Official转载 2016-07-14 14:01:10 · 1045 阅读 · 0 评论 -
OpenStack Icehouse Installation - Multi Node
OpenStack Icehouse Installation - Multi NodeWelcome to OpenStack Icehouse installation manual !This document is based on the OpenStack Official Documentation for Icehouse.Version:转载 2016-07-15 09:03:26 · 784 阅读 · 0 评论 -
给数据赋予生命—--读王坚博士《在线》有感
很多年没有精读一本书了,越来越习惯微博、微信等快餐信息,匆匆浏览,匆匆放过,浏览的信息越来越多,得到的确越来越少。今日,有幸拜读了阿里王坚博士的《在线》,又找到了往日开卷的愉悦。精读一本书,仿佛回到了当年的大学课堂,静静的听老师讲述自己的感悟,默默的与自己的经历印证,一次愉快的旅程慢慢流淌,也是一种美丽的感觉。 数据是什么?如何利用好纷繁的大数据?如何在IOT上应用好大数据?工作原创 2016-11-02 09:47:05 · 3867 阅读 · 0 评论 -
工业大数据漫谈1:大数据的由来
“大数据”(Big Data)已经成为当前社会的热门词汇,不但在计算机领域,即使在全社会领域也成为人们耳熟能详的名次。甭管了解不了解,只要聊起新技术,“大数据”必然是挂在嘴边的词汇。要不,你看看全国各地、各城市的发展报告,几乎每个城市、每个地区都要发展大数据产业,牛一点的城市,像北京、深圳,那几乎是要把这个当成支柱产业的架势。就连贵阳,这种以前无论如何无法和信息化、互联网领先城市联系起来的地方,都原创 2017-02-06 14:24:11 · 5314 阅读 · 0 评论 -
工业大数据漫谈2:大数据的特性
谈到大数据,很多人的第一反应就是非常大量的数据,其实不然,5P的数据也许不是大数据,1P的反而是大数据。也就是说,大数据并不意味着绝对的数据所占空间的巨大。 那么,怎么理解大数据的“大”呢?我觉得吴军博士在《智能时代》一书中对于“大”有一段精彩的描述:英语里的large和big翻译成中文都是大的意思,因此很少有人关心为什么大数据使用"big data"这个英语词组,而不是"l原创 2017-02-07 13:30:27 · 3244 阅读 · 0 评论 -
工业大数据漫谈7:工业大数据通用业务架构
工业大数据一般如何进行处理呢?我画了一个相对通用的架构图来解释一下: 工业大数据在业务逻辑大的分层上和互联网大数据类似,一般都分为三部分,数据采集层、数据处理层和数据展现层,当然,具体到一个实际案例中,或者说根据不同的应用场景,可以划分为更多的层次,比如数据处理可以分为元数据管理层、数据交互层、数据分析层等等,如果你有兴趣,可以把大数据划分为N层。在分层的同时,还有许原创 2017-03-22 14:45:29 · 6353 阅读 · 2 评论 -
工业大数据漫谈3:什么是工业大数据?
前面两部分我们大概了解了一下大数据的由来和特点,这一部分我们来看看什么是工业大数据,它和传统我们理解的大数据有什么不同? 在了解什么是工业大数据的时候,我觉得我们有必要先了解一下什么是工业以及工业都包括哪些门类。 工业(Industry)是指采集原料,并把它们加工成产品的工作和过程。一般,我们把工业分为轻工业和重工业(重工业中包含化工业,也可以把化工单独分类),原创 2017-03-14 10:51:07 · 5553 阅读 · 5 评论 -
工业大数据漫谈4:工业大数据的作用
工业大数据的概念提出后,IT业界结合新的大数据技术和自身对工业的理解,提出了大量的解决方案,有许多已经在现实中的到了应用。应该说,工业大数据目前的应用情况是不太好的,除了少部分用户确实得到了好处外,大部分用户还处在被忽悠阶段,花了很大一笔钱,上了大量的项目,没有得到想象中的效果,原因是多方面的,不是三下两下能说的清楚地,后面我们再专文讨论。今天我们想说一说,工业大数据就目前来看,到底有什么作用,能原创 2017-03-15 14:32:21 · 6447 阅读 · 0 评论 -
工业大数据漫谈5:工业大数据案例(上)
今天,整理了一些工业大数据的相关案例,看看各家企业是如何成功实施工业大数据的。 1、能够实现全生产过程的信息透明化的案例 通过采用集成自动化与驱动解决方案,能够显著提高生产效率和灵活性。原东德玻璃制造商f | glass就是一个很好的实例。它的工厂可以算得上是全世界最先进、最节能的工厂之一了。该工厂采用了一套集成自动化解决方案、一个先进的能源管理系统以及一个创新原创 2017-03-16 14:22:18 · 7356 阅读 · 0 评论 -
工业大数据漫谈6:工业大数据案例(下)
4、能够实现定制化生产的案例 2014年,红领以零库存实现150%的业绩增长,以大规模定制生产每天完成2000种完全不同的个性化定制产品;公司的核心竞争力是一套大数据信息系统,任何一项数据的变动都能驱动其余9000多项数据的同步变动,真正做到了从用户的个性化设计订单到生产过程的“零时差”连接。 红领走了一条极端的定制路线,生产的每一件衣服从生成订单前就已经销售出原创 2017-03-16 14:25:10 · 5583 阅读 · 0 评论 -
工业大数据漫谈19:工业大数据数据采集常见的工业协议简介(下)
4、ProfiBusProfiBus是德国标准(DIN19245)和欧洲标准(EN50170)的现场总线标准。由PROFIBUS--DP、PROFIBUS-FMS、PROFIBUS-PA系列组成。DP用于分散外设间高速数据传输,适用于加工自动化领域。FMS适用于纺织、楼宇自动化、可编程控制器、低压开关等。PA用于过程自动化的总线类型,服从IEC1158-2标准。PROFIBUS是一种用于工厂自原创 2017-06-28 11:35:56 · 9789 阅读 · 0 评论