- 博客(58)
- 收藏
- 关注
RSS订阅原创 国内外大数据标准化现状及发展方向
大数据标准化工作意义重大 全球已步入大数据时代，作为继云计算后的新一代信息技术，大数据技术和产业的发展和应用已经对政府、企业决策和人们的生活方式产生深远的影响。 当前，各种大数据存产品和面向各行业的大数据应用层出不穷，急需通过标准化的途径规范认知，整合资源，促进各方达成共识，为我国大数据产业的健康发展打下基础，为数据安全应用提供保障，同时促进大数据交易等新兴服务模式规范发展。加强大数据...
2019-04-28 13:02:56
3935
2
原创 大数据分析现状、模式与常用4大分析技术探讨
近年来互联网的高速发展引领人类进入了一个信息量爆炸性增长的时代。每个人的生活中都充满了结构化和非结构化的数据。随着人类生活全面向互联网转移，大数据时代将会不可避免的到来！ 作为全球互联网的前沿概念，大数据主要包括两方面特征：一方面整个社会的信息量急剧增长，另一方面个人可获取的信息也呈指数增长。从科技发展的角度来看，“大数据”是“数据化”趋势下的必然产物！并且随着这一趋势的不断深入，在不远的...
2019-04-28 12:43:10
793
原创 大数据和人工智能的未来将殊途同归
Charles Araujo是一名业界知名的分析师，是国际上公认的数字企业权威，也是《IT的量子时代：为什么对IT的一切都知道要改变》一书的作者。作为Intellyx公司的首席分析师，他还是数字转换研究所的创始人。 Araujo表示，当他在上世纪90年代中期第一次创业，做了大多数创业者做首先做的事：印刷订购名片。实际上需要一个地址和一个电话号码。毕竟没有这些信息无...
2019-04-28 12:39:58
399
原创 大数据基石深入浅出Hadoop YARN
一. Hadoop Yarn 是什么在古老的 Hadoop1.0 中，MapReduce 的 JobTracker 负责了太多的工作，包括资源调度，管理众多的 TaskTracker 等工作。这自然是不合理的，于是 Hadoop 在 1.0 到 2.0 的升级过程中，便将 JobTracker 的资源调度工作独立了出来，而这一改动，直接让 Hadoop 成为大数据中最稳固的那一块基石，而这个独...
2019-04-28 12:37:46
219
原创 大数据常用的软件工具有哪些？
现如今，大数据越来越受到大家的重视，也逐渐成为各个行业研究的重点。正所谓“工欲善其事必先利其器”，大数据想要搞的好，使用的工具必须合格。而大数据行业因为数据量巨大的特点，传统的工具已经难以应付，因此就需要我们使用更为先进的现代化工具，那么大数据常用的软件工具有哪些呢？ 首先，对于传统分析和商业统计来说，常用的软件工具有Excel、SPSS和SAS。 Excel是一个电子表格软件...
2019-04-28 12:36:19
2010
原创 AI与大数据结合，有效提高预测，构建更好的内容营销
目前AI大数据已经辅助预测地震，通过机器学习更好地了解地震的特性，人工智能可以大大提高其准确性，有助于预测地壳破裂的方向和强度。AudaTarget的人工智能使用来自保险公司的两年数据来“帮助他们确定事故中涉及的车辆是否可以修复，如果是，那么哪个车间是进行维修的最佳选择，所有这些都基于历史数据。” 预测，是研究和预估未来将会发生的事件及结果。比如“预测天气”、“预测股市”、“预测流感”、“预测...
2019-04-28 12:35:11
2105
原创 如何选择大数据的编程语言
有一个大数据项目，你知道问题领域(problem domain)，也知道使用什么基础设施，甚至可能已决定使用哪种框架来处理所有这些数据，但是有一个决定迟迟未能做出：我该选择哪种语言?(或者可能更有针对性的问题是，我该迫使我的所有开发人员和数据科学家非要用哪种语言?)这个问题不会推迟太久，迟早要定夺。 对大数据以及人工智能概念都是模糊不清的，该按照什么线路去学习，学完往哪方面发展，想深入了...
2019-04-28 12:32:28
240
原创 大数据就业七大行业优势
近年来企业在招聘时也普遍希望减少对员工的培训开支，因此对求职者的招聘标准也有所提高。而一般的求职者尤其是应届生，缺乏工作经验，很难获得名企青睐。所以求职者们掌握一门专业技术是非常必要的!那求职者们学什么技术最吃香呢? 随着现代经济技术的发展，中国大数据行业已经步入到一个高速发展的时代。几乎所有人的工作和生活都离不开大数据，大数据已经广泛地深入到人们日常生活的方方面面。纵观整个行业，大数据人才...
2019-04-28 12:30:29
3343
原创 详细解读大数据分析学习路线
以大数据分析师为目标，从数据分析基础、JAVA语言入门和linux操作系统入门知识学起，系统介绍Hadoop、HDFS、MapReduce和Hbase等理论知识和hadoop的生态环境。 一、大数据分析的五个基本方面 1，可视化分析 大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时...
2019-04-28 12:28:49
1821
原创 大数据和人工智能的未来可以归结为一件事
就大数据、分析和人工智能而言，价值不是来自收集数据（甚至也不是来自于从中获取的一些洞察），价值来只有一个来源：行动。 我在90年代中期开办了第一家公司，那时我做了大多数首次创业的企业家都做过的事——订购名片。 实际上，我首先得选址并订购一部手机。毕竟，没有手机，我无法订购名片。然后要建立一个会计系统、做法律文书工作、建一个网站。当然，还写了一个很长的商业计划。 我把该做的事情都做...
2019-04-28 12:26:16
240
原创 大数据的四大特点
说起大数据，估计大家都觉得只听过概念，但是具体是什么东西，怎么定义，没有一个标准的东西，因为在我们的印象中好像很多公司都叫大数据公司，业务形态则有几百种，感觉不是很好理解，所以我建议还是从字面上来理解大数据，在维克托迈尔-舍恩伯格及肯尼斯库克耶编写的《大数据时代》提到了大数据的4个特征： 1.大量 大数据的特征首先就体现为“大”，从先Map3时代，一个小小的MB级别的M...
2019-04-27 20:32:06
12588
1
原创 四种大数据分析方法与大家分享
本文主要讲述数据挖掘分析领域中，最常用的四种数据分析方法：描述型分析、诊断型分析、预测型分析和指令型分析。当刚涉足数据挖掘分析领域的分析师被问及，数据挖掘分析人员最重要的能力是什么时，他们给出了五花八门的答案。其实我想告诉他们的是，数据挖掘分析领域最重要的能力是：能够将数据转化为非专业人士也能够清楚理解的有意义的见解。使用一些工具来帮助大家更好的理解数据分析在挖掘数据价值方面的重要...
2019-04-27 20:29:34
1614
1
原创 2019年关于大数据存储技术的六大预测
走过的2018年可以说是存储行业变数最多的一年，而迎来的2019年则是距离十年变革终点最近的一年，我们一直在说存储技术领域正在发生颠覆性变化。但其实大多数颠覆性变化没能经不起时间的检验。但据分析机构MSys Technologies LLC称，随着人工智能，机器人技术和即将推出的5G网络等技术发展，大多数技术专家会将2010-2020年这十年视为技术领域的变革期。 现在，我们来看一下...
2019-04-27 20:26:32
603
1
原创 大数据成人工智能应用重点
随着AI技术的细分场景越来越多，人工智能带来的第四次工业革命浪潮已成汹涌之势，众多传统行业借助AI赋能产业结构，不断升级换代与创新变革，新产品也在不断涌现，AI也在潜移默化改变着生活的方方面面，生物识别、视频识别、内容审核、智能安防等。国内更是诞生了诸如旷视科技、商汤科技、极链科技Video++、依图科技等优秀人工智能初创企业。当前，人工智能已经不仅仅是提升工作效率的一种技术手段，同时还在重塑...
2019-04-27 20:23:47
522
原创 2019年数据和分析技术的十大发展趋势
调研机构Gartner公司最近的调查表明，增强分析、持续智能和可解释的人工智能(AI)是数据和分析技术的主要趋势之一。根据调查，深入了解以下十大技术趋势是推动这一发展的关键，并根据业务价值优先考虑这些趋势以保持行业领先地位。 数据和分析是一个不断发展的故事。从任命首席数据官到采购最新的分析软件，企业领导者都在充分利用这一技术，但这并不容易。 Gartner公司副总裁兼杰...
2019-04-27 20:22:23
730
原创 大数据正在遭遇成长的烦恼
从2011年至今约7年的时间，大数据正在遭遇成长的烦恼。欧盟5月份实施GDPR通用数据保护规则，核心是个人隐私数据保护，要求用户明确同意授予数据的流动权。最近的大数据在杀熟，Facebook遭遇的窘境，包括今日头条也正遭遇窘境。7年了，大数据必须进行方向性的调整。 这是又一个三角困境，技术上追求很多目标时，目标之间容易出现冲突。尤其数据方面，个人隐私、国家安全、便利性三者不可兼得...
2019-04-27 20:20:19
302
2
原创 大数据方面核心技术有哪些？
大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。 一、数据采集与预处理 对于各种来源的数据，包括移动互联网数据、社交网络的数据等，这些...
2019-04-27 20:17:59
2689
原创 2019年IT关注的重点：大数据分析的存储架构
行业媒体对2019年企业数据存储预测的存储技术专家和分析师小组进行了调查，许多人表示，企业IT组织将专注于更好的方法来分析、使用和管理数据湖中的所有信息。他们的努力将包括在越来越多的旨在集成、设计和编排数据的工具的帮助下调整大数据的存储架构。 这些存储技术专家和分析师对2019年预测的样本进行分析，这些预测主要关注大数据、存储系统和数据管理、安全性和其他常规存储趋势的存储架构。...
2019-04-27 20:16:23
413
原创 大数据入门之hadoop相关概念知识点整理
Hadoop是一个开源框架，允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它的设计是从单个服务器扩展到数千个机器，每个都提供本地计算和存储。今天整理了一些关于hadoop相关概念的知识点，觉得文章有用的小伙伴可以直接收藏~在这里我还是要推荐下我自己建的大数据学习交流qq裙：522189307 ， 裙 里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入，大家都是软...
2019-04-26 11:34:35
202
原创 大数据之初步了解HDFS、Hadoop和MapReduce
想学好大数据，首先要了解他的基础，所以，我们需要先了解HDFS和Hadoop以及MapReduce。首先大家思考一个问题：如何合理的存储10T的电信通话记录？下面给大家展现一个图片：入的知识点：元数据：描述数据的数据，主要描述数据的属性的信息，用来指示存储位置，历史数据文件查找和文件记录等功能；NameNode：文件管理DataNode：真是存储数据，数据存储...
2019-04-26 11:00:32
226
原创 大数据技术综合分析！数据采集与预处理
对于各种来源的数据，包括移动互联网数据、社交网络的数据等，这些结构化和非结构化的海量数据是零散的，也就是所谓的数据孤岛，此时的这些数据并没有什么意义，数据采集就是将这些数据写入数据仓库中，把零散的数据整合在一起，对这些数据综合起来进行分析。数据采集包括文件日志的采集、数据库日志的采集、关系型数据库的接入和应用程序的接入等。在数据量比较小的时候，可以写个定时的脚本将日志写入存储系统，但随着数据量...
2019-04-26 10:38:18
6939
原创 大数据入门这16个技术必须掌握？
引用“中产之路”公号大佬一句话：我85的，大你们很多，职场开窍晚，等明白过来，机会窗口期过了。程序员在22-32岁这10年属于黄金期，没走好，后面基本废了，所以老铁们，年轻的时候多思考，多跟过来人交流。在这里我还是要推荐下我自己建的大数据学习交流qq裙：522189307 ， 裙 里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有大数据开...
2019-04-26 10:23:30
273
1
原创 大数据框架MapReduce运行原理
MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。MapReduce采用”分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是”任务的分解与结果的汇总”。MapReduce架构先来看一下MapReduce1.0的架构图image上图中的Tas...
2019-04-25 20:54:34
303
原创 一文详解Spark基本架构原理
Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势：Spark提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）...
2019-04-25 20:52:38
270
原创 大数据开发Hadoop技术主要学习的内容有哪些？
Hadoop Distributed File System (HDFS):分布式文件系统，提供对应用程序数据的高吞吐量，高伸缩性，高容错性的访问。是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型，通过流式数据访问，提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序Hadoo...
2019-04-25 20:43:47
1016
原创 数据时代程序员必备技能：数据可视化
说到数据可视化，大家可谓耳熟能详，设计师、数据分析师、数据科学家等，都用各种方式各种途径做着数据可视化的工作......实际上，我们每一个人，天生具有可视化思维，甚至经常性地做一些可视化操作。比如，做工作总结 PPT，要尽量字少有图； 展示报表，会选择柱状图；走在马路上，更容易被图形而不是文字吸引...... 这并不是因为我们聪明，只是大脑讨厌枯燥的数据，天生喜欢鲜明直观的可视化图形。...
2019-04-24 17:11:52
315
原创 学会数据分析背后的挖掘思维，分析就完成了一半
在数据分析中,模型是非常有用和有效的工具和数据分析应用的场景,在建立模型的过程中,数据挖掘很多时候能够起到非常显著的作用。伴随着计算机科学的发展,模型也越来越向智能化和自动化发展。对数据分析而言,了解数据挖掘背后的思想,可以有助于建立更具稳定性的模型和更高效的模型。在这里我还是要推荐下我自己建的大数据学习交流qq裙：522189307 ， 裙 里都是学大数据开发的，如果你正在学习大数据 ，小编...
2019-04-24 17:08:33
682
原创 给入行数据分析的八点建议
1、认为学会python就可以掌握数据分析技能，大错特错，python只是数据分析师使用的工具之一，从商业sense到分析还有很多工具要掌握解读：从数据整理到结果有很多工具要掌握，比如SQL、kettle、spss、sas、R、powerbi、excel、ppt、xmind、spark等等，一般实际工作中是多种工具操作融合，靠一种工具，你的跳槽和加薪随着时间迁移会出现很多焦虑...
2019-04-24 17:01:43
220
原创 大数据核心32个算法技术
地利符号计算研究所的Christoph Koutschan博士在自己的页面上发布了一篇文章，提到他做了一个调查，参与者大多数是计算机科学家，他请这些科学家投票选出最重要的算法，以下是这次调查的结果，按照英文名称字母顺序排序。1、A* 搜索算法——图形搜索算法，从给定起点到给定终点计算出路径。其中使用了一种启发式的估算，为每个节点估算通过该节点的最佳路径，并以之为各个地点排定次序。...
2019-04-24 16:47:16
2813
原创 一文看懂数据挖掘：哪一种方法最好？都需要哪些技术？
读：在本文中，我们将介绍如下主题：什么是数据挖掘？要确定数据挖掘在不断增强的其他相似概念中的位置，还将学习这一学科成长和变化的历史。我们如何进行数据挖掘？在此，我们将对比数据挖掘项目中常用的几种过程或者方法论。数据挖掘中使用哪些技术？在这一部分，将总结数据挖掘定义中包含的典型数据分析技术，并强调这本精通级书籍将要涵盖的较为独特却未得到应有重视的技术在这里我还是要推...
2019-04-23 20:09:12
549
原创 大数据告诉我们：程序员能干到多少岁？
程序员可以工作多少年？大多数程序员认为程序员是吃青春饭的工作。编程只能干到30岁，最长可达35岁。我经常听到这样的话，都让人感到适当的无语......大数据分析：程序员能干到多少岁？今天，我们来谈谈这个老话题......首先，我们来看一篇论文《Is Programming Knowledge Related to Age?》（英文版）。本文是来自北卡罗来纳州立大学计算机科学系的两个人，...
2019-04-23 15:04:46
22634
1
原创 大数据时代的三大趋势和三大困境
一家公司的数字化改造应该从清晰的趋势和障碍出发，更好地规划出一条通往其所寻求业务成果的路线。考虑到这一点，以下是我们关注的三大数据趋势，以及在数字时代可能出现在企业和成功之间的三大困境。三大趋势1.真实的机器学习我们坚信，机器学习、人工智能未来很快会接管世界，至少是人类的大部分工作。然而现实正一步步向我们推进，我们发现机器学习能最有效地成为人类的助手而不是替代者。人类工作和机器学习...
2019-04-23 13:08:08
472
原创 大数据与区块链的爱恨情仇，一场技术界相爱相杀的爱恋！
随着数据量、数据种类的增多，企业由历史数据分析渐渐过渡到基于多源、海量数据的实时分析。我们都知道商场如战场，谁能在企业运营中做出快速、高效的分析决策，谁就能日益激烈的市场竞争中立于不败之地大数据时代的来临，为众多企业带来了全新的机遇和挑战。随着数据量、数据种类的增多，企业由历史数据分析渐渐过渡到基于多源、海量数据的实时分析。我们都知道商场如战场，谁能在企业运...
2019-04-23 13:06:57
362
原创 大数据语言编程代码的发展历史
代码是一门语言，这门语言搭建了人与计算机沟通的桥梁。通过编写代码，人类可以“命令”计算机开发网页、开发软件、搭建游戏... ...这门语言并不是上帝的发明，它是前辈们发挥聪明才智创造出来的，前辈们的创造过程虽然充满了有趣与巧合，但是并不神秘！本文就从1980年开始，带你一览编程语言发展的“别样”历史。1800年，Joseph Marie Jacquard让织布机学会了读穿孔卡片，造出了...
2019-04-23 13:04:48
1418
原创 大数据的四大特点和五大治理核心因素
说起大数据，估计大家都觉得只听过概念，但是具体是什么东西，怎么定义，没有一个标准的东西.因为在我们的印象中好像很多公司都叫大数据公司，业务形态则有几百种，感觉不是很好理解，所以我建议还是从字面上来理解大数据，在维克托迈尔-舍恩伯格及肯尼斯库克耶编写的《大数据时代》提到了大数据的4个特征：1.大量大数据的特征首先就体现为“大”.从先Map3时代，一个小小的MB级别的...
2019-04-22 19:17:49
4833
原创 大数据之间的相关关系，证明直觉因果联系是错误的
父母经常告诉孩子，天冷时不戴帽子和手套就会感冒。然而，事实上，感冒和穿戴之间却没有直接的联系。有时，我们在某个餐馆用餐后生病了的话，我们就会自然而然地觉得这是餐馆食物的问题，以后可能就不再去这家餐馆了。事实上，我们肚子痛也许是因为其他的传染途径，比如和患者握过手之类的。然而，我们的快速思维模式使我们直接将其归于任何我们能在第一时间想起来的因果关系，因此，这经常导致我们做出错误的决定...
2019-04-22 19:16:17
1539
原创 2019年大数据的10大发展趋势
如今，人们寻求获得更多的数据有着充分的理由，因为数据分析推动了数字创新。然而，将这些庞大的数据集转化为可操作的洞察力仍然是一个难题。而那些获得应对强大数据挑战的解决方案的组织将能够更好地从数字创新的成果中获得经济利益。 考虑到这个基本前提，以下是组织在2019年应该关注的大数据的10个发展趋势：大数据 1.数据管理仍然很难 大数据分析有着相当明确的重要思想：找到隐藏在大...
2019-04-22 19:15:03
1512
原创 总算有文章把大数据和人工智能概念清楚的解析说明
一、大数据和人工智能大数据是伴随着信息数据爆炸式增长和网络计算技术迅速发展而兴起的一个新型概念。根据麦肯锡全球研究所的定义，大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据能够帮助各行各业的企业从原本毫无价值的海量数据中挖掘出用户的需求，使数据能够从量变到质变，真正产生...
2019-04-21 20:29:28
827
原创 大数据时代改变生活九大应用领域
随着大数据应用越来越广泛，应用的行业也越来越低，每天都可以看到大数据的一些新奇的应用，从而帮助人们从中获取到真正有用的价值。很多组织或者个人都会受到大数据分析影响，但是大数据是如何帮助人们挖掘出有价值的信息呢?随着大数据应用越来越广泛，应用的行业也越来越低，每天都可以看到大数据的一些新奇的应用，从而帮助人们从中获取到真正有用的价值。很多组织或者个人都会受到大数据分析影响，但是大数据是如何...
2019-04-21 20:26:10
1854
原创 大数据分析与数据分析的根本区别在哪里
大数据分析与数据分析这几年一直都是个高频词，很多人都开始纷纷转行到这个领域，也有不少人开始跃跃欲试，想找准时机进到大数据或数据分析领域。如今大数据分析和数据分析火爆，要说时机，可谓处处都是时机，关键要明了的一点是，大数据分析和数据分析两者的根本区别在哪里，只有真正了解了，才会知晓更加适合自己的领域是大数据分析师还是数据分析师。毕竟职场如战场，时间就是生活，不容儿戏，更不容怠慢。下...
2019-04-21 20:19:45
3174
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人