大数据
文章平均质量分 91
shuyun008
这个作者很懒,什么都没留下…
展开
-
什么是大数据
一、什么是大数据进入本世纪以来,尤其是2010年之后,随着互联网特别是移动互联网的发展,数据的增长呈爆炸趋势,已经很难估计全世界的电子设备中存储的数据到底有多少,描述数据系统的数据量的计量单位从MB(1MB大约等于一百万字节)、GB(1024MB)、TB(1024GB),一直向上攀升,目前,PB(等于1024TB)级的数据系统已经很常见,随着移动个人数据、社交网站、科学计算、证券交易、网站日志、...转载 2018-11-12 18:43:46 · 246 阅读 · 0 评论 -
深度解析大快DKM大数据运维管理平台功能
深度解析大快DKM大数据运维管理平台功能之前几周的时间一直是在围绕DKhadoop的运行环境搭建写分享,有一些朋友留言索要了dkhadoop安装包,不知道有没有去下载安装一探究竟。关于DKHadoop下载安装基本已经讲清楚了,这几天有点空闲把大快DKM大数据运维管理平台的内容整理了一些,作为DKHadoop相配套的管理平台,是有必要对DKM有所了解的。DKM 是DKHadoop管理平台。作为大...转载 2018-11-02 09:28:10 · 240 阅读 · 0 评论 -
大快网站:如何选择正确的hadoop版本
大快网站:如何选择正确的hadoop版本Hadoop的环境安装部署是所有刚开始学习hadoop必然要面对的一个问题,对于新手而言基本不会一次性部署成功,甚至可能要花费好几天的时间才能完成hadoop运行环境部署。所以对于新手来说,hadoop版本的选择还是比较重要的。Hadoop除了Apache这个版本,还有许多第三方的版本,版本虽多但能够像大快DKH有效解决hadoop部署管理复杂的问题很少。...转载 2018-11-06 09:39:33 · 158 阅读 · 0 评论 -
零基础学习hadoop开发先明白这层关系
零基础学习hadoop开发先明白这层关系大数据hadoop无疑是当前互联网领域受关注热度最高的词之一,大数据技术的应用正在潜移默化中对我们的生活和工作产生巨大的改变。这种改变给我们的感觉是“水到渠成”,更为让人惊叹的是大数据已经仅仅是互联网行业的风口了,更是被上升到了国家战略层面的高度,大数据行业的黄金期就这样爆发了。于是在IT领域掀起了一股学习hadoo的浪潮••••••零基础学习hado...转载 2018-11-06 09:39:02 · 121 阅读 · 0 评论 -
超详细hadoop集群服务器安装配置教程
超详细hadoop集群服务器安装配置教程虚拟机以及Linux系统安装在之前的两篇分享中已经详细的介绍了方法,并且每一步的都配图了。如果有朋友还是看不懂,那我也爱莫能助了。本篇主要就hadoop服务器操作系统配置进行详细说明,hadoop安装会在下一篇文章中详细的介绍。hadoop安装包用的是大快DKHadoop发行版,个人觉得DKHadoop的安装过程是比较简单,关于dkhadoop的安装在下...转载 2018-10-27 09:31:21 · 379 阅读 · 0 评论 -
DKhadoop大数据处理平台监控数据介绍
标题:DKhadoop大数据处理平台监控数据介绍2018年国内大数据公司50强榜单排名已经公布了出来,大快以黑马之姿闯入50强,并摘得多项桂冠。Hanlp自然语言处理技术也荣膺了“2018中国数据星技术”奖。对这份榜单感兴趣的可以找一下看看。本篇承接上一篇《DKM平台监控参数说明》,继续就大快的大数据一体化处理架构中的平台监控参数进行介绍和说明。DKhadoop大数据处理平台架构的安装相关文章...转载 2018-10-30 08:50:05 · 245 阅读 · 0 评论 -
DKhadoop安装包下载与监控参数说明
DKhadoop安装包下载与监控参数说明前阶段用了差不多两周的时间把DKhadoop的运行环境搭建以及安装的各个操作都介绍了一遍。关于DKhadoop安装包下载也只是顺带说了一下,但好像大快搜索的服务器在更新,新的下载页面还不好用!有好些朋友留言说了大快搜索网站上无法下载。我已经将之前下载的这个版本上传到了网盘了,需要的DKhadoop安装包的朋友可以直接通过网盘下载!DKHadoop安装包下...转载 2018-10-30 08:47:03 · 211 阅读 · 0 评论 -
Hadoop伪分布式环境搭建之Linux操作系统安装
Hadoop伪分布式环境搭建之Linux操作系统安装本篇文章是接上一篇《超详细hadoop虚拟机安装教程(附图文步骤)》,上一篇有人问怎么没写hadoop安装。在文章开头就已经说明了,hadoop安装会在后面写到,因为整个系列的文章涉及到每一步的截图,导致文章整体很长。会分别先对虚拟机的安装、Linux系统安装进行介绍,然后才会写到hadoop安装,关于hadoop版本我使用的是大快搜索三节点发...转载 2018-10-26 19:19:25 · 406 阅读 · 0 评论 -
超详细Dkhadoop虚拟机安装图文教程
超详细Dkhadoop虚拟机安装图文教程前两天看到有人留言问在什么情况下需要部署hadoop,我给的回答也很简单,就是在需要处理海量数据的时候才需要考虑部署hadoop。关于这个问题在很早之前的一篇分享文档也有说到这个问题,数据量少的完全发挥不了hadoop的优势,所以也没必要部署。但对于正在学习hadoop的朋友来说,hadoop运行环境部署真的是件非常头疼的事情。计划在接下来的一段时间里,...转载 2018-10-24 10:21:43 · 367 阅读 · 0 评论 -
hadoop集群管理系统搭建规划说明
hadoop集群管理系统搭建规划说明Hadoop分布式集群环境搭建是每个入门级新手都非常头疼的事情,因为你可能花费了很久的时间在搭建运行环境,最终却不知道什么原因无法创建成功。但对新手来说,运行环境搭建不成功的概率还蛮高的。在之前的分享文章中给hadoop新手入门推荐的大快搜索DKHadoop发行版,在运行环境安装方面的确要比其他的发行版hadoop要简单的多,毕竟DKHadoop是对底层重新...转载 2018-10-24 10:14:34 · 190 阅读 · 0 评论 -
Hadoop新手篇:hadoop入门基础教程
Hadoop新手篇:hadoop入门基础教程关于hadoop的分享此前一直都是零零散散的想到什么就写什么,整体写的比较乱吧。最近可能还算好的吧,毕竟花了两周的时间详细的写完的了hadoop从规划到环境安装配置等全部内容。写过程不是很难,最烦的可能还是要给每一步配图,工程量确实比较大。原计划准备接上一篇内容写dkhadoop的监控页面的参数,突然觉得还是有必要把上两周写的内容做一个汇总,这样方便...转载 2018-10-29 09:21:02 · 1903 阅读 · 1 评论 -
实用贴:hadoop系统下载安装教程
实用贴:hadoop系统下载安装教程在前几篇的文章中分别就虚拟系统安装、LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程,本篇分享的是hadoop的下载安装步骤。在此之前有必要做一个简单的说明:分享的所有内容是以个人的操作经验为基础,有的人看完可能会说跟他做过的不一样。这个可能还是跟大家所使用的发行版hadoop不同造成的吧。我是下载的一个大快搜索的DKhadoop发...转载 2018-10-29 09:19:47 · 182 阅读 · 0 评论 -
NLP汉语自然语言处理入门基础知识介绍
NLP汉语自然语言处理入门基础知识介绍自然语言处理定义:自然语言处理是一门计算机科学、人工智能以及语言学的交叉学科。虽然语言只是人工智能的一部分(人工智能还包括计算机视觉等),但它是非常独特的一部分。这个星球上有许多生物拥有超过人类的视觉系统,但只有人类才拥有这么高级的语言。自然语言处理的目标是让计算机处理或说“理解”自然语言,以完成有意义的任务,比如订机票购物或QA等。完全理解和表达语言是...转载 2018-10-23 10:19:06 · 220 阅读 · 0 评论 -
大快搜索大数据可视化平台监控功能深度解析
大快搜索大数据可视化平台监控功能深度解析在上一篇的文章中已经明确说过DKM作为大快发行版DKhadoop的管理平台,它的四大功能分别是:管理功能,监控功能,诊断功能和集成功能。管理功能已经给大家列举了一些做了说明,今天就DKM平台的监控功能再给大家做细致的分享分析。DKM 提供了许多监控功能,用于检测集群健康,组件性能以及集群中运行的作业的性能和资源需求。具体包括以下监控功能:1、服务监控...转载 2018-11-02 09:30:01 · 451 阅读 · 0 评论 -
大快DKhadoop开发环境安装常见问题及解决方案汇总
大快DKhadoop开发环境安装常见问题及解决方案汇总2018年度国内大数据公司排名50强本月初榜单发布,榜单上看到大快搜索跻身50强,再看看他们做的DKHadoop发行版,的确还是蛮厉害的吧!最起码这款DKHadoop用起来确实在易用性方面要更好!Dkhadoop版本的下载安装以及运行环境搭建等各个方面内容基本都已经分享过了,今天给大家就dkhadoop开发环境安装中常见的问题以及解决方法进行...转载 2018-11-02 09:30:43 · 196 阅读 · 0 评论 -
大数据框架hadoop服务角色介绍
大数据框架hadoop服务角色介绍翻了一下最近一段时间写的分享,DKHadoop发行版本下载、安装、运行环境部署等相关内容几乎都已经写了一遍了。虽然有的地方可能写的不是很详细,个人理解水平有限还请见谅吧!我记得在写DKHadoop运行环境部署的时候,遗漏了hadoop服务角色的内容,本篇特地补上这部分内容吧,不然总觉得不舒服。要在集群中运行DKHadoop服务,需要指定集群中的一个或多个节点...转载 2018-11-12 18:42:08 · 291 阅读 · 0 评论 -
学习Hadoop大数据基础框架
什么是大数据?进入本世纪以来,尤其是2010年之后,随着互联网特别是移动互联网的发展,数据的增长呈爆炸趋势,已经很难估计全世界的电子设备中存储的数据到底有多少,描述数据系统的数据量的计量单位从MB(1MB大约等于一百万字节)、GB(1024MB)、TB(1024GB),一直向上攀升,目前,PB(等于1024TB)级的数据系统已经很常见,随着移动个人数据、社交网站、科学计算、证券交易、网站日志、传感...转载 2018-11-14 09:39:00 · 243 阅读 · 0 评论 -
什么是自然语言处理技术
自然语言处理(NLP)是计算机科学,人工智能,语言学关注计算机和人类(自然)语言之间的相互作用的领域。自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系,但又有重要的区别。自...转载 2018-11-14 09:37:01 · 2036 阅读 · 0 评论 -
什么是大数据系统架构
大数据的应用开发过于偏向底层,具有学习难度大,涉及技术面广的问题,这制约了大数据的普及。现在需要一种技术,把大数据开发中一些通用的,重复使用的基础代码、算法封装为类库,降低大数据的学习门槛,降低开发难度,提高大数据项目的开发效率。大数据在工作中的应用有三种:与业务相关,比如用户画像、风险控制等;与决策相关,数据科学的领域,了解统计学、算法,这是数据科学家的范畴;与工程相关,如何实施、如何实现、...转载 2018-11-14 09:34:43 · 375 阅读 · 0 评论 -
学习hadoop需要什么基础
学习hadoop需要什么基础“学习hadoop需要什么基础”这已经不是一个新鲜的话题了,随便上网搜索一下就能找出成百上千篇的文章在讲学习hadoop需要掌握的基础。再直接的一点的问题就是——学Hadoop难吗?用一句特别让人无语的话回答就是:难不会,会不难!趁着学校放假的时间,写了一些hadoop学习分享的文章。刚开始写的几篇稍微有点乱,其中有一篇就是在说学习hadoop需要什么样基础的。所...转载 2018-11-08 19:19:31 · 112 阅读 · 0 评论 -
web开发安全框架中的Apache Shiro的应用
web开发安全框架中的Apache Shiro的应用前阶段就hadoop的分享了一些内容,希望对新手入门的朋友有点帮助吧!对于hadoop新手入门的,还是比较推荐大快搜索的DKHadoop发行版,三节点标准版还是值得拥有的(三节点的标准版是可以免费下载的,与付费版的目前功能一样,只是节点数量不同,对于新手而言三节点的够用了)。正在学习hadoop可以下载一下研究学习之用,也可以留言向我索要!...转载 2018-11-08 19:18:24 · 135 阅读 · 0 评论 -
hadoop需要哪些技术支持
hadoop是一个开源软件框架,可安装在一个商用机器集群中,使机器可彼此通信并协同工作,以高度分布式的方式共同存储和处理大量数据。最初,Hadoop 包含以下两个主要组件:Hadoop Distributed File System (HDFS) 和一个分布式计算引擎,该引擎支持以 MapReduce 作业的形式实现和运行程序。Hadoop 还提供了软件基础架构,以一系列 map 和 reduc...转载 2018-11-13 09:37:29 · 357 阅读 · 0 评论 -
Hadoop技术创新解决方案
如今有很多公司都在努力挖掘他们拥有的大量数据,包括结构化、非结构化、半结构化以及二进制数据等,来探索对数据的深入利用。大多数公司估计他们只分析了已有数据的12%,剩余88%还没有被充分利用。大量的数据孤岛和分析能力的缺乏是造成这种局面的主要原因。另外一个难题是如何判断数据是否有价值。尤其是在大数据时代,为了避免数据丢失你必须采集并存储这些数据。一些看起来与业务无关的数据,如手机GPS数据,将来也...转载 2018-11-13 09:36:07 · 303 阅读 · 0 评论 -
大快搜索数据爬虫技术实例安装教学篇
Hadoop作为搭建大数据处理平台的重要“基石”,关于它的分析和讲解的文章已经有很多了。Hadoop本身是一分布式的系统,因此在安装的时候,需要多每一个节点进行组建的安装。并且由于是开源软件,其安装过程相对比较复杂。这也是很多人在搭建hadoop运行环境时总是不能一次性成功的主要原因。hadoop每个组建都要做很多的配置工作,如果手动去完成这个工作,工作量其实还是非常庞大。正是这一点我觉得很多做...转载 2018-11-05 09:28:44 · 152 阅读 · 0 评论 -
大快搜索数据爬虫技术实例安装教学篇
大快搜索数据爬虫技术实例安装教学篇爬虫安装前准备工作:大快大数据平台安装完成、zookeeper、redis、elasticsearch、mysql等组件安装启动成功。1、修改爬虫安装配置文件(最好在线下修改好后再上传平台)2、修改crawler\dkcrw\jdbc.properties配置文件(只修改图片里的内容其他内容默认即可)Hbase.zookeeper.quorum所填地...转载 2018-11-05 09:25:49 · 162 阅读 · 0 评论 -
大数据分布式存储的部署模式:分离式or超融合
大数据分布式存储的部署模式:分离式or超融合数据中心内部系统的核心要求是“稳定可靠”,一是指系统在运行过程中有能力提供连续可靠的服务,长时间无故障运行;二是指当故障发生之后,有能力快速定位,及时排查,故障范围不蔓延。分离式部署的方式,使得系统与云平台系统相独立,避免了计算和存储争抢CPU/内存/网络等物理资源,一旦某一方资源需求骤升导致的另一方资源枯竭,从而影响性能并在整个基础架构中产生的涟漪...转载 2018-11-07 09:20:24 · 506 阅读 · 0 评论 -
hadoop入门学习教程--DKHadoop完整安装步骤
hadoop入门学习教程–DKHadoop完整安装步骤使用hadoop版本是DKH标准三节点发行版,DKHadoop版本的易用性比较好,环境部署要简单的多,参考此篇安装前请先下载DKHadoop版本,网盘链接:https://pan.baidu.com/s/1-427Sh6lTLrLAPh6KMOYVg 提取码:vg2w第一部分:准备工作1、 大数据平台所需配置:(1) 系统:CentO...转载 2018-11-07 09:19:38 · 470 阅读 · 1 评论 -
hadoop最新发行稳定版:DKHadoop版本选择详解
hadoop最新发行稳定版:DKHadoop版本选择详解Hadoop对于从事互联网工作的朋友来说已经非常熟悉了,相信在我们身边有很多人正在转行从事hadoop开发的工作,理所当然也会有很多hadoop入门新手。Hadoop开发太过底层,技术难度远比我们想象的要大,对新手而言选择一个合适的hadoop版本就意味着上手更快!Hadoop是由Apache基金会所开发的分布式系统基础架构,它最核心的设...转载 2018-10-23 10:17:48 · 143 阅读 · 0 评论 -
大数据hadoop入门之hadoop家族详解
大数据hadoop入门之hadoop家族详解大数据这个词也许几年前你听着还会觉得陌生,但我相信你现在听到hadoop这个词的时候你应该都会觉得“熟悉”!越来越发现身边从事hadoop开发或者是正在学习hadoop的人变多了。作为一个hadoop入门级的新手,你会觉得哪些地方很难呢?运行环境的搭建恐怕就已经足够让新手头疼。如果每一个发行版hadoop都可以做到像大快DKHadoop那样把各种环境搭...转载 2018-10-23 10:15:51 · 134 阅读 · 0 评论 -
hadoop大数据处理平台与案例
大数据能够在国内得到快速发展,甚至是国家层面的支持,最为重要的一点就是我们纯国产大数据处理技术的突破以及跨越式发展。在互联网深刻改变我们的生活、工作方式的当下,数据就成为了最为重要的资料。尤其是数据安全问题就更为突出,前阶段的Facebook用户数据泄漏所引发产生的一系列问题,就充分的说明了数据安全问题的严重性。大数据发展的必然趋势就是将会深刻改变我们的工作和生活方式,无论是企业还是个人也都必然会...转载 2018-10-09 13:43:07 · 246 阅读 · 0 评论 -
大快HanLP自然语言处理技术介绍
大快HanLP自然语言处理技术介绍这段时间一直在接触学习hadoop方面的知识,所以说对自然语言处理技术也是做了一些了解。网络上关于自然语言处理技术的分享文章很多,今天就给大家分享一下HanLP方面的内容。自然语言处理技术其实是所有与自然语言的计算机处理相关联的技术的统称,自然语言处理技术应用的目的是为了能够让计算机理解和接收我们用自然语言输入的指令,实现从将我们人类的语言翻译成计算机能够理解...转载 2018-10-09 13:37:59 · 151 阅读 · 0 评论 -
hadoop大数据平台架构之DKhadoop详解
hadoop大数据平台架构之DKhadoop详解大数据的时代已经来了,信息的爆炸式增长使得越来越多的行业面临这大量数据需要存储和分析的挑战。Hadoop作为一个开源的分布式并行处理平台,以其高拓展、高效率、高可靠等优点越来越受到欢迎。这同时也带动了hadoop商业版的发行。这里就通过大快DKhadoop为大家详细介绍一下hadoop大数据平台架构内容。目前国内的商业发行版hadoop除了大快D...转载 2018-10-09 13:04:43 · 776 阅读 · 0 评论 -
hadoop环境安装配置步骤详解
hadoop环境安装配置步骤详解在上一篇的分享文章中我是给大家分享了运行部署hadoop的一些安装准备工作,这篇接上一篇继续为大家分享一些个人的学习经验总结。我学习用的是大快发行版DKHadoop,所以所有的经验分享都是以DKHadoop为基础,这里要先说明一下。个人觉得DKHadoop对新手还是算是很友好的了,新手朋友们可以大快搜索网站下载一个三节点的dkhadoop玩一下看看。闲话到此结束...转载 2018-10-18 09:58:09 · 165 阅读 · 0 评论 -
hadoop入门教程之DKH安装环境准备
hadoop入门教程之DKH安装环境准备前几天去参加了一个线下的聚会,参加聚会的基本都是从事互联网工作的。会上有人提到了区块链,从而引发了一场关于大数据方面的探讨。我也是从去年才正式接触大数据,一直在学习hadoop。相信接触过hadoop的人都知道,。单独搭建hadoop里每个组建都需要运行环境、修改配置文件、测试等过程,每个组件几乎都有坑,尤其是让新手甚是苦恼。此前有在微博上与一些博友了解过...转载 2018-10-18 09:45:50 · 817 阅读 · 0 评论 -
从零开始学习hadoop之发行版选择
从零开始学习hadoop之发行版选择经常会看到这样的问题:零基础学习hadoop难不难?有的人回答说:零基础学习hadoop,没有想象的那么难,也没有想象的那么容易。看到这样的答案不免觉得有些尴尬,这个问题算是白问了,因为这个回答似乎什么也没给出来。这个问题的关键在于“零基础”到底是个什么样的基础?所谓的零基础大体可以分为两种:第一种是hadoop初学者,有一定的Linux基础、虚拟机和Jav...转载 2018-10-12 19:09:48 · 98 阅读 · 0 评论 -
大数据开发如何入门你必须知道这些
大数据开发如何入门你必须知道这些昨天和三个学计算机专业的学生聊天时聊到了大数据开发方面的话题,他们三个人中,有两个已经进入企业开始工作,另外一个还是大二学生,但已经开设了自己的工作室。他们都是从事程序开发方面工作的。大数据开发自然都有关注到,只是目前的大数据技能水平只能说是“小菜鸟”吧,连入门还谈不上。当然了,大数据开发方面我也只能算是个“小学生”,也是跟在师傅后面学。自然hadoop、区块链...转载 2018-10-12 19:08:36 · 152 阅读 · 0 评论 -
DKH企业级大数据解决方案的优势介绍
DKH企业级大数据解决方案的优势介绍大数据技术的发展与应用已经在深刻地改变和影响我们的日常生活与工作,可以预见的是在大数据提升为国家战略层面后,未来的几年里大数据技术将会被更多的行业应用。相信很多人对于大数据技术的应用还是处于一个非常陌生的阶段,可能在很多地方听说过大数据,但具体应用在哪方面可能就并不清楚了。举个最简单的的例子,前段时间新闻报道说警方在某明星的演唱会上抓捕了一名在逃嫌犯,而这名...转载 2018-09-26 15:50:00 · 210 阅读 · 0 评论 -
DKhadoop大数据平台基础框架的简单介绍
DKhadoop大数据平台基础框架的简单介绍大数据作为当下最为热门的事件之一,其实已经不算是很新鲜的事情了。如果是三五年前在讨论大数据,那可能会给人一种很新鲜的感觉。大数据作为当下最为重要的一项战略资源,已经是越来越得到国家和企业的高度重视,我们从大数据被上升到国家战略层面就可窥见一二!现在关于大数据的知识分享可以说已经是铺天盖地了,作为新手入门想查询的信息基本都可以通过网络查询到一些。我对的...转载 2018-09-26 15:48:38 · 306 阅读 · 0 评论 -
hadoop框架结构学习详述2018
hadoop框架结构学习详述近年,随着互联网的发展特别是移动互联网的发展,数据的增长呈现出一种爆炸式的成长势头。单是谷歌的爬虫程序每天下载的网页超过1亿个(2000年数据,)数据的爆炸式增长直接推动了海量数据处理技术的发展。谷歌公司提出的大表、分布式文件系统和分布式计算的三大技术构架,解决了海量数据处理的问题。谷歌公司随即将设计思路开源,发表了具有划时代意义的三篇论文,很快根据谷歌设计思路的开源...转载 2018-09-26 13:37:11 · 111 阅读 · 0 评论 -
hadoop商业版本选择对比2018
hadoop商业版本选择对比记得刚接触到hadoop的时候跟大部分人一样都会抱怨hadoop的安装部署问题,对于一个新手来说这这的是个头疼的问题,可能需要花费一整天的时间才能把分布式环境安装配置好。在刚接触hadoop的一段时间里,可以说对于hadoop的理解一直都是停留在相对较肤浅的层面。后来随着自己的不断摸索以及向圈内的前辈大神请教交流(主要是向大神请教学来的),自己对于hadoop的认识以...转载 2018-09-18 16:52:31 · 2744 阅读 · 1 评论