hadoop
文章平均质量分 71
adnb34g
这个作者很懒,什么都没留下…
展开
-
大快搜索城市运河大数据政务管理平台案例解读
大数据在政务当中的应用对于提高问题解决的效率可谓大有帮助,但政务大数据平台的应用开发远不止提高问题解决效率这么简单。当然,作为大数据平台应用的开发者来说,我们要做的是还是从底层的技术层面做好解决方案。关于政务大数据平台的解决方案此前有分享过智慧人社的和城市智慧停车的大数据平台解决方案,本篇给大家分享一个新的政务大数据平台管理案例——大快搜索的城市数据运河政务大数据管理运营平台。 ...原创 2018-12-24 09:19:39 · 363 阅读 · 0 评论 -
大快搜索hadoop入门基础教程之安装问题整理
2018年度国内大数据公司排名50强本月初榜单发布,榜单上看到大快搜索跻身50强,再看看他们做的DKHadoop发行版,的确还是蛮厉害的吧!最起码这款DKHadoop用起来确实在易用性方面要更好!Dkhadoop版本的下载安装以及运行环境搭建等各个方面内容基本都已经分享过了,今天给大家就dkhadoop开发环境安装中常见的问题以及解决方法进行汇总整理,希望对一些朋友有帮助吧!DKHadoo...原创 2018-08-22 10:08:43 · 366 阅读 · 0 评论 -
DKhadoop安装包下载与监控参数说明
前阶段用了差不多两周的时间把DKhadoop的运行环境搭建以及安装的各个操作都介绍了一遍。关于DKhadoop安装包下载也只是顺带说了一下,但好像大快搜索的服务器在更新,新的下载页面还不好用!有好些朋友留言说了大快搜索网站上无法下载。我已经将之前下载的这个版本上传到了网盘了,需要的DKhadoop安装包的朋友可以直接通过网盘下载!DKHadoop安装包下载:关于DKhadoop版本在写Ha...原创 2018-08-13 13:08:00 · 2074 阅读 · 2 评论 -
大快DKH大数据基础服务平台监控参数说明
2018年国内大数据公司50强榜单排名已经公布了出来,大快以黑马之姿闯入50强,并摘得多项桂冠。Hanlp自然语言处理技术也荣膺了“2018中国数据星技术”奖。对这份榜单感兴趣的可以找一下看看。本篇承接上一篇《DKM平台监控参数说明》,继续就大快的大数据一体化处理架构中的平台监控参数进行介绍和说明。DKhadoop大数据处理平台架构的安装相关文章已经分享过,详细的内容可以找一下看看。在上一...原创 2018-08-15 13:54:56 · 455 阅读 · 0 评论 -
超详细hadoop下载安装教程(附图文)
在前几篇的文章中分别就虚拟系统安装、LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程,本篇分享的是hadoop的下载安装步骤。在此之前有必要做一个简单的说明:分享的所有内容是以个人的操作经验为基础,有的人看完可能会说跟他做过的不一样。这个可能还是跟大家所使用的发行版hadoop不同造成的吧。我是下载的一个大快搜索的DKhadoop发行版,三个节点的标准版本,个人研究或...原创 2018-08-03 10:23:53 · 83473 阅读 · 180 评论 -
重磅|大快搜索上榜2018中国大数据企业50强 ——斩获“2018中国大数据产业生态大会”多项大奖,成年度最大黑马
重磅|大快搜索上榜2018中国大数据企业50强 ——斩获“2018中国大数据产业生态大会”多项大奖,成年度最大黑马近日,由工信部中国电子...原创 2018-08-10 14:40:40 · 559 阅读 · 0 评论 -
hadoop入门篇:hadoop入门教程汇总贴
关于hadoop的分享此前一直都是零零散散的想到什么就写什么,整体写的比较乱吧。最近可能还算好的吧,毕竟花了两周的时间详细的写完的了hadoop从规划到环境安装配置等全部内容。写过程不是很难,最烦的可能还是要给每一步配图,工程量确实比较大。原计划准备接上一篇内容写dkhadoop的监控页面的参数,突然觉得还是有必要把上两周写的内容做一个汇总,这样方便需要的朋友浏览。上两周写的五篇内容,汇总到一...原创 2018-08-06 13:06:43 · 2307 阅读 · 1 评论 -
hadoop服务器基础环境搭建之Hadoop服务器配置教程
虚拟机以及Linux系统安装在之前的两篇分享中已经详细的介绍了方法,并且每一步的都配图了。如果有朋友还是看不懂,那我也爱莫能助了。本篇主要就hadoop服务器操作系统配置进行详细说明,hadoop安装会在下一篇文章中详细的介绍。hadoop安装包用的是大快DKHadoop发行版,个人觉得DKHadoop的安装过程是比较简单,关于dkhadoop的安装在下一次的分享中再详细介绍吧。下面进入到本篇...原创 2018-08-01 11:26:36 · 7235 阅读 · 2 评论 -
最新虚拟机搭建hadoop环境详细图文教程
前两天看到有人留言问在什么情况下需要部署hadoop,我给的回答也很简单,就是在需要处理海量数据的时候才需要考虑部署hadoop。关于这个问题在很早之前的一篇分享文档也有说到这个问题,数据量少的完全发挥不了hadoop的优势,所以也没必要部署。但对于正在学习hadoop的朋友来说,hadoop运行环境部署真的是件非常头疼的事情。计划在接下来的一段时间里,以我之前学习研究大快搜索DKHadoop...原创 2018-07-28 11:07:57 · 23301 阅读 · 5 评论 -
Hadoop伪分布式环境搭建之Linux系统安装教程
本篇文章是接上一篇《超详细hadoop虚拟机安装教程(附图文步骤)》,上一篇有人问怎么没写hadoop安装。在文章开头就已经说明了,hadoop安装会在后面写到,因为整个系列的文章涉及到每一步的截图,导致文章整体很长。会分别先对虚拟机的安装、Linux系统安装进行介绍,然后才会写到hadoop安装,关于hadoop版本我使用的是大快搜索三节点发行版DKhadoop。(三节点的DKHadoop发行版...原创 2018-07-30 13:34:00 · 4460 阅读 · 0 评论 -
hadoop集群管理系统搭建规划说明
Hadoop分布式集群环境搭建是每个入门级新手都非常头疼的事情,因为你可能花费了很久的时间在搭建运行环境,最终却不知道什么原因无法创建成功。但对新手来说,运行环境搭建不成功的概率还蛮高的。在之前的分享文章中给hadoop新手入门推荐的大快搜索DKHadoop发行版,在运行环境安装方面的确要比其他的发行版hadoop要简单的多,毕竟DKHadoop是对底层重新集成封装的,对与研究hadoop尤其...原创 2018-07-26 10:44:07 · 4828 阅读 · 0 评论 -
DKH大数据入门级学习笔记: SQL与NoSQL
这几年的大数据热潮带动了一激活了一大批hadoop学习爱好者。有自学hadoop的,有报名培训班学习的。所有接触过hadoop的人都知道,单独搭建hadoop里每个组建都需要运行环境、修改配置文件测试等过程。对于我们这些入门级新手来说简直每个都是坑。国内的发行版hadoop那么多,似乎都没有来填这样的坑?不知道是没法解决,还是没有想到?安装运行环境这样的坑,那些做国产大数据底层开发的,如果不能解决...原创 2018-07-14 14:51:04 · 380 阅读 · 0 评论 -
大快搜索DKM大数据运维管理平台深度解析
之前几周的时间一直是在围绕DKhadoop的运行环境搭建写分享,有一些朋友留言索要了dkhadoop安装包,不知道有没有去下载安装一探究竟。关于DKHadoop下载安装基本已经讲清楚了,这几天有点空闲把大快DKM大数据运维管理平台的内容整理了一些,作为DKHadoop相配套的管理平台,是有必要对DKM有所了解的。DKM 是DKHadoop管理平台。作为大数据平台端到端Apache Hado...原创 2018-08-17 10:55:52 · 1486 阅读 · 0 评论 -
DKHhadoop集群添加节点管理功能的操作说明
Hadoop作为搭建大数据处理平台的重要“基石”,关于它的分析和讲解的文章已经有很多了。Hadoop本身是一分布式的系统,因此在安装的时候,需要多每一个节点进行组建的安装。并且由于是开源软件,其安装过程相对比较复杂。这也是很多人在搭建hadoop运行环境时总是不能一次性成功的主要原因。hadoop每个组建都要做很多的配置工作,如果手动去完成这个工作,工作量其实还是非常庞大。正是这一点我觉得...原创 2018-08-27 11:01:25 · 320 阅读 · 0 评论 -
Hadoop数据分析实例:P2P借款人信用风险实时监控模型设计
一提到hadoop相信熟悉IT领域或者经常关注互联网新闻的朋友都应该很熟悉了,当然,这种熟悉可能也只是听着名字耳熟,但并不知道它具体是什么东西,或者用来做什么。这些都不重要,重要的是你知道有hadoop这么个东西就可以了。前段时间码了一些hadoop方面的分享文章,纯属个人的一点小经验,可能有的地方写的不好,将就下吧!今天要分享的这篇是转载的一篇大快搜索公众号上的文章,是关于时下比较热闹的P2...转载 2018-09-29 11:26:17 · 1218 阅读 · 0 评论 -
学hadoop需要什么基础
最近一段时间一直在接触关于hadoop方面的内容,从刚接触时的一片空白,到现在也能够说清楚一些问题。这中间到底经历过什么只怕也就是只有经过的人才会体会到吧。前几天看到有个人问“学hadoop需要什么基础”,这个问题好像至今还没好好细想过,可能是因为身边有大神在带着我学习hadoop的缘故,也就没想过这样的一个简单的问题。我们目前在用的hadoop版本并不是原生态的版本,我们在用的是国内的一款商...原创 2018-09-20 16:03:39 · 292 阅读 · 0 评论 -
hadoop商业版本选择对比
记得刚接触到hadoop的时候跟大部分人一样都会抱怨hadoop的安装部署问题,对于一个新手来说这这的是个头疼的问题,可能需要花费一整天的时间才能把分布式环境安装配置好。在刚接触hadoop的一段时间里,可以说对于hadoop的理解一直都是停留在相对较肤浅的层面。后来随着自己的不断摸索以及向圈内的前辈大神请教交流(主要是向大神请教学来的),自己对于hadoop的认识以及应用也就更加娴熟。作为一...转载 2018-09-14 15:58:21 · 811 阅读 · 0 评论 -
hadoop发行版本之间的区别
Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop的发行版除了有Apache hadoop外cloudera,hortonworks,mapR,华为,DKhadoop等都提供了自己的商业版本。商业发行版主要是提供了更为专业的技术支持,这对于大型企业更为重要,不同发行版都有自己的一些特点,本文就各发行版做简单对比介绍。...转载 2018-09-11 10:21:47 · 539 阅读 · 0 评论 -
大数据框架hadoop服务角色介绍
翻了一下最近一段时间写的分享,DKHadoop发行版本下载、安装、运行环境部署等相关内容几乎都已经写了一遍了。虽然有的地方可能写的不是很详细,个人理解水平有限还请见谅吧!我记得在写DKHadoop运行环境部署的时候,遗漏了hadoop服务角色的内容,本篇特地补上这部分内容吧,不然总觉得不舒服。要在集群中运行DKHadoop服务,需要指定集群中的一个或多个节点执行该服务的特定功能,角色分配是必须...原创 2018-09-11 08:40:55 · 297 阅读 · 0 评论 -
快速学习hadoop只有这些基础可不行
“学习hadoop需要什么基础”这已经不是一个新鲜的话题了,随便上网搜索一下就能找出成百上千篇的文章在讲学习hadoop需要掌握的基础。再直接的一点的问题就是——学Hadoop难吗?用一句特别让人无语的话回答就是:难不会,会不难!趁着学校放假的时间,写了一些hadoop学习分享的文章。刚开始写的几篇稍微有点乱,其中有一篇就是在说学习hadoop需要什么样基础的。所谓的难不会,会不难,必然也...原创 2018-09-08 10:13:34 · 1811 阅读 · 2 评论 -
零基础学习hadoop开发先明白这层关系
大数据hadoop无疑是当前互联网领域受关注热度最高的词之一,大数据技术的应用正在潜移默化中对我们的生活和工作产生巨大的改变。这种改变给我们的感觉是“水到渠成”,更为让人惊叹的是大数据已经仅仅是互联网行业的风口了,更是被上升到了国家战略层面的高度,大数据行业的黄金期就这样爆发了。于是在IT领域掀起了一股学习hadoo的浪潮······零基础学习hadoop开发是很多新手关心的问题,当然零基...原创 2018-08-29 11:22:39 · 322 阅读 · 0 评论 -
hadoop入门学习教程:DKHadoop完整安装步骤
使用hadoop版本是DKH标准三节点发行版,DKHadoop版本的易用性比较好,环境部署要简单的多,参考此篇安装前请先下载DKHadoop版本,网盘链接:https://pan.baidu.com/s/1-427Sh6lTLrLAPh6KMOYVg 提取码:vg2w 第一部分:准备工作1、大数据平台所需配置:(1) 系统:CentOS 6.5 64位(需默认安装Desktop)...原创 2018-08-31 11:54:25 · 2835 阅读 · 1 评论 -
大快搜索数据爬虫技术实例安装教学篇
在线爬虫是大快大数据一体化开发框架的重要组成部分,本篇重点分享在线爬虫的安装。爬虫安装前准备工作:大快大数据平台安装完成、zookeeper、redis、elasticsearch、mysql等组件安装启动成功。1、修改爬虫安装配置文件(最好在线下修改好后再上传平台)2、修改crawler\dkcrw\jdbc.properties配置文件(只修改图片里的内容其他内容默认即可)...原创 2018-08-24 10:26:39 · 408 阅读 · 0 评论 -
大快搜索:做大数据底层技术的领跑者
提起搜索引擎,多数人首先会想到谷歌、百度,而对于“大快搜索”,在普通用户印象中会有些陌生。但在互联网企业圈里,它作为“大数据+人工智能基础软件供应商”,已经获得了越来越多的认可。因为想干一件打破国外大数据底层技术垄断的“大快人心”的事情,2015年,33岁的薛铮和几位合伙人共同创办了大快搜索。大快搜索的第一版大数据运行平台DKH自2016年7月推出后仅仅一年多,就与国内171家企业达成合作。这...转载 2018-08-20 15:39:58 · 944 阅读 · 0 评论 -
大快搜索大数据可视化平台监控功能深度解析
在上一篇的文章中已经明确说过DKM作为大快发行版DKhadoop的管理平台,它的四大功能分别是:管理功能,监控功能,诊断功能和集成功能。管理功能已经给大家列举了一些做了说明,今天就DKM平台的监控功能再给大家做细致的分享分析。DKM 提供了许多监控功能,用于检测集群健康,组件性能以及集群中运行的作业的性能和资源需求。具体包括以下监控功能:1、服务监控:查看服务和角色实例级别健康检查...原创 2018-08-20 10:49:41 · 6960 阅读 · 0 评论 -
hadoop最新稳定版本dkhadoop版本介绍
Hadoop对于从事互联网工作的朋友来说已经非常熟悉了,相信在我们身边有很多人正在转行从事hadoop开发的工作,理所当然也会有很多hadoop入门新手。Hadoop开发太过底层,技术难度远比我们想象的要大,对新手而言选择一个合适的hadoop版本就意味着上手更快!Hadoop是由Apache基金会所开发的分布式系统基础架构,它最核心的设计就是HDFS和MapReduce。HDFS为海量的数据...原创 2018-07-18 09:57:48 · 2827 阅读 · 1 评论 -
hadoop环境安装配置步骤详细解说
在上一篇的分享文章中我是给大家分享了运行部署hadoop的一些安装准备工作,这篇接上一篇继续为大家分享一些个人的学习经验总结。我学习用的是大快发行版DKHadoop,所以所有的经验分享都是以DKHadoop为基础,这里要先说明一下。个人觉得DKHadoop对新手还是算是很友好的了,新手朋友们可以大快搜索网站下载一个三节点的dkhadoop玩一下看看。闲话到此结束,本篇重点整理的是服务器操作系统的配...原创 2018-07-05 15:42:40 · 5722 阅读 · 0 评论 -
hadoop家族学习路线图之hadoop产品详解
大数据这个词也许几年前你听着还会觉得陌生,但我相信你现在听到hadoop这个词的时候你应该都会觉得“熟悉”!越来越发现身边从事hadoop开发或者是正在学习hadoop的人变多了。作为一个hadoop入门级的新手,你会觉得哪些地方很难呢?运行环境的搭建恐怕就已经足够让新手头疼。如果每一个发行版hadoop都可以做到像大快DKHadoop那样把各种环境搭建集成到一起,一次安装搞定所有,那对于新手来说...原创 2018-07-17 14:27:35 · 1587 阅读 · 0 评论 -
DKhadoop大数据基础架构设计方案
大数据作为当下最为热门的事件之一,其实已经不算是很新鲜的事情了。如果是三五年前在讨论大数据,那可能会给人一种很新鲜的感觉。大数据作为当下最为重要的一项战略资源,已经是越来越得到国家和企业的高度重视,我们从大数据被上升到国家战略层面就可窥见一二!现在关于大数据的知识分享可以说已经是铺天盖地了,作为新手入门想查询的信息基本都可以通过网络查询到一些。我对的大数据的了解其实也不是特别丰富,毕竟学习的时间也...原创 2018-05-15 12:11:43 · 812 阅读 · 0 评论 -
大快城市智慧停车管理系统架构体系介绍
最近几年随着大数据技术快速发展与应用,智慧城市随即被正式提出。而且,我们也可以深刻感受到“智慧”正在慢慢改变我们的生活方式和城市。要让城市变智慧的地方太多太多,当前我们接触做多的可能就是外出停车,比如很多商场的停车系统,很多商城的停车场都实现了无人值守。这就是得益于智慧城市停车云平台。很多人对智慧停车云的概念不是明白,智慧停车平台就是利用云计算、物联网、大数据处理技术等手段,通过可持续运营的商业服...原创 2018-05-25 11:11:51 · 7020 阅读 · 1 评论 -
大快大数据开发框架的构成模块
大数据也不是近几年才出现的新东西,只是最近几年才真正意义上变得热门、火爆!而这要得益于互联网信息技术的快速发展,网络改变世界、改变生活,大数据技术的应用让这样的改变更为深刻。关注大数据或者是互联网方面新闻的人应该知道,大数据已经上升到了国家战略的高度。可以说这是时代发展的必然趋势,从国家战略层面推进大数据技术的普及与应用,一个至关重要且非常核心的问题——数据安全问题就非常突出。解决数据安全问题,必...原创 2018-05-07 13:37:09 · 808 阅读 · 0 评论 -
DKH大数据整体解决方案的优势介绍
大数据技术的发展与应用已经在深刻地改变和影响我们的日常生活与工作,可以预见的是在大数据提升为国家战略层面后,未来的几年里大数据技术将会被更多的行业应用。相信很多人对于大数据技术的应用还是处于一个非常陌生的阶段,可能在很多地方听说过大数据,但具体应用在哪方面可能就并不清楚了。举个最简单的的例子,前段时间新闻报道说警方在某明星的演唱会上抓捕了一名在逃嫌犯,而这名嫌犯是在进入现场时被监控识别出来的。这种...原创 2018-05-18 15:39:14 · 1390 阅读 · 0 评论 -
政务大数据解决方案之大快DKhadoop
从事大数据行业的朋友应该都知道大数据已经上升到了国家战略高度,2015年8月31日,国务院印发了《促进大数据发展行动纲要》。旨在通过建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理机制,实现基于数据的科学决策。目前,我国每年善生并被存储的数据总量超过800EB,相当于全人类讲过的话160倍。我国的电子政务发展指数为0.6071,排名第63位。经过这几年的发展的,已经偶60余个地方政府出...原创 2018-05-11 16:40:18 · 1522 阅读 · 0 评论 -
hadoop大数据处理平台与案例
大数据可以说是从搜索引擎诞生之处就有了,我们熟悉的搜索引擎,如百度搜索引擎、360搜索引擎等可以说是大数据技处理技术的最早的也是比较基础的一种应用。大概在2015年大数据都还不是非常火爆,2015年可以说是大数据的一个分水岭。随着互联网技术的快速发展,大数据也随之迎来它的发展高峰期。整个大数据处理技术的核心基础hadoop、mapreduce、nosql系统,而这三个系统是建立在谷歌提出的大表、分...原创 2018-04-16 16:27:54 · 7059 阅读 · 0 评论 -
Hadoop的集群环境部署说明
Hadoop集群环境搭建是很多学习hadoop学习者或者是使用者都必然要面对的一个问题,网上关于hadoop集群环境搭建的博文教程也蛮多的。对于玩hadoop的高手来说肯定没有什么问题,甚至可以说事“手到擒来”的事情,但对于hadoop的初学者来说,hadoop集群环境的搭建着实压力不小。网上关于hadoop集群环境搭建的文章有很多,可以说是“图文并茂”,对于新手而言即使步骤再详细,但看着这么多步...原创 2018-03-27 15:32:19 · 1462 阅读 · 0 评论 -
hadoop大数据平台架构之DKhadoop详解
大数据的时代已经来了,信息的爆炸式增长使得越来越多的行业面临这大量数据需要存储和分析的挑战。Hadoop作为一个开源的分布式并行处理平台,以其高拓展、高效率、高可靠等优点越来越受到欢迎。这同时也带动了hadoop商业版的发行。这里就通过大快DKhadoop为大家详细介绍一下hadoop大数据平台架构内容。目前国内的商业发行版hadoop除了大快DKhadoop以外还有像华为云等。虽然发行方不同,但...原创 2018-04-08 15:53:31 · 1333 阅读 · 0 评论 -
hadoop框架结构学习详述
近年,随着互联网的发展特别是移动互联网的发展,数据的增长呈现出一种爆炸式的成长势头。单是谷歌的爬虫程序每天下载的网页超过1亿个(2000年数据,)数据的爆炸式增长直接推动了海量数据处理技术的发展。谷歌公司提出的大表、分布式文件系统和分布式计算的三大技术构架,解决了海量数据处理的问题。谷歌公司随即将设计思路开源,发表了具有划时代意义的三篇论文,很快根据谷歌设计思路的开源框架就出现了,就是如今非常火爆...原创 2018-03-30 16:42:32 · 370 阅读 · 0 评论 -
NLP「自然语言处理技术」
NLP是什么 在计算机领域, NLP(Natural Language Processing),也就是人们常说的「自然语言处理」,就是研究如何让计算机读懂人类语言。这包括,既要能让计算机理解自然语言文本的意义,也能以自然语言文本来表达给定的深层的意图、思想等。所以,这项技术往往体现了人工智能的最高任务与境界,也就是说,只有当计算机具备了理解自然语言的能力时,机器才算实现了真正的智能。但是,...翻译 2018-03-22 17:27:44 · 825 阅读 · 0 评论 -
智慧政务云平台建设方案架构介绍
大数据技术的应用与发展正在让我们的生活经历一场深刻的“变革”,而且这种变革几乎让所有人都感觉非常舒服,自然而然的就完成了这样的一个变化。最根本的原因其实是大数据技术的应用真正帮助我们解决了问题。我想也正是基于大数据技术的超强实用性吧,它才会被上升到国家战略层面的高度得以出现在政府工作报告中。大数据技术的应用于,对于建设智慧政务平台的可谓功不可没。智慧政务云平台的建设技术以及方案,可以说是比较成熟了...原创 2018-06-12 11:31:43 · 14299 阅读 · 0 评论 -
hadoop项目开发案例方案汇总
大数据Hadoop应用开发技术正可谓如火如荼推进中,以为大数据已经不仅仅是局限在互联网领域,而是已经被上升到了国家战略的高度层面。大数据正在深刻影响和改变我们的日常生活和工作方式。Hadoop应用开发太过偏底层,难度之大真不是我们一般人所能够理解的。有的人会说,不都是倒腾代码吗?有什么难的!如果真是这样想,那就真的完蛋了。做hadoop底层的开发,真不是一般人和一般的企业就能够去做的。问个超级简单...原创 2018-06-05 16:01:20 · 640 阅读 · 0 评论