- 博客(18)
- 收藏
- 关注
RSS订阅转载 学习Hadoop大数据基础框架
什么是大数据？进入本世纪以来，尤其是2010年之后，随着互联网特别是移动互联网的发展，数据的增长呈爆炸趋势，已经很难估计全世界的电子设备中存储的数据到底有多少，描述数据系统的数据量的计量单位从MB（1MB大约等于一百万字节）、GB（1024MB）、TB（1024GB），一直向上攀升，目前，PB（等于1024TB）级的数据系统已经很常见，随着移动个人数据、社交网站、科学计算、证券交易、网站日志、传感...
2018-11-14 09:39:00
224
转载 什么是自然语言处理技术
自然语言处理（NLP）是计算机科学，人工智能，语言学关注计算机和人类（自然）语言之间的相互作用的领域。自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自...
2018-11-14 09:37:01
1999
转载 什么是大数据系统架构
大数据的应用开发过于偏向底层，具有学习难度大，涉及技术面广的问题，这制约了大数据的普及。现在需要一种技术，把大数据开发中一些通用的，重复使用的基础代码、算法封装为类库，降低大数据的学习门槛，降低开发难度，提高大数据项目的开发效率。大数据在工作中的应用有三种：与业务相关，比如用户画像、风险控制等；与决策相关，数据科学的领域，了解统计学、算法，这是数据科学家的范畴；与工程相关，如何实施、如何实现、...
2018-11-14 09:34:43
362
转载 hadoop需要哪些技术支持
hadoop是一个开源软件框架，可安装在一个商用机器集群中，使机器可彼此通信并协同工作，以高度分布式的方式共同存储和处理大量数据。最初，Hadoop 包含以下两个主要组件：Hadoop Distributed File System (HDFS) 和一个分布式计算引擎，该引擎支持以 MapReduce 作业的形式实现和运行程序。Hadoop 还提供了软件基础架构，以一系列 map 和 reduc...
2018-11-13 09:37:29
342
转载 Hadoop技术创新解决方案
如今有很多公司都在努力挖掘他们拥有的大量数据，包括结构化、非结构化、半结构化以及二进制数据等，来探索对数据的深入利用。大多数公司估计他们只分析了已有数据的12%，剩余88%还没有被充分利用。大量的数据孤岛和分析能力的缺乏是造成这种局面的主要原因。另外一个难题是如何判断数据是否有价值。尤其是在大数据时代，为了避免数据丢失你必须采集并存储这些数据。一些看起来与业务无关的数据，如手机GPS数据，将来也...
2018-11-13 09:36:07
291
转载 什么是大数据
一、什么是大数据进入本世纪以来，尤其是2010年之后，随着互联网特别是移动互联网的发展，数据的增长呈爆炸趋势，已经很难估计全世界的电子设备中存储的数据到底有多少，描述数据系统的数据量的计量单位从MB（1MB大约等于一百万字节）、GB（1024MB）、TB（1024GB），一直向上攀升，目前，PB（等于1024TB）级的数据系统已经很常见，随着移动个人数据、社交网站、科学计算、证券交易、网站日志、...
2018-11-12 18:43:46
222
转载 大数据框架hadoop服务角色介绍
大数据框架hadoop服务角色介绍翻了一下最近一段时间写的分享，DKHadoop发行版本下载、安装、运行环境部署等相关内容几乎都已经写了一遍了。虽然有的地方可能写的不是很详细，个人理解水平有限还请见谅吧！我记得在写DKHadoop运行环境部署的时候，遗漏了hadoop服务角色的内容，本篇特地补上这部分内容吧，不然总觉得不舒服。要在集群中运行DKHadoop服务，需要指定集群中的一个或多个节点...
2018-11-12 18:42:08
265
转载 学习hadoop需要什么基础
学习hadoop需要什么基础“学习hadoop需要什么基础”这已经不是一个新鲜的话题了，随便上网搜索一下就能找出成百上千篇的文章在讲学习hadoop需要掌握的基础。再直接的一点的问题就是——学Hadoop难吗？用一句特别让人无语的话回答就是：难不会，会不难！趁着学校放假的时间，写了一些hadoop学习分享的文章。刚开始写的几篇稍微有点乱，其中有一篇就是在说学习hadoop需要什么样基础的。所...
2018-11-08 19:19:31
100
转载 web开发安全框架中的Apache Shiro的应用
web开发安全框架中的Apache Shiro的应用前阶段就hadoop的分享了一些内容，希望对新手入门的朋友有点帮助吧！对于hadoop新手入门的，还是比较推荐大快搜索的DKHadoop发行版，三节点标准版还是值得拥有的（三节点的标准版是可以免费下载的，与付费版的目前功能一样，只是节点数量不同，对于新手而言三节点的够用了）。正在学习hadoop可以下载一下研究学习之用，也可以留言向我索要！...
2018-11-08 19:18:24
120
转载 大数据分布式存储的部署模式：分离式or超融合
大数据分布式存储的部署模式：分离式or超融合数据中心内部系统的核心要求是“稳定可靠”，一是指系统在运行过程中有能力提供连续可靠的服务，长时间无故障运行；二是指当故障发生之后，有能力快速定位，及时排查，故障范围不蔓延。分离式部署的方式，使得系统与云平台系统相独立，避免了计算和存储争抢CPU/内存/网络等物理资源，一旦某一方资源需求骤升导致的另一方资源枯竭，从而影响性能并在整个基础架构中产生的涟漪...
2018-11-07 09:20:24
480
转载 hadoop入门学习教程--DKHadoop完整安装步骤
hadoop入门学习教程–DKHadoop完整安装步骤使用hadoop版本是DKH标准三节点发行版，DKHadoop版本的易用性比较好，环境部署要简单的多，参考此篇安装前请先下载DKHadoop版本，网盘链接：https://pan.baidu.com/s/1-427Sh6lTLrLAPh6KMOYVg 提取码：vg2w第一部分：准备工作1、 大数据平台所需配置：(1) 系统：CentO...
2018-11-07 09:19:38
453
1
转载 大快网站：如何选择正确的hadoop版本
大快网站：如何选择正确的hadoop版本Hadoop的环境安装部署是所有刚开始学习hadoop必然要面对的一个问题，对于新手而言基本不会一次性部署成功，甚至可能要花费好几天的时间才能完成hadoop运行环境部署。所以对于新手来说，hadoop版本的选择还是比较重要的。Hadoop除了Apache这个版本，还有许多第三方的版本，版本虽多但能够像大快DKH有效解决hadoop部署管理复杂的问题很少。...
2018-11-06 09:39:33
148
转载 零基础学习hadoop开发先明白这层关系
零基础学习hadoop开发先明白这层关系大数据hadoop无疑是当前互联网领域受关注热度最高的词之一，大数据技术的应用正在潜移默化中对我们的生活和工作产生巨大的改变。这种改变给我们的感觉是“水到渠成”，更为让人惊叹的是大数据已经仅仅是互联网行业的风口了，更是被上升到了国家战略层面的高度，大数据行业的黄金期就这样爆发了。于是在IT领域掀起了一股学习hadoo的浪潮••••••零基础学习hado...
2018-11-06 09:39:02
113
转载 大快搜索数据爬虫技术实例安装教学篇
Hadoop作为搭建大数据处理平台的重要“基石”，关于它的分析和讲解的文章已经有很多了。Hadoop本身是一分布式的系统，因此在安装的时候，需要多每一个节点进行组建的安装。并且由于是开源软件，其安装过程相对比较复杂。这也是很多人在搭建hadoop运行环境时总是不能一次性成功的主要原因。hadoop每个组建都要做很多的配置工作，如果手动去完成这个工作，工作量其实还是非常庞大。正是这一点我觉得很多做...
2018-11-05 09:28:44
143
转载 大快搜索数据爬虫技术实例安装教学篇
大快搜索数据爬虫技术实例安装教学篇爬虫安装前准备工作：大快大数据平台安装完成、zookeeper、redis、elasticsearch、mysql等组件安装启动成功。1、修改爬虫安装配置文件(最好在线下修改好后再上传平台)2、修改crawler\dkcrw\jdbc.properties配置文件(只修改图片里的内容其他内容默认即可)Hbase.zookeeper.quorum所填地...
2018-11-05 09:25:49
151
转载 大快DKhadoop开发环境安装常见问题及解决方案汇总
大快DKhadoop开发环境安装常见问题及解决方案汇总2018年度国内大数据公司排名50强本月初榜单发布，榜单上看到大快搜索跻身50强，再看看他们做的DKHadoop发行版，的确还是蛮厉害的吧！最起码这款DKHadoop用起来确实在易用性方面要更好！Dkhadoop版本的下载安装以及运行环境搭建等各个方面内容基本都已经分享过了，今天给大家就dkhadoop开发环境安装中常见的问题以及解决方法进行...
2018-11-02 09:30:43
182
转载 大快搜索大数据可视化平台监控功能深度解析
大快搜索大数据可视化平台监控功能深度解析在上一篇的文章中已经明确说过DKM作为大快发行版DKhadoop的管理平台，它的四大功能分别是：管理功能，监控功能，诊断功能和集成功能。管理功能已经给大家列举了一些做了说明，今天就DKM平台的监控功能再给大家做细致的分享分析。DKM 提供了许多监控功能，用于检测集群健康，组件性能以及集群中运行的作业的性能和资源需求。具体包括以下监控功能：1、服务监控...
2018-11-02 09:30:01
432
转载 深度解析大快DKM大数据运维管理平台功能
深度解析大快DKM大数据运维管理平台功能之前几周的时间一直是在围绕DKhadoop的运行环境搭建写分享，有一些朋友留言索要了dkhadoop安装包，不知道有没有去下载安装一探究竟。关于DKHadoop下载安装基本已经讲清楚了，这几天有点空闲把大快DKM大数据运维管理平台的内容整理了一些，作为DKHadoop相配套的管理平台，是有必要对DKM有所了解的。DKM 是DKHadoop管理平台。作为大...
2018-11-02 09:28:10
214
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人