大数据
文章平均质量分 85
此id已存在
为了那些得不到的努力
展开
-
Hadoop和我们生活映射对比学习
本篇文章作为分享心得体会!!!未经同意不得转载author 杨少大家都知道现在已经进入了一个Data时代,也就是数据时代。然而为什么促使着Hadoop的产生呢????现在不管是软件app也好,哪怕是网站访问量使用量来说,用户的量是相当大的。这样一来这么庞大的数据日积月累就会引发一个存储问题。这也就是我们大数据要解决的问题:对大量数据的一个存储问题 而这些数据我们存储过...原创 2018-10-23 17:27:14 · 180 阅读 · 0 评论 -
史上最详细的Hadoop环境搭建,从0开始,图解全部过程
Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,决定在大数据技术道路上走多远。这是一篇入门文章,Hadoop的学习方法很多,网上也有很多学习路线图。本文的思路是:以安装部署Apache Hadoop2.x版本为主线,来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的,通过安装认识Hadoop才是目...原创 2018-12-11 00:19:08 · 5616 阅读 · 1 评论 -
Python大数据处理方案
SQLyog 导出表中数据存为csv文件 选择数据库表 --> 右击属性 --> 备份/导出 --> 导出表数据作为 --> 选择cvs --> 选择下面的“更改” --> 字段 --> 可变长度--> 字段终止与 -->输入逗号,(这是重点,否则导出的csv文件内容都在一列中,而不是分字段分列)下面两个选项框取消。2.导出csv文...原创 2018-12-23 15:00:54 · 744 阅读 · 0 评论 -
Hadoop大数据平台架构与实践
什么是Apache Hadoop?1 定义和特性可靠的、可扩展的、分布式计算开源软件。Apache Hadoop软件库是一个框架,允许使用简单的编程模型,在计算机集群分布式地处理大型数据集。它可以从单个服务器扩展到数千台机器,每个机器都提供本地计算和存储。每一台计算机都容易出现故障,库本身的目的是检测和处理应用层的故障,因此在一组计算机上提供高可用性服务,而不是依靠硬件来提供高...原创 2018-12-23 15:10:41 · 252 阅读 · 0 评论 -
Flume+Kafka+Storm+Redis构建大数据实时处理系统
数据处理方法分为离线处理和在线处理,今天写到的就是基于Storm的在线处理。在下面给出的完整案例中,我们将会完成下面的几项工作:如何一步步构建我们的实时处理系统(Flume+Kafka+Storm+Redis) 实时处理网站的用户访问日志,并统计出该网站的PV、UV 将实时分析出的PV、UV动态地展示在我们的前面页面上如果你对上面提及的大数据组件已经有所认识,或者对如何构建大数据实时处理...原创 2018-12-23 15:20:02 · 331 阅读 · 0 评论 -
走进大数据 | 深入理解Apache Flink核心技术
Apache Flink(下简称Flink)项目是大数据处理领域最近冉冉升起的一颗新星,其不同于其他大数据项目的诸多特性吸引了越来越多人的关注。本文将深入分析Flink的一些关键技术与特性,希望能够帮助读者对Flink有更加深入的了解,对其他大数据系统开发者也能有所裨益。本文假设读者已对MapReduce、Spark及Storm等大数据处理框架有所了解,同时熟悉流处理与批处理的基本概念。 ...原创 2018-12-23 15:26:21 · 540 阅读 · 0 评论 -
如何快速清理 Docker 无用资源
如果经常使用 docker,你会发现 docker 占用的资源膨胀很快,其中最明显也最容易被察觉的应该是对磁盘空间的占用。本文将介绍如何快速的清理 docker 占用的系统资源,具体点说就是删除那些无用的 镜像、容器、网络和数据卷。 查看 docker 占用的资源在进行资源清理之前我们有必要搞清楚 docker 都占用了哪些系统的资源。这需要综合使用不同的命令来完成。 dock...原创 2018-12-23 15:30:10 · 233 阅读 · 0 评论 -
如何使用HBase?大数据存储的两个实战场景
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,适用于结构化的存储,底层依赖于Hadoop的HDFS,利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。因此HBase被广泛使用在大数据存储的解决方案中。HBase的优点: - 列可以动态增加,并且列为空就不存储数据,节省存储空间。- Hbase自动切分数据,使得数据存储自动具有水平scalab...原创 2018-12-23 15:34:23 · 262 阅读 · 0 评论