此id已存在-CSDN博客

原创如何使用HBase？大数据存储的两个实战场景

HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，适用于结构化的存储，底层依赖于Hadoop的HDFS，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。因此HBase被广泛使用在大数据存储的解决方案中。HBase的优点： - 列可以动态增加，并且列为空就不存储数据，节省存储空间。- Hbase自动切分数据，使得数据存储自动具有水平scalab...

2018-12-23 15:34:23 252

原创如何快速清理 Docker 无用资源

如果经常使用 docker，你会发现 docker 占用的资源膨胀很快，其中最明显也最容易被察觉的应该是对磁盘空间的占用。本文将介绍如何快速的清理 docker 占用的系统资源，具体点说就是删除那些无用的镜像、容器、网络和数据卷。查看 docker 占用的资源在进行资源清理之前我们有必要搞清楚 docker 都占用了哪些系统的资源。这需要综合使用不同的命令来完成。 dock...

2018-12-23 15:30:10 219

原创走进大数据 | 深入理解Apache Flink核心技术

Apache Flink（下简称Flink）项目是大数据处理领域最近冉冉升起的一颗新星，其不同于其他大数据项目的诸多特性吸引了越来越多人的关注。本文将深入分析Flink的一些关键技术与特性，希望能够帮助读者对Flink有更加深入的了解，对其他大数据系统开发者也能有所裨益。本文假设读者已对MapReduce、Spark及Storm等大数据处理框架有所了解，同时熟悉流处理与批处理的基本概念。 ...

2018-12-23 15:26:21 528

原创 Flume+Kafka+Storm+Redis构建大数据实时处理系统

数据处理方法分为离线处理和在线处理，今天写到的就是基于Storm的在线处理。在下面给出的完整案例中，我们将会完成下面的几项工作：如何一步步构建我们的实时处理系统（Flume+Kafka+Storm+Redis）实时处理网站的用户访问日志，并统计出该网站的PV、UV 将实时分析出的PV、UV动态地展示在我们的前面页面上如果你对上面提及的大数据组件已经有所认识，或者对如何构建大数据实时处理...

2018-12-23 15:20:02 311

原创 Hadoop大数据平台架构与实践

什么是Apache Hadoop？1 定义和特性可靠的、可扩展的、分布式计算开源软件。Apache Hadoop软件库是一个框架，允许使用简单的编程模型，在计算机集群分布式地处理大型数据集。它可以从单个服务器扩展到数千台机器，每个机器都提供本地计算和存储。每一台计算机都容易出现故障，库本身的目的是检测和处理应用层的故障，因此在一组计算机上提供高可用性服务，而不是依靠硬件来提供高...

2018-12-23 15:10:41 244

原创 Python大数据处理方案

SQLyog 导出表中数据存为csv文件选择数据库表 --> 右击属性 --> 备份/导出 --> 导出表数据作为 --> 选择cvs --> 选择下面的“更改” --> 字段 --> 可变长度--> 字段终止与 -->输入逗号，(这是重点，否则导出的csv文件内容都在一列中，而不是分字段分列)下面两个选项框取消。2.导出csv文...

2018-12-23 15:00:54 732

原创史上最详细的Hadoop环境搭建,从0开始，图解全部过程

Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署Apache Hadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目...

2018-12-11 00:19:08 5524 1

原创 Hadoop和我们生活映射对比学习

本篇文章作为分享心得体会！！！未经同意不得转载author 杨少大家都知道现在已经进入了一个Data时代，也就是数据时代。然而为什么促使着Hadoop的产生呢？？？？现在不管是软件app也好，哪怕是网站访问量使用量来说，用户的量是相当大的。这样一来这么庞大的数据日积月累就会引发一个存储问题。这也就是我们大数据要解决的问题：对大量数据的一个存储问题而这些数据我们存储过...

2018-10-23 17:27:14 168

原创 Linux网卡消失，无法正常使用一招解决烦恼

按顺序执行以下代码 Centos7操作系统　都是在root的权限下　　systemctl stop NetworkManager　　systemctl disable NetworkManager　　　　systemctl start network.service最后重启网卡就看到了　　重启网卡　　service network restart　　查看　　...

2018-10-18 15:07:25 12593

原创 Linux一键设置ip脚本代码（ip段192.168.1.nnn）

本脚本需要在linux连接工具中完成例如 xshell等工具vi ip.sh 将下面代码复制进去即可#!/bin/bash# 输出工具信息echo "~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~"echo "~~~ 欢迎使用自动IP配置工具，请谨慎操作 Author ...

2018-10-18 14:46:08 2337

原创 linux安装详解（图）Centos7系统

VMWare简介VMWare是一个公司，我们使用的是其旗下的名为VMWareWorkstation的产品。一般我们都简称为VMWare。需要注意的是其旗下有很多产品，我们使用的只是其中的一款而已。VMWareWorkstation软件的作用是在已经安装了操作系统的电脑的基础上，利用操作系统和硬件资源虚拟出来一个一定配置的电脑。这个功能需要电脑的CPU的支持，不过只要不是特别老旧的电脑基本都...

2018-10-18 14:32:35 261

原创如何用mybatis与数据库之间进行交互

如何使用Mybatis连接数库简介使用Mybatis连接数据库，使用Mybatis 创建一个工作空间，创建工程一、配置环境1、打开工程pom.xml配置文件，配置信息如下2、 <dependencies> <dependency> <groupId>mysql</groupId> <ar...

2018-04-08 20:23:38 3805

yanghenpi的博客