![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
千手修罗之乐少
过放荡不羁的生活,容易得像顺水推舟,但是要结识良朋益友,却难如登天。
展开
-
大数据是什么?怎么学习?
一、大数据是什么?有很多朋友问过我,大数据到底是什么?一句话来概括针对非软件行业的朋友 根据你平时在超市,加油站,饭店等地方的一些消费行为,通过大数据这个技术,我们可以知道你现在的年龄范围,是否婚配,是否有孩子,孩子大致是几岁,是否有固定住宅,车大致是什么价位的等信息。 针对软件行业的朋友 平时我们写的程序都是在一台机器上运行,处理能力有限,当然,数据量也是有限的。大数据这个技术...原创 2019-03-20 21:46:19 · 236 阅读 · 0 评论 -
什么是Javaconfig?springboot的常用注解和原理是什么?
一.什么是Javaconfig JavaConfig,是在 Spring 3.0 开始从一个独立的项目并入到 Spring 中的。JavaConfig 可以看成一个用于完成 Bean 装配的 Spring 配置文件,即 Spring 容器,只不过该容器不是 XML文件,而是由程序员使用 Java 自己编写的 Java 类。 定义 JavaConfig 类 对于一...原创 2019-03-21 20:03:36 · 1831 阅读 · 1 评论 -
Hadoop介绍?Hadoop的优势和四大组件并且四大组建的作用是什么?
一、Hadoop是什么?1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构2)主要解决,海量数据的存储和海量数据的分析计算问题。3)广义上来说,HADOOP通常是指一个更广泛的概念——HADOOP生态圈二、Hadoop的优势是什么?1)高可靠性:因为Hadoop假设计算元素和存储会出现故障,因为它维护多个工作数据副本,在出现故障时可以对失败的节点重新分布处理。...原创 2019-04-01 20:51:41 · 2758 阅读 · 0 评论 -
大数据的特征及开发流程
一、特征 数据量大:任何时候的任何事都可以看作为数据,都可以以数据的形式存储或者处理。 数据多样性:数据类型多种多样,数据分为结构化数据和非结构化数据,结构化就是存储在数据库或者文本数据,非结构化数 据比如视频,音频,图片等数据 价值密度低:海量的数据中有价值的可用的数据比较少 高速:数据处理的速度快二、开发流程获取数据:从数据库中获...原创 2019-04-01 20:54:10 · 732 阅读 · 1 评论 -
Hadoop运行模式之本地模式和伪分布式
一、前言:Hadoop中可使用案例的文件路径:/usr/local/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar在hadoop-2.7.3的etc目录的Hadoop下修改配置文件:/usr/local/hadoop/hadoop-2.7.3/etc/hadoop 二.本地模式...原创 2019-04-01 21:21:27 · 547 阅读 · 0 评论 -
什么是Hive?Hive的常用配置?hive的运行原理是什么?
一、Hive概述1.1 什么是HiveHive是建立在Hadoop上的数据仓库,提供了一系列工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。数据库:mysql、oracle、sqlserver、DB2、sqlite、MDB数据仓库Hive,是MR的客户端,也就是说我们不必要在所有的机器上都安装部署Hive...原创 2019-04-11 21:30:35 · 317 阅读 · 0 评论 -
Hadoop介绍(一)HDFS详解
一、HDFS概念Hdfs是一个文件系统,用于存储文件,通过目录树来存储文件。 Hdfs是分布式,由很多服务器联合起来实现功能,集群中的服务器有各自的角色。 Hdfs的设计适合一次写入,多次读出的应用场景,并且不支持文件的修改。适合用来做数据的分子 二、HDFS的组成1、Hdfs集群有NameNode、DataNode、SecondaryNameNode;1)、NameN...原创 2019-04-08 18:58:34 · 312 阅读 · 0 评论 -
Hadoop介绍(二)MapReduce详解
一、MapReduce概念MapReduce是一个分布式运算程序的编程框架。 MapReduce是基于“Hadoop的用户开发应用”的核心框框架 3、MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在Hadoop集群上。二、MapReduce进程一个完整的mapreduce程序在分布式运行时有三类实例进程:1)M...原创 2019-04-08 19:10:19 · 479 阅读 · 0 评论