自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(33)
  • 资源 (1)
  • 收藏
  • 关注

原创 Linux安装ftp组件(centos 安装后连接不上)

centos7 vsftpd连接不上

2022-11-21 21:43:53 132

原创 29.大数据---Hive 自定义函数

Hive 自定义函数(临时函数和永久函数)

2022-08-09 10:32:20 345

原创 29. 大数据---hive TOPN (影评案例分析)

影评信息统计;

2022-08-03 14:13:33 341

原创 29. 大数据---hive的常用函数(三) json解析

hive的常用函数(三) json解析

2022-08-02 07:53:33 331

原创 29. 大数据---hive的常用函数(二)

hive的常用函数(二)

2022-07-31 16:56:36 251

原创 29. 大数据---hive的常用函数(一(最全的函数操作))

hive的常用函数(一(最全的函数操作))

2022-07-29 08:33:54 1348

原创 28. 大数据---hive的数据类型和特殊数据处理

hive支持两种数据类型原始数据类型

2022-07-26 18:17:57 997

原创 27.大数据---Hive的数据库和表的基本操作;脚本化运行;内部表;外部表;分区表

Hive的数据库和表的基本操作;脚本化运行;内部表;外部表;分区表

2022-06-10 22:42:16 764

原创 26.大数据---Hive表中数据导入导出

HIve中导入、导出数据的几种方式

2022-06-06 21:16:18 744

原创 25.大数据---Hive的数据导入和基本操作

hive的数据导入和基本操作

2022-06-06 13:27:10 1496

原创 24.大数据---Hive的连接三种连接方式

hive的三种连接方式

2022-06-01 09:50:06 3106

原创 23.大数据---Hive安装之本地模式和远程模式

hive的安装方式---本地安装和远程模式的安装

2022-06-01 08:56:27 408

原创 22.大数据--- Hive的安装模式(linux--嵌入模式)

hive的嵌入式安装方式

2022-05-31 12:10:27 560

转载 21.Windows下安装Hadoop; Hive MySQL版

windows ; hadoop; hive; mysql

2022-05-24 14:35:05 117

原创 20.大数据---Hive基础介绍

hive,hive的基本原理;hive的运行过程

2022-05-24 11:36:13 517

原创 17.大数据---MapReduce实现共同好友(好友关系图实现)

MapReduce实现共同好友(好友关系图实现—倚天屠龙记关系)

2022-04-22 10:21:26 855

原创 16.大数据---MapReduce的数据去重复操作实例

MapReduce的数据去重复

2022-04-19 12:09:12 2703

原创 14.大数据--- MapReduce的本地操作和集群计算与打包到hadoop运行

MapReduce实现手机销量统计

2022-04-19 10:28:51 2785

原创 15.大数据---Mapreduce案例之---统计手机号耗费的总上行流量、下行流量、总流量

MapReduce的封装对象的例子

2022-04-19 10:09:14 4272 1

原创 生成订单30分钟未支付,则自动取消----解决方案

在开发中,往往会遇到一些关于延时任务的需求。例如生成订单30分钟未支付,则自动取消生成订单60秒后,给用户发短信对上述的任务,我们给一个专业的名字来形容,那就是延时任务。那么这里就会产生一个问题,这个延时任务和定时任务的区别究竟在哪里呢?一共有如下几点区别定时任务有明确的触发时间,延时任务没有定时任务有执行周期,而延时任务在某事件触发后一段时间内执行,没有执行周期定时任务一般执行的是批处理操作是多个任务,而延时任务一般是单个任务下面,我们以判断订单是否超时为例,进行方案分析方案分析(1)数

2021-09-05 08:45:18 648

原创 大数据----13.MapReduce前置程序设计

MapReduce前置程序设计1.先用java程序单机版进行模拟统计操作:例子:我们日常的全国有很多的手机店,那么每天都有卖到的手机的销量;假如我们把他们认为做成大数据, 全国的销量进行统计;1.我们先用程序随机一个文件来存储我们的手机品牌:我们模拟300万条数据;import java.io.BufferedWriter;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;im

2021-08-22 22:21:46 74

原创 大数据----12.MapReduce计算框架

1. MapReduce基本编程模型和框架1.1 MapReduce抽象模型大数据计算的核心思想是:分而治之。如下图所示。把大量的数据划分开来,分配给各个子任务来完成。再将结果合并到一起输出。注:如果数据的耦合性很高,不能分离,那么这种并行计算就不合适了。1.2 Hadoop的MapReduce的并行编程模型如下图2所示,Hadoop的MapReduce先将数据划分为多个key/value键值对。然后输入Map框架来得到新的key/value对,这时候只是中间结果,这个时候的value值是个集合。

2021-08-21 12:26:08 472

原创 大数据----11.高可用的具体详细配置

高可用的具体配置1.可以直接在我么之前的hadoop集群中进行;最好是我们重新搭建一个集群来进行;因为之前的集群还要使用;1. 克隆服务器2.通过拷贝我们的 hadoop01; hadoop02;hadoop03; 分布为我们的ha01;ha02;ha03;3.克隆完毕之后的操作:​ 1.修改机器的ip地址:我们从150; 160;170;开始;​ vi /etc/sysconfig/network-scripts/ifcfg-eno16777736 //默认网卡都是这

2021-08-19 11:11:12 245

原创 大数据----10.HA高可用的具体分析和实现

HA高可用的具体分析和实现1. HA的运作机制(1)hadoop-HA集群运作机制介绍所谓HA,即高可用(7*24小时不中断服务),实现高可用最关键的是消除单点故障hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA(2)HDFS的HA机制详解通过双namenode消除单点故障,双namenode协调工作的要点:A、元数据管理方式需要改变:(1)内存中各自保存一份元数据(2)Edits日志只能有一份,只有Active状态的namenode节点可以做写操作

2021-08-18 20:26:02 291

原创 大数据----9.zookeeper的详细配置信息的分析和原理;常用命令;api的使用

zookeeper的详细配置信息的分析和原理;常用命令;api的使用1.解读zoo.cfg 文件中参数含义1.tickTime:通信心跳数,Zookeeper服务器心跳时间,单位毫秒Zookeeper使用的基本时间,服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个tickTime时间就会发送一个心跳,时间单位为毫秒。它用于心跳机制,并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime); 大于2倍的心跳时间,就是超时了;2.init

2021-08-18 20:17:43 85

原创 大数据----8.zookeeper的简单介绍和安装

zookeeper的简单介绍和安装1.1 概述Zookeeper: zoo(动物园); keeper 饲养员;管理员(特指动物园的管理员)Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应,从而实现集群中类似Mas

2021-08-18 19:38:49 184

原创 大数据---7.高可用介绍

大数据技术—HA 高可用高可用性H.A.(High Availability)指的是通过尽量缩短因日常维护操作(计划)和突发的系统崩溃(非计划)所导致的停机时间,以提高系统和应用的可用性。它与被认为是不间断操作的容错技术有所不同。HA系统是企业防止核心计算机系统因故障停机的最有效手段。高可用程序的类型主从方式(冷备)两个相同的应用程序,一个对外提供服务,成为主程序,另一个平时不运行为备程序,就是一个主程序的备份,一旦主程序出现问题,备份提供恢复操作双主互备(热备)两个相同的应用程序,同时对外提供

2021-08-18 19:08:03 409

原创 大数据----6.HDFS中JAVA API的使用

HDFS中JAVA API的使用HDFS是一个分布式文件系统,既然是文件系统,就可以对其文件进行操作,比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作的过程。对分HDFS中的文件操作主要涉及一下几个类:Configuration类:该类的对象封转了客户端或者服务器的配置。FileSystem类:该类的对象是一个文件系统对象,可以用该对象的一些方法来对文件进行操作。FileSystem fs = FileSystem.get(conf);通过Fi

2021-08-17 20:32:46 84

原创 大数据----5.HDFS基本概念和底层分析

HDFS基本概念1. HDFS前言l 设计思想分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析;l 在大数据系统中作用:为各类分布式运算框架(如:mapreduce,spark……)提供数据存储服务l 重点概念:文件切块,副本存放,元数据2. HDFS的概念和特性2.1****它是一个文件系统用于存储文件,通过统一的命名空间——目录树来定位文件2.2****它是分布式的由很多服务器联合起来实现其功能,集群中的服务器有各自的角色2

2021-08-17 17:52:02 319

原创 大数据----4.(1)Hadoop 2.x与Hadoop 3.x比较

Hadoop 2.x与Hadoop 3.x比较本节将讲述Hadoop 2.x与Hadoop 3.x之间的22个差异。 现在让我们逐一讨论2.1LicenseHadoop 2.x - Apache 2.0,开源Hadoop 3.x - Apache 2.0,开源2.2支持的最低Java版本Hadoop 2.x - java的最低支持版本是java 7Hadoop 3.x - java的最低支持版本是java 82.3容错Hadoop 2.x - 可以通过复制(浪费空间)来处理容错。Hado

2021-08-17 17:36:09 192

原创 大数据----4.hadoop分布式框架搭建

hadoop分布式框架搭建一、Hadoop的三种运行模式(启动模式)1.1、单机模式(独立模式)(Local或Standalone Mode)-默认情况下,Hadoop即处于该模式,用于开发和调式。-不对配置文件进行修改。  -使用本地文件系统,而不是分布式文件系统。  -Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程,Map()和Reduce()任务作为同一个进程的不同部分来执行的。  -用于对MapReduce程序的逻辑进行调

2021-08-17 11:22:54 303

原创 大数据----2.基础环境搭建

大数据hadoop环境搭建

2021-05-26 10:46:13 387

原创 大数据入门---1.大数据介绍

大数据的介绍无处不在的大数据大数据的爆炸式增长大数据的特征大数据与我们的生活息息相关思考:那么我们如何对这些数据进项存储与分析呢?我们的hadoop就是在这样的场景下应运而生的1. HADOOP背景介绍1.1什么是HADOOP(1)HADOOP是apache旗下的一套开源软件平台(2)HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理1. HADOOP的核心组件有HDFS(分布式文件系统)MAP.

2021-05-25 22:15:18 187

大数据初次窥探---第一节.docx

大数据初次窥探---第一节.docx

2021-05-25

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除