- 博客(42)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 jdk下载需要登陆Oracle账号解决
目前在Oracle官网下载jdk的时候需要登陆，分享几个账号，方便下载。账号：amador.sun@foxmail.com。账号：liwei@xiaostudy.com。账号：1789936303@qq.com。账号：amador.sun@qq.com。密码：OracleTest1234。密码：Oracle123456。密码：1211WaN!密码：1211WaN!
2024-07-22 07:35:00
799
1
原创 centos7停服之后换阿里云的源
如果您正在使用CentOS 7，建议迁移到另一个仍在维护的Linux发行版，如CentOS Stream、AlmaLinux、Rocky Linux或者转换到使用Debian或Ubuntu。11.使用脚本的方式：自动更换（写的shell脚本 在/bin/bash位置存储）bash.yum.sh运行；yum 不能进行任何的下载操作：这个就是源有问题了；把centos7的源换成国内的源；10 .就可以使用；yum 就是用的阿里云的源；这个包也可以去centos7的iso文件中获取；更新yum的资源之后的效果；
2024-07-09 09:08:59
1069
2
原创 大数据---35.HBase 常用的api的具体解释
Hbase是一个分布式的、面向列的开源数据库，HDFS文件操作常有两种方式，一种是命令行方式，即Hbase提供了一套与Linux文件命令类似的命令行工具。另一种是JavaAPI，即利用Hbase的Java库，采用编程的方式操作Hbase数据库。
2023-12-22 08:37:42
497
原创 大数据---34.HBase数据结构
Region是HBase数据管理的基本单位，每个HRegion由多个Store构成，每个Store保存一个列族（Columns Family），表有几个列族，则有几个Store，每个Store由一个MemStore和多个StoreFile组成，MemStore是Store在内存中的内容，写到文件后就是StoreFile，StoreFile底层是以HFile的格式保存。Region相当于数据库中的表。
2023-12-21 19:06:02
1482
原创 大数据----33.hbase中的shell文件操作
这些是关于HBase在表中操作的命令。create: 创建一个表。list: 列出HBase的所有表。disable: 禁用表。is_disabled: 验证表是否被禁用。enable: 启用一个表。is_enabled: 验证表是否已启用。describe: 提供了一个表的描述。alter: 改变一个表。exists: 验证表是否存在。drop: 从HBase中删除表。drop_all: 丢弃在命令中给出匹配“regex”的表。
2023-12-21 09:16:09
1216
原创 大数据----31.hbase安装启动
http://archive.apache.org/dist/hbase/ 下载地址。8. 通过web来访问：http://192.168.64.160:16010/（在一台机器上进行配置；注意：在启动之前需要进行时间的统一；（我们使用的是和主节点的时间同步；3.解压软件：解压到/usr/local/ 文件夹 （在一台机器上）2.启动hbase(在hadoop06上执行) 在主机上启动即可；需要修改的内容：（分别开启他的注释修改内容即可；6.进行hbase的配置文件的修改操作：修改文件。
2023-12-12 19:49:21
1883
原创 大数据----30.hbase的基本介绍
2.一个Store里面有MemStore（写缓存，K-V在Memstore中进行排序，达到阈值之后才会flush到StoreFile，每次flush生成一个新的StoreFile，由于这是在内存，可能由于故障数据丢失，为此在每个RegionServer中还会Hlog，记录所有写操作，万一MemStore数据丢失，Hlog中也有备份）实际上是假修改，实际是新增了一行，比如上图的电话，我们修改实际是新增一行，但是时间戳变了，我们读的时候读最新的时间戳的数据，所以修改对我们来说是个透明操作。
2023-11-28 16:47:23
1040
原创 大数据---27.Hive的数据库和表的基本操作；脚本化运行；内部表；外部表；分区表
Hive的数据库和表的基本操作；脚本化运行；内部表；外部表；分区表
2022-06-10 22:42:16
2217
原创 生成订单30分钟未支付，则自动取消----解决方案
在开发中，往往会遇到一些关于延时任务的需求。例如生成订单30分钟未支付，则自动取消生成订单60秒后,给用户发短信对上述的任务，我们给一个专业的名字来形容，那就是延时任务。那么这里就会产生一个问题，这个延时任务和定时任务的区别究竟在哪里呢？一共有如下几点区别定时任务有明确的触发时间，延时任务没有定时任务有执行周期，而延时任务在某事件触发后一段时间内执行，没有执行周期定时任务一般执行的是批处理操作是多个任务，而延时任务一般是单个任务下面，我们以判断订单是否超时为例，进行方案分析方案分析(1)数
2021-09-05 08:45:18
949
原创 大数据----13.MapReduce前置程序设计
MapReduce前置程序设计1.先用java程序单机版进行模拟统计操作：例子：我们日常的全国有很多的手机店，那么每天都有卖到的手机的销量；假如我们把他们认为做成大数据， 全国的销量进行统计；1.我们先用程序随机一个文件来存储我们的手机品牌：我们模拟300万条数据；import java.io.BufferedWriter;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;im
2021-08-22 22:21:46
191
原创 大数据----12.MapReduce计算框架
1. MapReduce基本编程模型和框架1.1 MapReduce抽象模型大数据计算的核心思想是：分而治之。如下图所示。把大量的数据划分开来，分配给各个子任务来完成。再将结果合并到一起输出。注：如果数据的耦合性很高，不能分离，那么这种并行计算就不合适了。1.2 Hadoop的MapReduce的并行编程模型如下图2所示，Hadoop的MapReduce先将数据划分为多个key/value键值对。然后输入Map框架来得到新的key/value对，这时候只是中间结果，这个时候的value值是个集合。
2021-08-21 12:26:08
1111
原创 大数据----11.高可用的具体详细配置
高可用的具体配置1.可以直接在我么之前的hadoop集群中进行；最好是我们重新搭建一个集群来进行；因为之前的集群还要使用；1. 克隆服务器2.通过拷贝我们的 hadoop01； hadoop02；hadoop03； 分布为我们的ha01；ha02；ha03；3.克隆完毕之后的操作： 1.修改机器的ip地址：我们从150； 160；170；开始； vi /etc/sysconfig/network-scripts/ifcfg-eno16777736 //默认网卡都是这
2021-08-19 11:11:12
863
原创 大数据----10.HA高可用的具体分析和实现
HA高可用的具体分析和实现1. HA的运作机制（1）hadoop-HA集群运作机制介绍所谓HA，即高可用（7*24小时不中断服务）,实现高可用最关键的是消除单点故障hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA（2）HDFS的HA机制详解通过双namenode消除单点故障,双namenode协调工作的要点：A、元数据管理方式需要改变：(1)内存中各自保存一份元数据(2)Edits日志只能有一份，只有Active状态的namenode节点可以做写操作
2021-08-18 20:26:02
639
原创 大数据----9.zookeeper的详细配置信息的分析和原理；常用命令；api的使用
zookeeper的详细配置信息的分析和原理；常用命令；api的使用1.解读zoo.cfg 文件中参数含义1．tickTime：通信心跳数，Zookeeper服务器心跳时间，单位毫秒Zookeeper使用的基本时间，服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳，时间单位为毫秒。它用于心跳机制，并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)； 大于2倍的心跳时间，就是超时了；2．init
2021-08-18 20:17:43
329
原创 大数据----8.zookeeper的简单介绍和安装
zookeeper的简单介绍和安装1.1 概述Zookeeper： zoo(动物园)； keeper 饲养员；管理员（特指动物园的管理员）Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应，从而实现集群中类似Mas
2021-08-18 19:38:49
556
原创 大数据---7.高可用介绍
大数据技术—HA 高可用高可用性H.A.（High Availability）指的是通过尽量缩短因日常维护操作（计划）和突发的系统崩溃（非计划）所导致的停机时间，以提高系统和应用的可用性。它与被认为是不间断操作的容错技术有所不同。HA系统是企业防止核心计算机系统因故障停机的最有效手段。高可用程序的类型主从方式(冷备)两个相同的应用程序,一个对外提供服务,成为主程序,另一个平时不运行为备程序,就是一个主程序的备份,一旦主程序出现问题,备份提供恢复操作双主互备(热备)两个相同的应用程序,同时对外提供
2021-08-18 19:08:03
1080
原创 大数据----6.HDFS中JAVA API的使用
HDFS中JAVA API的使用HDFS是一个分布式文件系统，既然是文件系统，就可以对其文件进行操作，比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作的过程。对分HDFS中的文件操作主要涉及一下几个类：Configuration类：该类的对象封转了客户端或者服务器的配置。FileSystem类：该类的对象是一个文件系统对象，可以用该对象的一些方法来对文件进行操作。FileSystem fs = FileSystem.get(conf);通过Fi
2021-08-17 20:32:46
298
原创 大数据----5.HDFS基本概念和底层分析
HDFS基本概念1. HDFS前言l 设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析；l 在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spark……）提供数据存储服务l 重点概念：文件切块，副本存放，元数据2. HDFS的概念和特性2.1****它是一个文件系统用于存储文件，通过统一的命名空间——目录树来定位文件2.2****它是分布式的由很多服务器联合起来实现其功能，集群中的服务器有各自的角色2
2021-08-17 17:52:02
655
原创 大数据----4.（1）Hadoop 2.x与Hadoop 3.x比较
Hadoop 2.x与Hadoop 3.x比较本节将讲述Hadoop 2.x与Hadoop 3.x之间的22个差异。 现在让我们逐一讨论2.1LicenseHadoop 2.x - Apache 2.0，开源Hadoop 3.x - Apache 2.0，开源2.2支持的最低Java版本Hadoop 2.x - java的最低支持版本是java 7Hadoop 3.x - java的最低支持版本是java 82.3容错Hadoop 2.x - 可以通过复制（浪费空间）来处理容错。Hado
2021-08-17 17:36:09
770
原创 大数据----4.hadoop分布式框架搭建
hadoop分布式框架搭建一、Hadoop的三种运行模式（启动模式）1.1、单机模式（独立模式）（Local或Standalone Mode）-默认情况下，Hadoop即处于该模式，用于开发和调式。-不对配置文件进行修改。 -使用本地文件系统，而不是分布式文件系统。 -Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程，Map()和Reduce()任务作为同一个进程的不同部分来执行的。 -用于对MapReduce程序的逻辑进行调
2021-08-17 11:22:54
758
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人