- 博客(74)
- 收藏
- 关注
RSS订阅原创 Linux自建redis 基础
一、redis介绍redis是一个key-value存储系统。和Memcached类似，它支持存储的values类型相对更多，包括字符串、列表、哈希散列表、集合，有序集合。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了maste
2021-02-17 22:34:06
227
原创 Linux 自建Mysql 安装傻瓜教程
mysql 官网：https://www.mysql.com/一 前期准备工作1 版本选择– 根据公司需求或者业务需要选择合适版本，这里说明一下通常选择版本 选择GA （表示稳定运行版本）Archives 是可以选择自己想要版本号2 下载 解压1 使用以下命令查看当前安装mysql情况，查找以前是否装有mysqlrpm -qa|grep -i mysql如果有内容显示说明之前有安装了 rpm -e –nodeps 包名2 查找之前老版本mysql的目录、并且删除老版本my
2021-02-16 20:38:33
246
原创 MySQL之my.cnf配置文件详解大全
文章目录注明[client][mysqld] #服务器端配置*** skip options 相关选项 ****** 系统资源相关选项 ***wait 相关slave 相关net 相关max 相关thread 相关*** qcache settings 相关选项 ****** default settings 相关选项 ****** tmp && heap settings 相关选项 ****** log settings 相关选项 ***二进制的索引文件名log 相关*** MyISAM
2020-10-12 15:58:59
1045
原创 Flume监控之Ganglia
文章目录一 Flume监控之Ganglia1 Ganglia的安装与部署1) 安装httpd服务与php**2)** **安装其他依赖****3)** **安装ganglia**2 操作Flume测试监控**1)** **修改/opt/module/flume/conf****目录下的flume-env.sh****配置：****2)** **启动Flume****任务****3)** **发送数据观察ganglia****监测图**图例说明：二 自定义Source1 介绍官方也提供了自定义source的接
2020-09-04 10:24:23
687
原创 Hadoop之flume 框架日志采集原理及使用
文章目录FLUME 框架一 概述1.1 Flume定义1.2Flume的优点1.3Flume组成架构1）Agent2）Source3）Channel4）Sink5）Event1.4Flume拓扑结构1.5 Flume &Agent内部原理二 快速入门2.1 Flume安装地址1） Flume官网地址2）文档查看地址3）下载地址2.2 安装部署三 企业开发案例3.1监控端口数据官方案例1）案例需求：2）需求分析：3）实现步骤：1．安装netcat工具2．判断44444端口是否被占用基本语法：nets
2020-08-30 14:54:36
1061
原创 Hive 之函数&压缩存储&如何调优&设置Map和Reduce 基本操作
文章目录一 函数1 系统内置函数1．查看系统自带的函数2．显示自带的函数的用法3．详细显示自带的函数的用法2 自定义函数1）Hive 自带函数，2）自定义前提3）根据用户自定义函数类别分为以下三种：** 一进一出聚集函数，多进一出一进多出4）官方文档地址5）编程步骤：6）注意事项3 自定义UDF函数1．创建一个Maven工程Hive2．导入依赖 https://mvnrepository.com/3．创建一个类4．打成jar包上传到服务器/opt/module/jars/udf.jar5．将jar包添
2020-08-28 19:12:31
931
原创 Hive 数仓查询相关操作大全
文章目录***Hive 查询一 基本查询（Select…From）1.1 全表和特定列查询创建部门表创建员工表导入数据1．全表查询2．选择特定列查询注意：1.2 列别名1.3 算术运算符表6-3案例实操1.4 常用函数1.5 Limit语句二 Where语句2.1 比较运算符（Between/In/ Is Null）表6-42）案例实操2.2 Like和RLike1）使用LIKE运算选择类似的值2）选择条件可以包含字符或数字:3）RLIKE子句是Hive中这个功能的一个扩展，其可以通过Java的正则表达式这
2020-08-21 20:00:30
1510
原创 Hadoop&Hive 数仓，DML数据操作
文章目录DML数据操作一 数据导入一） 向表中装载数据（Load）1．语法2．实操案例（0）创建一张表（1）加载本地文件到hive（2）加载HDFS文件到hive中（3）加载数据覆盖表中已有的数据二 ）通过查询语句向表中插入数据（Insert）1．创建一张分区表2．基本插入数据3．基本模式插入（根据单张表查询结果）4．多表（多分区）插入模式（根据多张表查询结果）三） 查询语句中创建表并加载数据（As Select）四 ）创建表时通过Location指定加载数据路径1．上传数据到hdfs上创建表，并指定在hd
2020-08-20 19:56:34
218
原创 Hive分区表概论，简单基础操作
文章目录一 Hive 分区表一）分区表基本操作1．引入分区表（需要根据日期对日志进行管理）2．创建分区表语法3．加载数据到分区表中**分区表在hdfs 上多了一个目录 在本地是多一个字段**4．查询分区表中数据单分区查询多分区联合查询5．增加分区创建单个分区同时创建多个分区6．删除分区7．查看分区表有多少分区8．查看分区表结构二） 二级分区1．创建二级分区表2．正常的加载数据（1）加载数据到二级分区表中（2）查询分区数据3．把数据直接上传到分区目录上，让分区表和数据产生关联的三种方式（1**）方式一：上传数
2020-08-20 09:45:54
308
原创 xshell 无法连接远程服务器
文章目录报错截图如下查看sshd 服务是否正常发现有报错执行ssd -t 检查如果出现解决方法如果出现 missing /...../var/empty/sshd报错截图如下网络可以ping 通 ，也可以在连接不上那服务器 通过 ssh 连接其它服务器查看sshd 服务是否正常systemctl status sshd发现有报错"Failed to start OpenSSH Server daemon执行ssd -t 检查如果出现“bad permissions”“could no
2020-08-20 09:40:45
2467
原创 rm: cannot remove ‘.ssh/authorized_keys’: Operation not permitted
lsattr命令告诉你答案：lsattr----i--------e- ./authorized_keys多了一个i，执行如下：chattr -i authorized_keyslsattr-------------e- ./authorized_keys[root@hadoop103 .ssh]# rm -rf authorized_keys
2020-08-20 09:35:18
2083
原创 搭建Hadoop HA 高可用bin/hdfs namenode -bootstrapStandby同步nn1 节点报错build = Unknown -r Unknown； compiled by
文章目录nn1 节点格式化后 执行nn2 数据节点同步找关键报错配置文件core.site.xmlhdfs-site.xml背景再次同步nn1 节点nn1 节点格式化后 执行nn2 数据节点同步[root@hadoop103 hadoop-2.7.2]# bin/hdfs namenode -bootstrapStandby20/08/13 23:37:08 INFO namenode.NameNode: STARTUP_MSG: /*********************************
2020-08-19 21:26:05
1577
原创 hive 创建表时候报错，Error: Error while processing statement: FAILED: Execution Error, return code 1 from or
文章目录hive 创建表时候报错解决方法然后推出 重启hive 就成功了hive 创建表时候报错Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:For direct MetaStore DB connections, we don’t support retri
2020-08-19 19:57:17
7216
原创 什么是DDL 数据定义&外部表，内部表是什么又是做什么的？
文章目录DDL数据定义1 创建数据库1）创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。2）避免要创建的数据库已经存在错误，增加if not exists判断。（标准写法）3）创建一个数据库，指定数据库在HDFS上存放的位置2 查询数据库1)显示数据库1．显示数据库2．过滤显示查询的数据库2)查看数据库详情1．显示数据库信息2．显示数据库详细信息，extended3) 切换当前数据库3 修改数据库在hive中查看修改结果4 删除数据库1．删除空数据库2．
2020-08-14 16:54:56
3543
原创 Hadoop--Hive常见属性配置&对应配置展示案列&视图
文章目录一 Hive数据仓库位置配置配置同组用户有执行权限1 查询后信息显示配置1）在hive-site.xml文件中添加如下配置信息，就可以实现显示当前数据库，以及查询表的头信息配置。2）重新启动hive，对比配置前后差异。2 Hive运行日志信息配置1．Hive的log默认存放在/tmp/atguigu/hive.log目录下（当前用户名下）2．修改hive的log存放日志到/opt/module/hive/logs（1）修改/opt/module/hive/conf/hive-log4j.proper
2020-08-14 15:43:48
261
原创 启动hive报错java.net.ConnectException: Call From hadoop102/172.21.x.x to hadoop102:9000 failed on connec
文章目录启动 hive 报错报错分析结论解决启动 hive 报错[root@hadoop102 hive]# bin/hive报错Logging initialized using configuration in jar:file:/opt/module/hive/lib/hive-common-1.2.1.jar!/hive-log4j.propertiesException in thread "main" java.lang.RuntimeException: java.net.Conne
2020-08-11 00:08:33
2098
原创 安装mysql 包报错~执行mysql报ERROR! The server quit without updating PID file (/var/lib/mysql/hadoop102.pid).
安装mysql 包出现问题root@hadoop102 mysql-libs]# rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpmPreparing… ################################# [100%] file /usr/share/mysql/charsets/README from install of MySQL-server-5.6.24-1.el6.x86_64 con
2020-08-11 00:05:03
1941
2
原创 Hadoop之# Hive与Mysql如何搭建远程连接&HiveJDBC，
文章目录Hive与Mysql&HiveJDBC一 Hive元数据安装至Mysql、Hiveserver2安装包准备二 MySql安装一）安装包准备1．查看mysql是否安装（1）查看（2）卸载2．解压3．查看安装包二）安装MySql服务器1．安装mysql服务端2．查看产生的随机密码3．查看mysql状态4．启动mysql三）安装MySql客户端1．安装mysql客户端2．链接mysql3．修改密码4．退出mysql四 )MySql中user表中主机配置1．进入mysql2．显示数据库3．使用my
2020-08-10 23:16:28
1271
原创 Hadoop------Hive数据仓库安装&部署
文章目录Hadoop------Hive安装&部署一 Hive安装地址二 Hive安装部署Hadoop集群配置（1）必须启动hdfs和yarn（2）在HDFS上创建/tmp和/user/hive/warehouse两个目录并修改他们的同组权限可写三 Hive基本操作（1）启动hive（2）查看数据库（3）打开默认数据库（4）显示default数据库中的表（5）创建一张表（6）显示数据库中有几张表（7）查看表的结构（8）向表中插入数据（9）查询表中数据（10）退出hive四 将本地文件导入Hive案例
2020-08-10 23:10:25
287
原创 Hadoop---Hive 数据仓库基础理论，构架原理
文章目录Hadoop-----Hive（数据仓库基础理论）Hive基本概念***\*1.1 什么是Hive\*******\*1.2 Hive的优缺点\*******\*1.2.1 优点\*******\*1.2.2 缺点\****主要特点***\*1.3 Hive架构原理\*******\*1.4 Hive和数据库比较\*******\*1.4.1 查询语言\*******\*1.4.2 数据存储位置\*******\*1.4.3 数据更新\*******\*1.4.4 执行引擎\****Mysql 执行
2020-08-10 23:06:07
213
原创 执行hive sql 报错“FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. “
文章目录执行hive 报错找关键解决执行hive 报错…bin/hivehive> create table student(id int, name string);FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.hadoop.fs.FileAlreadyExistsExcept
2020-08-10 00:46:54
5308
原创 HA-Hadoop 高可用原理及搭建,什么是故障迁移理论，模拟
文章目录一 HDFS HA高可用1 HA概述2 HDFS-HA工作机制2.1 HDFS-HA工作要点2.2 HDFS-HA自动故障转移工作机制*HA 重要注意*zookeeper+HA实现故障转移进行中进程3 HA 搭建过程配置hadoop-env.sh配置core-site.xml配置hdfs-site.xml1） 启动HDFS-HA集群\1. 在各个JournalNode节点上，输入以下命令启动journalnode服务\2. 在[nn1]上，(必须启动JN 后才能格式化)对其进行格式化，并启动\3
2020-08-07 10:12:22
197
原创 Hadoop 中分布式组件工作机制策略及基础思想理论概述
文章目录一 Hadoop 组成1 HDFS 组成NN集群安全模式DN:详细请见2NN详细请见2 数据上传详细请见：3 Mapreduce过程详细请见4 YarnRM:NM:AMContainer详细请见一 Hadoop 组成hdfs :分布式文件存储系统mapreduce:分布式计算框架yarn：分布式资源调度框架1 HDFS 组成NN DN 2NNNN:NameNode 存储事–存储元数据NN启动加载 Fsimage+edit.log NN （有了最新元数据信息）—>安全模式（99
2020-08-05 16:31:39
135
原创 Zookeeper 机制&部署，zookeeper节点含义了解，什么是选举机制，如何保证zookeeper 集群读新能提高且不牺牲写，zookeeper集群同步/监听原理
文章目录一 Zookeeper 工作机制数据结构特点统一配置管理统一集群管理Zookepper 部署一 Zookeeper 工作机制Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。1 ：存数据2：通知（发生变化进行通知）Zookeeper==文件系统+通知机制数据结构特点1）Zookeeper：一个领导者（leader），多个跟随者（follower）组成的集群。2）Leader负责进行投票的发起和决议，更新系统状态3）Follower用于接收客
2020-07-31 15:14:03
438
原创 Hadoop 企业优化（调优）
文章目录MapReduce 跑的慢的原因MapReduce优化方法数据输入Map 阶段Reduce 阶段IO 传输*数据倾斜HDFS小文件优化方法HDFS小文件弊端HDFS小文件解决方案解决方案MapReduce 跑的慢的原因2- 设置相等3-map reduce 共存 4-打har 包 或者combineTextinputformat5-指压缩后的 ---解压6-溢写， 改大环型缓冲区7-合并 改变一次合并文件数量 MapReduce优化方法MapReduce优化方法主
2020-07-31 15:07:27
94
原创 Yarn 资源调度器详解以及 什么是调度器介绍 遇到任务卡顿 如何处理
文章目录Yarn 资源调度器Yarn 基本架构* Yarn 工作机制资源调度器FIFO 先进先出调度器容量调度器 **Capacity Scheduler**** Fair Scheduler 公平调度器（灵活）问任务的推测执行1．作业完成时间取决于最慢的任务完成时间2．推测执行机制3．执行推测任务的前提条件4．不能启用推测执行机制情况你在工作中有没有碰到任务卡到过？怎么处理：Yarn 资源调度器Hadoop 分三个部分组成：HDFS,MapReduce YarnYarn是一个资源调度平台，负责为运算
2020-07-31 14:58:26
505
原创 Hadoop数据压缩以及特点什么时候会用到压缩？Snappy 是什么呢
回顾Shuffle加载在map 输出 reduce 输入之前这么一个过程shuffle目的 —“分组”环型缓冲区80%（分区排序–同时完成）----combiner----- 溢写磁盘上（分区且有序 spill.index(索引)+.out(输出文件)）—归并排序–数据流还没落盘（把所有溢写文件 归并成一个文件 ，比如分区1 都归并写在一个分区1 ,分区2 都写在一个分区2里 ）溢写完输出多个文件，多个文件分区归并，归并完结果是一个文件，这个文件是分区且有序（输出在磁盘的样子）Shuffle
2020-07-31 14:40:48
366
1
原创 Hadoop-----MapReduce 框架原理(重要)
文章目录MapReduce 框架原理**（重点）地图：**一** InputFormat 数据输入1 把文件切片概况FileInputFormat 切片源码解析2CombineTextInputFormat （小文件切片机制）1、应用场景：2、虚拟存储切片最大值设置3、切片机制切片机制（1）虚拟存储过程：（2）切片过程：3 自定义inputFormat4 总结二 Shuffle归并排序：1*** Shuffle 机制概述2 Partition 分区分区与ReduceTasks 之间关系呢？？？默认分区分区总
2020-07-26 22:44:21
203
原创 大数据~DataNode详解&MapReduce 概述
文章目录DataNode 详解一 DataNode 工作机制数据完整性掉线时限参数设置二 服役新数据节点\0. 需求\1. 环境准备\2. 服役新节点具体步骤（1）直接启动DataNode，即可关联到集群（2）在hadoop105上上传文件（3）如果数据不均衡，可以用命令实现集群的再平衡三 退役旧数据节点1 添加白名单刷新NameNode更新ResourceManager节点2 黑名单退役四 Datanode多目录配置五 HDFS 2.X新特性1 集群间数据拷贝2 小文件存档六 MapReduce优点：
2020-07-24 12:47:14
459
原创 HDFS 读写流程图解&上传&下载&网络拓扑&Secondary NameNode与 NameNode 之间关系（重点干货）
HDFS上传图解图解块2 也是如此流程扩展网络拓扑只描述他们关系 ，不管他们是什么。图机架感知（副本选择策略）—副本数是3的情况下 ，第一个副本是localrack ，其它可能是不同机架不同节点，不会跨数据中心机架感知（副本选择策略）—副本数是3的情况下 ，第一个副本是localrack ，其它可能是不同机架不同节点，不会跨数据中心为何建立通道串行？围绕 IO —>因为性能---->并行的话压力集中在客户端，使得性能变差------>只能串行挂了？请求
2020-07-21 00:32:52
210
原创 大数据---Hadoop集群搭建之HDFS
一 概念1 生产背景管理多台机器上的文件，这就是分布式文件管理系统HDFS 是分布式文件管理系统中一种2 定义文件系统用于存储文件，通过目录(树)来定位文件，其次它是分布式的，由很多服务器联合起来体现其功能，集群中的服务器有各自的角色3 应用场景适合一次写入 多次读出场景(不支持文件修改，支持文件追加)—适合做数据分析4* 优缺点优点1 高容错性：通过自己保存多个副本形式（副本->服务器）&自动恢复2 适合处理大数据：数据规模(GB-PB)级别的数据&am
2020-07-20 17:57:00
245
原创 Hadoop_三台服务器搭建集群- 启动HDFS在fs appendToFile 报错（从失败稀里糊涂Ok了）
无法使用appenToFile一 初始终止集群 stop-dfs.sh错误2另起炉灶-不明所以就OK 了一 初始群起hdfs 集群-start-hdfs.shhadoop fs -appendToFile 3 /220/07/15 09:29:18 INFO hdfs.DFSClient: Exception in createBlockOutputStreamjava.io.IOException: Got error, status message , ack with firstBadL
2020-07-15 16:49:17
1119
原创 Hadoop Web UI 50070 界面&8088 Cluster 集群页面只显示一个节点
Hadoop Web UI 界面&Cluster 集群页面只显示一个节点1 不配服务器hosts 文件坑三台腾讯云服务器----可以看到节点都正常启动关闭dfs.sh /yarn.sh 全部进程进程修改本地hosts 文件修改成：启动dfs.sh/ 和yarn.sh 进程可以看到hadoop102 有了 其它是服务器原始主机名 ，那就把其它两台也这么改一下如果网卡不知怎么配置 可以看一下这里：https://blog.csdn.net/yidianyidei/arti
2020-07-12 21:19:05
3407
2
原创 使用不同地域云服务器搭建集群，进程启动OK，50070 可以访问~yarn 8088端口显示拒绝访问
文章目录一 关闭防火墙 配置本机hosts 文件1 关闭防火墙2 配置本地host 文件二本地能否ping 通， 端口排查需要配置网卡重启网卡***本地再次测试接口三 ip 8088 端口访问 依然显示被拒绝1 配置服务器hosts 文件（可能是这个原因）**2 在服务器上看一下端口tcp 6 和tcp??127.0.0.1和0.0.0.0？？第四 修改yarn-site.xml 文件一 关闭防火墙 配置本机hosts 文件1 关闭防火墙ps:目前云服务器查看防火墙 —默认看到基本都是没有启动，或者n
2020-07-11 18:00:33
1227
2
原创 大数据---Hadoop集群搭建学习（干货）
文章目录Hadoop 集群搭建学习1 Hadoop发展史2 Hadoop三大发行版本3 Hadoop的优势（4高）4 Hadoop组成（面试重点）5 HDFS架构概述6 MapReduce架构概述7 大数据技术生态体系8 推荐系统框架图一 装hadoop&Java1创建文件夹2 安装JDK1.卸载现有JDK2.查看软件包3.解压安装包4 配置环境变量Grep案例WordCount案例二 伪分布式运行模式启动HDFS并运行MapReduce程序配置集群*启动集群启动YARN并运行MapRedu
2020-07-04 19:09:50
770
原创 Notepad ++安装小插件{ NppFtp }
Notepad++ 安装NppFtp前言今天看技术视频的时候，发现老师直接使用 Notepad++ 来连接 centos 服务器，用于修改远程服务器上的 文件。对于喜欢用 windows上的文本编辑器，对于 vi命令 使用不熟的我来说，这果然是一个很好的方案。故决定实践一下。安装 Notepad++在 windows 上 安装 32 位的 notepad++，打开 notepad++，【插件】 -> 【插件管理器】，找到 NppFtp，在线安装1.1 若是没有 插件管理器下载地址：百度云
2020-06-28 12:22:31
228
原创 mac 电脑连接本地虚拟机搭建centos ssh root@ ip 报 ssh: connect to host master port 22: Connection timed out问题的总结
手贱毁一生故事原有：在本地 VMare 搭建2台centos 7 服务器 昨天好好的连着 今天再连接无响应然后报 ssh: connect to host master port 22: Connection timed out本小白 首先检查自己能否ping 通在虚拟机 —服务器上–ping www.baidu.com 是可以的然后ifconfig --又ping 一下对应ip 也是没问题的但是在本地 终端ping 虚拟机服务器ip 就各种超时请求 request timeout …
2020-06-27 17:55:09
1241
原创 石油大学专升本计算机课程-计算机应用基础（8）
文章目录第八章 计算机的安全使用第一节 计算机安全的基本知识计算机安全的基本知识和概念计算机安全属性计算机安全的内容包括TCSEC计算机病毒特征病毒分类计算机病毒的预防病毒的清除第二节 网络安全的基本知识网络安全概述定义所具有特征影响网络安全的主要因素网络攻击安全服务第三节 防火墙，系统更新与系统还原防火墙功能硬件防火墙的分类常用的软件防火墙系统更新系统还原创建还原点系统还原方法设置系统还原第八章 计算机的安全使用第一节 计算机安全的基本知识计算机安全的基本知识和概念计算机安全属性计算机安全的
2020-06-15 09:34:49
430
原创 石油大学专升本计算机课程-计算机应用基础（7）
文章目录第七章 Internet 应用第一节 浏览器IE 的进入与退出IE 的界面结构第七章 Internet 应用第一节 浏览器IE 的进入与退出IE 的界面结构
2020-06-15 09:34:13
135
原创 小白IT：Django框架—admin详细使用
文章目录Django框架—admin详细使用一、面向对象复习1.类的继承2.单例模式举例一2.单例模式举例一举例二二、django-admin的简单回顾1.admin使用流程2.路由系统3.文件加载4.面向对象三、django-admin的具体使用1.数据表的准备2.配置路由实例3.应用注册普通注册方法自定义注册应用方式1方式24.admin界面汉化5.记录列表基本设置1.list_display2.list_display_links3.list_filter4.分页相关5.search_field6.其
2020-06-15 09:33:19
1528
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人