自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(185)
  • 资源 (3)
  • 收藏
  • 关注

原创 linux oracle12c 安装后基本配置

1 、监听配置1.1 listener.ora 配置1.2 tnsnames.ora配置1.3 重启监听1.4 远程连接测试2、设置数据库开机自启动2.2 oratab配置2.3 rc.local配置2.4 验证是否启动能否执行2.5 重启验证是否自启动在上篇博客[oracle12c linux安装教程],安装后还需要对数据库进行其他设置。1 、监听配置1.1 listener.ora 配置oracle用户下cd $ORACLE_HOME/network/adminvim listener.o.

2021-07-08 16:24:48 59

原创 oracle12c linux安装教程

1、安装包下载2、 环境准备2.1 安装gcc2.2 内核参数设置2.3 资源限制配置2.4 硬件环境准备2.5 Xmanger 安装2.6 创建用户和组2.7 图像界面设置2.8 上传并解压3、安装3.1 执行安装命令3.2 安装选择3.3 环境变量配置4、验证4.1 启动pdb4.2设置pdb随cdb自启动1、安装包下载安装包官网下载地址:http://www.oracle.com/technetwork/cn/database/enterprise-edition/downloads/index.

2021-07-08 15:33:11 150 5

原创 flink+kafka实例

1、kafka集群搭建2、java工程部署3、创建主类 FlinkReadKafka4、启动 zk5、启动 kafka 集群6、创建topic7、运行代码8、创建生产者和消费者1、kafka集群搭建zookeeper集群以及kafka集群搭建详见博客:kafka集群搭建。只是本文将kafka版本升级为0.11.0.3。2、java工程部署java maven 工程大部署详见基于flink实现的worldcount,本位只需要讲maven 工程pom配置文件增加 kafka 连接器3、创建主类 .

2021-07-05 00:31:41 74 2

原创 flink集群搭建

1 flink下载2.上传安装包3 解压4 修改配置文件4.1 配置slaves4.2 修改配置文件flink-conf.yaml5 传送安装包到集群其他服务器6 启动集群7 验证7.1 本地提交作业7.2 打包提交作业1 flink下载flink 官方下载地址:https://flink.apache.org/downloads.html本示例下载1.7.12.上传安装包3 解压tar -zxvf flink-1.7.1-bin-hadoop26-scala_2.11.tgz -.

2021-06-30 16:00:21 36

原创 基于flink使用对象封装实现worldcount

在上一篇博客:基于flink实现的worldcount通过flink自带的Tuple实现了单词统计,本文在上一篇博客环境基础之上,通过封装对象实现。1、创建WordDtopublic class WordDto { private String word; private Integer count; public WordDto() { } public WordDto(String word, Integer count) { this.w

2021-06-10 23:51:27 54 3

原创 基于flink实现的worldcount

Flink框架主要应用针对流式数据进行有状态计算。Flink使用java语言开发,提供了scala编程的接口。使用java或者scala开发Flink是需要使用jdk8版本,如果使用Maven,maven版本需要使用3.0.4及以上,Flink同时也支持使用python进行开发,需要在python中安装PyFlink 包本实例基于flink1.7.1。创建maven工程,pom配置文件如下:<?xml version="1.0" encoding="UTF-8"?><proje

2021-06-09 00:49:30 81 3

原创 kafka整合flume实例

一 环境准备1.1 kafka集群部署kafka集群搭建详见:kafka集群搭建。本文不再进行讲解。1.2 flume下载flume下载地址:archive.apache.org/dist/flume1.3 解压flume安装包在 node0上解压flume压缩包 tar -xvf apache-flume-1.6.0-bin.tar.gz -C /opt/app/1.4 flume环境变量配置解压后,在配置文件 /etc/profile添加export FLUME_HOME=/op

2021-05-07 00:50:59 51 4

原创 kafka集群搭建

1 规划2 Zookeeper集群准备3 安装包准备4 安装4.1 解压4.2 配置环境变量4.3修改server.properties4.4 同步Kafka安装目录5 启动集群5.1 启动zookeeper集群5.2 启动 Kafka集群6 测试6.1创建主题6.2 创建生产者6.3 创建消费6.4 动态消费6.5 查看消费者偏移量1 规划准备4台虚拟机,规划如下主机node0node0node2node3节点ZooKeperZooKeperZooKeper.

2021-04-30 00:20:05 40

原创 Python3.6 linux 源码安裝教程

一 安裝前准备1.1 安装 gcc需要安装 gcc,gcc本地仓安装详见redis 集群搭建中:2.4 安装 gcc tclyum install gcc tcl -y 1.2 下载python下载地址二、安装2.1 上传文件到服务器2.2 解压 tar -xzvf /apps/Python-3.6.4.tgz 2.3 配置编译进入Python 目录cd Python-3.6.4./configure --prefix=/opt/app/python --enable-s

2021-04-13 22:37:39 57

原创 redis 集群搭建

1、规划2 redis安装2.1 redis下载2.2 解压2.3 本地yum准备2.4 安装 gcc tcl2.5 编译2.6 安装2.7 配置文件3 启动redis服务器4 gem 安装4.1 redis-trib.rb准备4.2 安装ruby以及rubygems4.3 redis.gem5 启动集群6 连接集群测试7 集群启动停止脚本7.1 启动脚本7.2 停止脚本7.3 授权7.4 停止集群在上一篇博客redis简单主从复制的实现简述了redis主从复制的搭建,其中也知道主从复制存在如下问题.

2021-02-04 01:20:17 61

转载 【Zookeeper灵魂】一个关于Paxos算法的故事

算法也源于生活,Paxos算法故事,非常有趣的故事。 Zookeeper默认采用FastLeaderElection算法,然而FastLeaderElection对于Zookeeper来讲只是相当于paxos中的leader选举。   下面我们用最简单的方式加以描述并建立起Paxo

2021-02-03 22:39:29 48

原创 redis简单主从复制的实现

1、规划2、启动时或者启动后手动设置Slave2.1 启动master2.2 启动63802.3 验证63802.4 设置63812.5 验证63813、配置文件方式3.1 拷贝redis.conf3.2设置6379配置文件3.3设置6380配置文件3.4设置6381配置文件3.5 启动3.6 验证4、主从复制问题Redis主从复制 Replication从服务器执行客户端发送的读命令,比如GET、LRANGE、SMEMMBERS、HGET、ZRANGE等等客户端可以连接Slaves执行读请求,来降低M.

2021-01-30 00:51:17 64 1

原创 hbase完全分布式的搭建

最近开始接触hbase,就从hbase完全分布式搭建开始记录一下。hbase完全分布式的搭建基于hdoop ha搭建基础上,hdoop ha搭建见:Hadoop MapReduce HA搭建 1 规划2 解压hbase3 配置3.1 配置hbase_home3.2 配置java_homey以及外部使用的zk3.3 配置 regionservers3.4 配置backup master3.5 配置zookeeper3.6 配置hdfs4 拷贝安装文件5 启动hbase集群6 验证6.1进程验证6.2 hba

2021-01-21 00:04:51 94

原创 hive本地多用户模式 启动报错Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

在搭建hive本地多用户模式中,启动hive报错Exception in thread “main” java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient.再往下还能看到错误信息java.sql.SQLException: Unable to open a test connec

2021-01-05 22:23:50 66

原创 oracle 存储过程使用create table报错ORA-01031: insufficient privileges问题处理

在使用存储过程进行建表时,提示没有权限 :ORA-01031: insufficient privileges 如下图所示存储过程代码如下:CREATE OR REPLACE PROCEDURE sp_test IS v_sql VARCHAR2(500); ----------备份表 v_sql := 'create table t_test as select * from user_tables' ; EXECUTE IMMEDIATE

2020-12-09 00:25:36 425

原创 Hadoop MapReduce HA搭建

MRAppMaster中如果ResourceManager 宕机了怎么办,与hadoop中的namenode问题一样,同样可以将RM搭建高可用。 1、规划2、配置文件2.1 mapred-site.xml2.2 yarn-site.xml2.3 把配置文件传到 其他服务器上2.4 修改启动文件3、启动集群4、验证4.1 页面验证4.2 高可用验证1、规划准备四台虚拟机,规划如下主机node2node3node4node5节点NameNodeNameNode节

2020-11-29 00:51:47 110

原创 hadoop mapreduce java 单词统计三个实现方法

1、统计文件准备1.1 创建需要统计单词的文件1.2 上传到hdfs文件系统上2、创建java项目2.1 配置文件2.2 java代码2.2.1 WordCountMapper 类2.2.2WordCountReducer 类2.2.3 MainClass 类3、参数设置4、运行结果hadoop MapReduce框架可以让你的应用在集群中:可靠地、容错地、并行、处理TB级别的数据。本实例通过idea运行java本地代码,实现统计单词计数。hadoop集群搭建见hadoop基于zookeper自动.

2020-11-28 23:59:46 93

原创 idea windows本地访问远程hadoop服务问题

在上一篇博客hadoop基于zookeper自动高可用搭建 搭建好远程的hadoop集群服务后,需要通过本地java代码访问该集群。java结构如下图所示测试类HdfsTest 代码如下:package com.wh.hdfs.test;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;impor

2020-11-24 00:49:52 173

原创 hadoop基于zookeper自动高可用搭建

背景1 机器规划2 安装前准备2.1 创建目录2.2 设置免密登录2.2.1设置主机名字2.2.2 免密登录设置3 安装包准备4 jdk安装5.安装 hadoop6 环境变量文件配置7 zookeper 安装7.1 解压7.2 环境变量配置7.3 zoo.cfg配置7.4 同步配置文件7.5 创建zookeper文件目录7.6 启动 zookeper8 hadoop 配置8.1hadoop java 环境变量配置8.2 core-site.xml8.3 hdfs-site.xml8.4 datanode配.

2020-11-16 01:05:07 95

原创 hadoop 伪分布式搭建实例

1 安装前准备1.1 下载安装包官网下载地址:https://hadoop.apache.org/releases.html。本实例下载2.6.51.3 jdk安装本实例通过rpm方式安装jdk1.8,需要准备jdk1.8rpm安装包安装前先检查是否已安装jdk rpm -qa|grep java上图结果表示没有安装过 rpm -ivh jdk-8u221-linux-x64.rpm 然后配置环境变量查看java 最终的安装路径ls -l /usr/java/可以看到

2020-11-05 00:23:51 107

原创 nginx负载均衡实例演示

1、准备三台虚拟机2、nginx 安装3、web服务器的配置4、修改配置文件4.1 配置方式一4.2配置方式二5、验证5.1 验证方式一5.1 验证方式二之前通过LVS以及keepalived都实现了负载均衡,本实例通过nginx实现1、准备三台虚拟机安装多台虚拟机这里不再进行赘述,三台虚拟机的IP已经配置。分别为192.168.8.63 用作nginx负载均衡调度服务器192.168.8.62 用作后端真是web服务器之一192.168.8.65.用作后端真是web服务器之二2、ngi.

2020-10-29 14:46:47 116 1

原创 nginx 反向代理实例

1、修改配置文件2、重新加载配置文件3、验证接上一篇博客,通过nginx 实现方向代理,实现通过 www.nginx.com/local_62 可以转发到本地 62的http应用上通过 www.nginx.com/helloworld 可以转发到百度上面1、修改配置文件vim /opt/nginx/conf/nginx.confserver 配置如下 server { listen 80; server_name www.nginx..

2020-10-29 11:39:20 60 1

原创 nginx 虚拟多个主机实例

1、拷贝数据到需要下载路径下2、修改配置文件3、 重新加载 nginx.conf4、修改windows本地host文件5、验证Nginx 虚拟主机的实现方式有两种:域名虚拟方式与端口虚拟方式。域名虚拟方式是指不同的虚拟机使用不同的域名,通过不同的域名虚拟出不同的主机;端口虚拟方式是指不同的虚拟机使用相同的域名不同的端口号,通过不同的端口号虚拟出不同的主机。基于端口的虚拟方式不常用。本实例通过使用不同域名,实现虚拟多主机,一个域名访问nginx的首页,一个访问本地页面可以进行下载。1、拷贝数据到需要下.

2020-10-28 10:27:52 183 1

原创 linux 环境nginx源码安装

1、安装准备1.1 下载安装包nginx官网:https://nginx.org/本次下载1.16.11.2 上传安装包下载后将源码上传到/opt/apps目录下,1.3 解压tar -zxvf nginx-1.16.1.tar.gz解压后生成目录如下:这些目录主要作用如下auto:存放 Nginx 自动安装的相关文件conf:存放 Nginx 服务器配置文件configure:命令,用于对即将安装的软件的配置,完成 makefile 编译文件的生成contrib:存放由

2020-10-27 11:52:54 128

原创 linux centos 环境下Device eth0 does not seem to be present,delaying initialization. 问题处理

今天在克隆虚拟机后,配置好克隆机器的IP后重启网络报错service network restartShutting down loopback insterface: [ OK ]Bringing up loopback insterface:

2020-10-26 00:09:42 36

原创 linux keepalived实现DR模式

1、安装前准备1.1恢复DR模式负载均衡器1.2 再准备一台虚拟机2、安装keepalived3、配置/etc/keepalived/keepalived.conf3.1 先在node0上配置3.2 配置备用服务器4.启动keepalived5.验证在上一篇博客中讲到了DR模式的实现,但是会发现以下几个问题:1、如果将一台RS的httpd服务器关闭,发现请求的时候,响应如果转发到down掉的RS将会出现响应比较慢的情况,有时候还会显示找不到网页。虽然最终或通过启动RS再次给与响应,但是用户提要非常不好.

2020-10-24 23:44:54 232

原创 负载均衡-LVS DR模式VM环境实例展示

负载均衡中DR模式(Virtual Server via direct routing (vs/dr) )过改写请求报文的目标MAC地址,将请求发给真实服务器的,而真实服务器响应后的处理结果直接返回给客户端用户。同TUN模式一 样,DR模式可以极大的提高集群系统的伸缩性。而且DR模式没有IP隧道的开销,对集群中的真实服务器也没有必要必须支持IP隧道协议的要求。但是要求调 度器LB与真实服务器RS都有一块网卡连接到同一物理网段上,必须在同一个局域网环境。DR模式是互联网使用比较多的一种模式。废话不多说直接上

2020-10-22 23:46:05 66

原创 centos 6上 yum检查epel源是否添加成功报错 Cannot retrieve metalink for repository问题处理

在我们使用yum安装时,经常发现没有第三方源,此时需要安装epel(Extra Packages for Enterprise Linux,企业版Linux的额外软件包) Epel是什么?它是Fedora小组维护的一个软件仓库项目,为RHEL/CentOS提供他们默认不提供的软件包。这个源兼容RHEL及像CentOS和Scientific Linux这样的衍生版本。安装epel以后,我们可以很容易地通过yum命令从EPEL源上获取上万个在CentOS自带源上没有的软件。EPEL提供的软件包大多基于其对应的

2020-10-07 23:17:59 217

原创 kettle 记录日志功能实现

日志是数仓很重要的组成部分,能记录到每个job,每一步的执行起止时间,错误信息。kettle有强大的日志功能。实现形式有控制台打印,后台日志表。控制台打印如下2、日志记录表双击job中的空白区域,进入日志界面如下下图所示:日志表名可以任意取,然后日志表字典根据需要确定。然后选择sql,得到创建日志表sql然后执行,日志表已经创建好了。然后保存,执行job。通过数据库查看运行日志记录SELECT t.* FROM etl_log t;从日志中可以看到运行时间,状态,但是对

2020-09-17 23:29:23 2006

原创 kettle 连接oracle 12c以上数据库报错 ORA-12505, TNS:listener does not currently know of SID given in connect d

在通过kettle连接oracle 数据库时报错,但通过plsql是能正常连接的,ORA-12505, TNS:listener does not currently know of SID given in connect descriptororg.pentaho.di.core.exception.KettleDatabaseException: 来看oracle 数据库版本select * from v$version;连接oracle 12c以上的数据库需要在数据库名称前加上’

2020-09-17 22:45:00 561 2

原创 Kettle发送邮件以及 Could not connect to SMTP host: smtp.qq.com, port: 465,535 Login Fail.问题处理

1、新建一个job(作业)2、发送邮件设置2.1 邮件服务器设置2.2 发件内容设置3、发送执行作业转换4、465 端口登录失败问题5、 535 Login Fail. Please enter 问题处理最近开始研究开源的ETL工具Kettle。记录一下发送邮件的功能。1、新建一个job(作业)然后从通用中拖拽START以及发送邮件成功到右边开发栏。2、发送邮件设置双击发送邮件,先设置收件人和发件人2.1 邮件服务器设置发件人用的是qq邮箱,设置为SMTP服务器:smtp.qq.com。.

2020-09-16 23:48:05 1712 1

原创 weblogic服务访问404错误

通过weblogic部署好工程以后,可以访问weblogic控制台,但是访问工程一致报404.1、先检查weblogic访问路径是否正确。检查weblogic的config.xml文件。一般路径为Oracle\Middleware\user_projects\domains\domain_name\config。打开看到工程的端口号以及工程名确认访问地址无误,2、接下来再检查是否有工程weblogic.xml文件。检查weblogic.xml文件内容3、确认有该文件,且该文件路径与web.xm

2020-08-05 13:50:39 2342

原创 oracle 使用listagg函数报 ORA-01489: result of string concatenation is too long错误处理

由于oracle 19c不能使用wm_concat函数,只能使用listagg进行列转行。 在使用时遇到如下错误ORA-01489: result of string concatenation is too long SELECT t.tablespace_name, listagg(t.table_name, ',') WITHIN GROUP(ORDER BY table_name) over(PARTITION BY tablespace_name) c

2020-07-08 10:39:54 5948

转载 详解ORACLE-HINT之pq_distribute

详解ORACLE-HINT之pq_distribute 原创 ...

2020-04-03 10:39:42 178

原创 oracle 低版本 11.2.0.1.0 创建DBlink访问 oracle 19c提示用户密码错误ORA-010107

由于导数据需要,在oracle 11.2.0.1创建dblink访问oracle19c数据库,提示用户密码错误。当然不会存在创建是 用户密码错误的情况。报错页面如下后面猜想是由数据库版本太低问题导致, 11g版本信息如下:SELECT t.* FROM v$version t;看看需要访问的目标端版本查看创建目标端数据库该用户密码支持版本select t.passwor...

2020-03-27 15:10:34 2086

原创 oracle 通过快照找回误删除的存储过程

通过oracle快照从存储过程视图dba_source 中恢复被drop或者恢复修改前的存储过程SELECT * FROM dba_source AS OF TIMESTAMP to_timestamp('2020-01-19 09:30:00', 'YYYY-MM-DD HH24:MI:SS') WHERE owner = ''--用户名 AND NAME = '' -- ...

2020-01-19 10:23:27 599

原创 Linux 扩展swap分区之通过添加磁盘分区

step 1 添加磁盘分区step 2 格式化分区step 3 使用partprobe重新读取分区表step 4 立即启用交换分区文件step 5 修改配置文件在之前的文章中讲到了通过添加文件的方式扩展交换分区:Linux 扩展swap分区本文演示通过磁盘分区的方法。step 1 添加磁盘分区使用fdisk 命令添加5g的分区硬盘。fdisk 添加分区用法详见:Linux 挂载硬盘,这里...

2020-01-08 23:51:18 259

原创 linux 虚拟机添加硬盘设备

step 1 新增一块硬件设备step 2 选择虚拟硬盘类型step 3 创建新虚拟磁盘step 4 设置磁盘大小step 5 设置磁盘文件名和保存位置step 6 保存添加的设备信息step 7 开启虚拟机 查看添加的硬盘设备之前安装oracle 12c 时 提示硬盘空间不够,需要添加硬盘,步骤如下:首先需要在虚拟机中模拟添加入一块新的硬盘存储设备,然后再进行分区、格式化、挂载等操作,最...

2020-01-06 23:36:36 364

原创 oracle 清理回滚段表空间

数据库突然,把磁盘空间占满,经常是由于回滚段空间导致,所以需要清理回滚段step 1、查看正在使用的回滚段表空间SELECT T.tablespace_name FROM dba_tablespaces t WHERE t.contents = 'UNDO';step 2、查看回滚段表空间文件路径这里查看路径后以便 后面创建新的回滚段空间SELECT t.file_name FRO...

2020-01-01 23:47:47 531

原创 Linux 挂载硬盘

step 1 分区step2 格式化分区step 3 挂载step 4 设置挂机自动挂载在安装centos 7上安装oracle时,磁盘空间不够,扩充后,发现磁盘空间仍然没有变化。l sblk命令默认情况下将以树状列出所有块设 lsblk从可用结果中看到硬盘大小实际为60g,但是可用的只有20g(sda1和sda2大小之和),也就是还有40g未挂载。我们需要添加分区,以将这40g硬...

2019-12-26 00:04:11 168

flinksql开发指南.zip#资源达人分享计划#

Flink_SQL开发指南中文版

2021-08-05

新个税计算器

新个税计算器,真实可用。不用部署到服务器,直接打开即可使用

2019-01-11

RedisDesktopManager

Redis可视化工具 Windows10-Redis Desktop Manager 64

2019-07-22

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除