- 博客(43)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Ubuntu安装Hadoop3.2.1
Hadoop3.2.1版本的环境搭建机器准备，使用的配置好的docker基础镜像sweetfly123/baseubuntu:18.04v5服务器系统内存IP规划JDKHADOOPnode1Ubuntu 18.04.2 LTS8G10.101.18.21zoo1JDK 1.8.0_222hadoop-3.2.1node2Ubuntu 18.04.2 LTS8G10.101.18.8zoo2JDK 1.8.0_222hadoop-3.2.1
2021-01-14 23:40:52
880
原创 分布式事务二阶段和三阶段提交
分布式两阶段提交和三阶段提交为了解决这样一系列问题，大型网站的架构也在不断发展。提高大型网站的高可用架构，不得不提的就是分布式。本文主要介绍关于分布式事务，二阶段提交和三阶段提交。在分布式系统中，为了保证数据的高可用，通常，我们会将数据保留多个副本(replica)，这些副本会放置在不同的物理的机器上。为了对用户提供正确的增\删\改\差等语义，我们需要保证这些放置在不同物理机器上的副本是一致的。为了解决这种分布式一致性问题，前人在性能和数据一致性的反反复复权衡过程中总结了许多典型的协议和算法。其中比较
2021-01-06 16:02:29
596
原创 griffin编译安装
Griffin编译安装前言Griffin是一个应用于分布式数据系统中的开源数据质量解决方案，例如在Hadoop, Spark, Storm等分布式系统中，Griffin提供了一整套统一的流程来定义和检测数据集的质量并及时报告问题。Apache Griffin是一个开源的大数据数据质量解决方案，它支持批处理和流模式两种数据质量检测方式，可以从不同维度度量数据资产，从而提升数据的准确度和可信度。例如：离线任务执行完毕后检查源端和目标端的数据数量是否一致，源表的数据空值等一、Griffin介绍起源在eBa
2020-12-27 17:50:33
812
原创 Linux配置环境变量的几种方式
环境变量相关的配置文件用户环境变量配置文件所有用户/ect/profile/etc/bashrc/etc/environmentroot~/.bashrc ~/.bash-profile非root用户/home/非root用户名/.bashrcsource /etc/profile or. /etc/profile 环境变量配置方式# 读取系统已有环境变量的方法,输入exportexport# PATH 变量定义的是运行命令的查找路径，以冒号 ：
2020-12-24 19:12:38
572
1
转载 zookeeper集群搭建
查看以下链接https://blog.csdn.net/weixin_50642075/article/details/109613621
2020-12-21 16:21:43
44
转载 elasticsearch6.8集群安装X-Pack
https://www.cnblogs.com/hxlasky/p/13393408.html
2020-12-08 10:35:27
619
转载 centos7 yum安装时遇到错误：Header V3 RSA/SHA256 Signature, key ID 352c64e5: NOKEY
https://www.cnblogs.com/zl1991/p/7716919.html
2020-11-12 22:42:28
2889
原创 Linux服务器部署Java服务，卡在连接池初始化
Java服务部署，卡在连接池上面问题：SecureRandom instance原因：简单google了一下，是Java的SecureRandom是同步读的操作系统的/dev/random（具体的这个配置是在JAVA_HOME/jre/lib/security/java.security这个文件里面的securerandom.source=file:/dev/random 这个配置项）由于entropy pool(熵池)里面的值不够，所以卡住在读/dev/random上了，造成了启动缓慢解决
2020-11-12 17:36:12
263
原创 Maven项目将jar包单独打包
maven项目jar包独立<build> <finalName>MDMReceiver-1.1.5-RELEASE</finalName> <directory>MDMReceiver/resource</directory> <plugins> <!-- 设置编译版本 --> <plugin>
2020-11-02 17:39:43
642
1
原创 RibbitMQ 实战
RabbitMQ 实战教程1.MQ引言1.1 什么是MQMQ(Message Quene) : 翻译为 消息队列,通过典型的 生产者和消费者模型,生产者不断向消息队列中生产消息，消费者不断的从队列中获取消息。因为消息的生产和消费都是异步的，而且只关心消息的发送和接收，没有业务逻辑的侵入,轻松的实现系统间解耦。别名为 消息中间件 通过利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成。1.2 MQ有哪些当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、
2020-10-15 20:19:28
124
原创 SQL中having与where的区别
1.where和having的区别where:where是一个约束声明,使用where来约束来自数据库的数据;where是在结果返回之前起作用的;where中不能使用聚合函数。having:having是一个过滤声明;在查询返回结果集以后，对查询结果进行的过滤操作;在having中可以使用聚合函数。2.聚合函数和group by聚合函数就是例如SUM, COUNT, MAX, AVG等对一组(多条)数据操作的函数，需要配合group by 来使用。#如：SELECT SUM(popu
2020-10-13 09:51:55
1603
转载 etcd的安装及使用
etcd的安装及使用解压版，查看以下链接https://www.cnblogs.com/sanduzxcvbnm/p/11990783.html
2020-06-19 15:19:03
267
原创 Linux上RabbitMQ集群安装
RabbitMQ集群安装1.版本信息Version: 3.6.15Official Document URL: https://www.rabbitmq.com/download.htmlLocal image path: /rabbitmqDenpendency: Erlang2.安装步骤下载rpm安装介质rabbitmq-server-3.6.15-1.el7.noarch.rpm和erlang的rpm包将rabbitmq和erlang安装包放入/rabbitmq路径下安装erl
2020-06-18 16:36:22
325
原创 Dockerfile制作Ubuntu基础镜像
该镜像包含基本工具和maven，jdk等Dockerfile 如下FROM ubuntu:18.04ENV LANG=C.UTF-8ENV DEBIAN_FRONTEND=noninteractiveADD run.sh /home/RUN chmod 755 /home/run.sh#1,install jdkRUN apt-get update \ && apt-get -y install openjdk-8-jdkENV JAVA_HOME /usr
2020-06-10 19:23:08
2129
原创 ubuntu基础镜像
Ubuntu18.04相应软件安装过程与commit镜像安装jdk 安装包在/home下，安装路径 /usr/lib/jvm#安装vimapt-get install -y vimmkdir /usr/lib/jvmtar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/lib/jvm#修改环境变量vi ~/.bashrc#将以下内容复制到末...
2020-04-27 14:09:08
535
原创 rancher2.3.5安装
Rancher2.3.5安装配置1.启动Rancher2.3.5容器 主机要求配置：系统：Ubuntu 16.04 +(64位)Centos/RedHat Linux 7.5+(64位)RancherOS 1.3.0+(64位)硬件：CPU: 2C内存: 4GBdocker版本17.03.x18.06.x18.09.xdocker run -...
2020-04-27 14:08:38
548
原创 ambari-server安装文档
AmbariServer安装文档基础镜像-----sweetfly123/baseubuntu:18.04v2在 /etc/apt/sources.list.d 下面添加ambari.list#VERSION_NUMBER=2.7.3.0-139#json.url = http://public-repo-1.hortonworks.com/HDP/hdp_urlinfo.json...
2020-04-27 14:08:06
139
原创 ambari-agent
Ambari-agent镜像制作基础镜像-----sweetfly123/ubuntu:18.04v2在 /etc/apt/sources.list.d/ 下添加ambari.list和hdp相关的镜像源wget http://public-repo-1.hortonworks.com/HDP-GPL/ubuntu18/3.x/updates/3.1.0.0/hdp.gpl.list...
2020-04-27 14:07:36
321
原创 Quartz的oracle建表语句
建表语句其中schedule_job是手动新增的，用于界面增删改查CREATE TABLE schedule_job ( id int NOT NULL, job_id VARCHAR2(255) DEFAULT NULL, job_name VARCHAR2(255) DEFAULT NULL, job_status VARCHAR2(255) DEFAUL...
2020-04-27 11:32:56
1163
原创 k8s的InitContainer相关yaml
k8s中pod的生命周期与initcontainer测试Pod的yamlapiVersion: vikind: Podmetadata: name: myapp-pod labels: app: myappspec: containers: - name: myapp-container image: busybox command: [...
2020-03-09 18:31:15
386
转载 Docker拉取oracle11镜像注意事项
原文链接：https://blog.csdn.net/qq_38380025/article/details/80647620注意事项这个方法还不行，查看日志显示不得获取control02.ctl，需要手动cp把/home/oracle/app/oracle/flash_recovery_area/helowin改成oracle用户就可以了...
2020-02-26 17:28:31
310
原创 Ubuntu中apt-get与dpkg命令详解
Ubuntu中apt-get与dpkg命令详解apt-getapt-get 是一个下载安装软件包的简单命令行接口。最常用的命令是update(更新)和install(安装)。高级包装工具（英语：Advanced Packaging Tools,简称：APT）是Debian及其衍生发行版（如：ubuntu）的软件包管理器。APT可以自动下载，配置，安装二进制或者源代码格式的软件包，因此简化了...
2019-11-07 11:25:28
495
转载 Web Service与Rest API
标题正确甄别API & REST API & RESTful API & Web Service之间的差异与联系看到API你会想起什么？是接口、第三方调用、还是API文档？初看你可能会觉得这太熟悉了，这不是系统开发日常系列吗？但你仔细想一想，你会发现API的概念在你脑海里是如此的模糊。如何你通过搜索引擎检索API，你会看到类似这样的信息：API——Application ...
2019-11-06 15:12:00
499
原创 oozie coordinator时区设置
coordinator时间设置与job.properties配置coordinator.xml<coordinator-app name="cron-coord" frequency="${coord:minutes(1)}" start="${start}" end="${end}" timezone="GMT+0800" xmlns="uri:ooz...
2019-09-17 16:25:07
223
转载 Linux切换用户su、su -、sudo
su、su -、sudosu -su为switch user，即切换用户的简写，格式：su -l USERNAME（-l为login，即登陆的简写，-l可以将l省略掉，所以此命令常写为su - USERNAME如果不指定USERNAME（用户名），默认即为root，所以切换到root的身份的命令即为：su -root或是直接 su -su通过su切换用户还可以直接使用命令su USERN...
2019-08-06 15:51:58
134
原创 DB2学习
DB2安装与练习安装使用docker镜像使用功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入安装使用docker镜像...
2019-07-24 17:38:52
276
原创 Dockerfile制作基于Ubuntu的MySQL镜像
基于ubuntu18.04制作MySQL的docker镜像通过dockefile1.版本信息2.步骤通过dockefile1.版本信息镜像源：https://ogec0pyk.mirror.aliyuncs.com（阿里）Ubuntu：18.04MySQL：5.72.步骤编写DockerfileFROM ubuntuADD sources.list /etc/apt/A...
2019-07-21 19:26:06
4025
9
原创 docker commit制作MySQL的docker镜像
基于ubuntu18.04制作MySQL的docker镜像一、通过docker commit1. 基础配置2. 制作步骤一、通过docker commit1. 基础配置镜像源：https://ogec0pyk.mirror.aliyuncs.com（阿里）Ubuntu版本信息MySQL版本信息2. 制作步骤拉去镜像默认拉去latestdocker pull ubuntu...
2019-07-21 02:45:15
1277
转载 Dockerfile创建自定义Docker镜像以及CMD与ENTRYPOINT指令的比较
Dockerfile创建自定义Docker镜像以及CMD与ENTRYPOINT指令的比较1.概述创建Docker镜像的方式有三种docker commit命令：由容器生成镜像；Dockerfile文件+docker build命令；从本地文件系统导入：OpenVZ的模板。关于这三种方式的大致说明请参考yeasy/docker_practice的创建镜像。最近学习了Dockerfile...
2019-02-28 16:44:09
170
转载 Java数据存与内存，堆，栈
栈、堆1.寄存器：最快的存储区, 由编译器根据需求进行分配,我们在程序中无法控制.2. 栈：存放基本类型的变量数据和对象的引用，但对象本身不存放在栈中，而是存放在堆（new 出来的对象）或者常量池中（字符串常量对象存放在常量池中。）3. 堆：存放所有new出来的对象。4. 静态域：存放静态成员（static定义的）5. 常量池：存放字符串常量和基本类型常量（public static f...
2019-01-25 11:35:33
137
原创 springcloud+oauth2携带token去请求其他服务
当从oauth2服务中获取到了token后，携带该token去请求其他服务时，报出{ "error": "invalid_token", "error_description": "Invalid access token: e5224346-ea39-49ff-bd0e-1b9aef3db1da"}需要在当前服务的配置文件配置#内置有user对象的地址，才能获取到同一个...
2019-01-17 17:43:17
2768
3
原创 WebSecurityConfigurerAdapter和ResourceServerConfigurerAdapter的区别
oauth2验证中WebSecurityConfigurerAdapter和ResourceServerConfigurerAdapter的区别WebSecurityConfigurerAdapter默认情况下是springsecurity的http配置ResourceServerConfigurerAdapter默认情况下是spring security oauth2的http配置但是Re...
2019-01-17 15:22:46
5209
原创 springsecurity的http.permitall与web.ignoring的区别
springsecurity的http.permitAll与web.ignoring的区别这两个都是继承WebSecurityConfigurerAdapter后重写的方法http.permitAll不会绕开springsecurity验证，相当于是允许该路径通过web.ignoring是直接绕开spring security的所有filter，直接跳过验证...
2019-01-17 15:16:02
3589
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人