- 博客(70)
- 资源 (14)
- 收藏
- 关注
原创 ERROR (-1005)]: Host not enough! nebula无法注册元数据
从Nebula Graph 3.0.0开始,add hosts 解决 元数据 hosts注册
2022-08-24 18:41:09 2389 1
原创 搭建CDH的yum本地源
1、关闭防火墙、关闭selinuxservice iptables stopchkconfig iptables off[root@test001 selinux]# cat /etc/selinux/config # This file controls the state of SELinux on the system.# SELINUX= can take one of these three values:# enforcing - SELinux security p
2021-03-30 15:58:50 680
原创 tensorflow-1.14 版本更新
使用TensorFlow训练文本筛选,错误提示:AttributeError: module 'tensorflow.python.platform.flags' has no attribute 'mark_flag_as_required'由于使用python3.6,本机安装的TensorFlow是1.12版本,得知需要升级1.14才可以解决。所以基于Anaconda平台,进行版本升级,选择使用的enevs 首先open Terminal,进入命令窗口,使用pip安装:.
2021-03-28 16:32:35 1473
原创 Python连接Hive/Impala
目前Pyhive和impyla不太兼容,需要选择合适的版本PyHive==0.6.2SQLAlchemy==1.3.18impyla==0.15a1pandas==1.0.5thrift==0.13.0thrift-sasl==0.4.2thriftpy2==0.4.0一、impala连接 def get_current_engine(self): host = self._hive_write_conn_conf.get("host") p
2021-02-02 11:14:16 509
转载 Python数据库MySQL连接池DBUtils
DBUtils 是一套允许线程化 Python 程序可以安全和有效的访问数据库的模块一、下载安装1.1 从pypi下载https://pypi.python.org/pypi/DBUtils$ wget https://pypi.python.org/packages/65/65/89afee016aca7fbb5c1642e6ef3864d80af808dc5efa7367b328093eece9/DBUtils-1.1.tar.gz1.2 安装 方法1:cd DBU...
2020-11-21 19:48:29 407
原创 Python单例模式
单例模式单例模式(Singleton Pattern)是一种常用的软件设计模式,该模式的主要目的是确保某一个类只有一个实例存在。当你希望在整个系统中,某个类只能出现一个实例时,单例对象就能派上用场。比如,某个服务器程序的配置信息存放在一个文件中,客户端通过一个 AppConfig 的类来读取配置文件的信息。如果在程序运行期间,有很多地方都需要使用配置文件的内容,也就是说,很多地方都需要创建 AppConfig 对象的实例,这就导致系统中存在多个 AppConfig 的实例对象,而这样会严重浪费内存资
2020-11-02 21:04:43 117
转载 Kubernetes部署
master节点搭建首先编辑对应的配置文件cat <<EOF > /etc/yum.repos.d/kubernetes.repo[kubernetes]name=Kubernetesbaseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64enabled=1gpgcheck=1repo_gpgcheck=1gpgkey=https://mirrors.aliyun.co
2020-10-15 12:01:35 3385
原创 Nexus部署
docker部署mkdir -p /app/nexus/data && \ chmod -R 777 /app/nexus/data && \ docker run -d -p 8081:8081 -p 8082:8082 -p 8083:8083 --name nexus -v /app/nexus/data:/nexus-data sonatype/nexus3:3.19.1 登录按照指令和提示找到对应的密码,目录在nexus的data文件夹中.
2020-10-15 11:50:21 341
原创 Jenkins部署
安装Jenkins首先要具备JDK和Maven环境安装JDK# Oracle 官网 https://www.oracle.com/java/technologies/javase/javase8u211-later-archive-downloads.htmltar -zxvf jdk-8u241-linux-x64.tar.gzexport JAVA_HOME=/app/jdk/jdk1.8.0_241export CLASSPATH=.:$JAVA_HOME/jre/lib/r
2020-10-15 11:45:41 128
原创 Docker 构建私有仓库register
一、拉取最新Register镜像docker pull registry二、创建文件夹并生成密码mkdir reg-auth && cd reg-authecho "user:wachoo passwd:123456" >htpasswd三、加密转换cd ..docker run --entrypoint htpasswd registry:latest -Bbn wachoo 123456 >reg-auth/htpasswdcat reg
2020-09-24 18:15:32 750
原创 CentOS7上CDH6.2搭建
CDH架构Cloudera Manger 架构CDH 6.2.0 组件版本完整参考:https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_62_packaging.html#cdh_packaging_60x演示集群系统软件版本操作系统:centos 7 64位CDH:6.2.0JDK:1.8虚拟机设置Step1: 安装虚拟机建...
2020-09-01 00:02:00 1015
原创 Flink开发环境搭建
1. 创建Flink项目及依赖管理1.1创建Flink项目官网创建Flink项目有两种方式:https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/projectsetup/java_api_quickstart.html方式一:mvn archetype:generate \-DarchetypeGroupId=org.apache.flink \-DarchetypeArtifactId=flink-
2020-08-25 16:22:29 1207
原创 GitLab 私服搭建
前言GitHub、GitLab以及Bitbucket,相信大家都已经耳熟能详,它们是目前最流行的三大代码托管平台。我们使用 git 管理的项目,要想实现远程协作,就得依赖这类托管平台。我们可以直接通过购买他们的付费在线服务,或者开源服务搭建自己的私服,来托管团队项目代码。搭建GitLabgitlab 是一个基于 web 的 git 仓库管理工具。gitlab 拥有 ...
2020-04-27 10:35:23 2322 1
原创 Java8 中通过 Stream 对列表进行去重的方法
1. Stream 的distinct()方法distinct()是Java8 中 Stream 提供的方法,返回的是由该流中不同元素组成的流。distinct()使用hashCode()和eqauls()方法来获取不同的元素。因此,需要去重的类必须实现hashCode()和equals()方法。换句话讲,我们可以通过重写定制的hashCode()和equa...
2020-04-17 15:32:44 815
原创 Hadoop-集群搭建
一、虚拟机设置1. 搭建虚拟机2. 确定hostname (master, slave1 salve2)3. 设置网络4. 设置hostsvi /etc/hosts10.211.55.10 master10.211.55.9 slave110.211.55.8 slave25. 关闭防火墙service iptables stopchkconfi...
2020-04-13 14:59:10 151
转载 python多线程与多进程
python多线程python中提供两个标准库thread和threading用于对线程的支持,python3中已放弃对前者的支持,后者是一种更高层次封装的线程库,接下来均以后者为例。创建线程python中有两种方式实现线程:实例化一个threading.Thread的对象,并传入一个初始化函数对象(initial function )作为线程执行的入口; 继承threading...
2019-12-18 19:16:03 145
转载 死锁产生条件
什么是死锁? 死锁是指两个或两个以上的进程在执行过程中,由于竞争资源或者由于彼此通信而造成的一种阻塞的现象,若无外力作用,它们都将无法推进下去。此时称系统处于死锁状态或系统产生了死锁,这些永远在互相等待的进程称为死锁进程。 例如,在某个计算机系统中只有一台打印机和一台输入 设备,进程P1正占用输入设备,同时又提出使用打印机的请求,但此时打印机正被进程P2 所占用,而P2在未释放打印机之...
2019-12-18 15:42:22 373
转载 分布式事务中常见的三种解决方案
目录一、分布式事务前奏 二、柔性事务解决方案架构 (一)、基于可靠消息的最终一致性方案概述 (二)、TCC事务补偿型方案 (三)、最大努力通知型 三、基于可靠消息的最终一致性方案详解 (一)、消息发送一致性 (二)、保证消息一致的变通做法 (三)、常规MQ消息处理流程和特点 (四)、消息重复发送问题和业务接口幂等性设计 (五)、本地消息服务方案 (六)、...
2019-12-18 15:19:32 161
原创 MySQL集群(PXC)
一、目标和方式1.目标: 1)大型互联网应用的架构设计和业务处理 2)掌握PXC集群MySQL方案的原理 3)掌握PXC集群的强一致性 4)掌握PXC集群的高可用方案2.分析方式:由浅入深,循序渐进;案例有小到大,逐步扩展二、硬件环境需求1.win /Linux/ MacOS2.Docker虚拟机3.内存8GB以上三、单节点数据库的弊...
2019-12-13 16:54:13 483
原创 docker搭建分布式调度系统
一、整体规划图二、docker中搭建调度服务实例分别在两台机器上创建job-admin实例docker run -d -p 8090:8090 --name job-admin-2.1.1_0 --restart=always -v /data/ucm2/:/data/ucm2/:rw -e PARAMS="--spring.profiles.active=dev" ${j...
2019-12-04 18:08:12 579
原创 docker搭建mysql集群
本文章使用Percona XtraDB Cluster(MySQL改进版,性能提升很大)进行集群搭建,集群mysql的数量是5,宿主机为centos7。常见集群方案PXC同步复制,事务在所有集群节点要么同时提交,要么不提交 Replication采用异步复制,无法保证数据的一致性 PXC集群实现是通过galera,而Replication是通过binlog异步同步,两者互不牵连,所以可...
2019-11-22 15:01:06 388
原创 Docker入门介绍
Docker是什么?我们在理解docker之前,首先我们得先区分清楚两个概念,容器和虚拟机。可能很多读者朋友都用过虚拟机,而对容器这个概念比较的陌生。我们用的传统虚拟机如VMware,VisualBox之类的需要模拟整台机器包括硬件,每台虚拟机都需要有自己的操作系统,虚拟机一旦被开启,预分配给它的资源将全部被占用。每一台虚拟机包括应用,必要的二进制和库,以及一个完整的用户操...
2019-11-21 19:03:19 190
原创 Linux 下的 Docker 安装与使用
一、安装与配置1.安装依赖包sudo yum install -y yum-utils device-mapper-persistent-data lvm22.设置阿里云镜像源sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo...
2019-11-12 16:06:25 165
原创 Git 撤销与rabse 的使用
作用域与版本关系 操作 工作区 暂存区 本地仓 远程仓 提交 (untracked) git add(tracked) git commit git push 撤销 git checkout — file git reset –hard HEAD git reset ${commit_id} g...
2019-11-05 14:47:42 361
原创 部署springboot应用到Docker
一、确保Docker应用的安装可以参考菜鸟教程二、编写DockerfileFROM openjdk:7-jre-slimMAINTAINER Fisher "wachoo@outlook.com"ENV PARAMS=""ENV TZ=PRCRUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && e...
2019-10-10 17:37:50 252
原创 部署Python应用到Docker
序言:需要运行的Python项目的结构:只要直接运行run_app.py文件即可启动应用;web就是Python项目的web(整个源码所在目录)直接复制过来的,部署到docker里面,在容器中启动:一个web文件夹:包含工程的代码,和运行工程所需的环境列表requirements.txt一个docker镜像构建的Dockerfile一、确保Docker应用的安装...
2019-08-27 18:55:13 825 3
原创 Linux -grep一般使用
1.基本语法grep [option] pattern file grep [-acinv] [--color=auto] 'key' filename1) 参数选项:-n 结果显示行号-c 关键字匹配的行次数-i 关键字忽略大小写-v 反向选择-e 后跟一个正则表达式-m10 查找到10次就停止继续查找-A10 显示关键字所在行和后10行-B10 显示关键字所在...
2019-08-23 10:52:37 153
转载 设计模式-单例
一般情况下,不建议使用第 1 种和第 2 种懒汉方式,建议使用第 3 种饿汉方式。只有在要明确实现 lazy loading 效果时,才会使用第 5 种登记方式。如果涉及到反序列化创建对象时,可以尝试使用第 6 种枚举方式。如果有其他特殊的需求,可以考虑使用第 4 种双检锁方式。单例模式的几种实现方式单例模式的实现有多种方式,如下所示:1、懒汉式,线程不安全是否 Lazy 初...
2019-07-17 14:34:13 113
原创 lambda集合互转
常用方式代码如下:public Map<Long, String> getIdNameMap(List<Account> accounts) { return accounts.stream().collect(Collectors.toMap(Account::getId, Account::getUsername));}收集成实体本身map...
2019-04-23 09:52:03 848
原创 Java中用IntelliJ IDEA生成可执行Jar包
//更新manifest.mf 将自己写的manifest.mf 放到Test.class目录内容为:Manifest-Version: 1.0Main-Class: cn.demo.CspaceAddToSingleChatApp注意回车使用以下命令生效jar umf MANIFEST.MF test.jarjava -jar test...
2019-04-19 13:46:54 814
转载 分布式锁
### 什么是锁?在单进程的系统中,当存在多个线程可以同时改变某个变量(可变共享变量)时,就需要对变量或代码块做同步,使其在修改这种变量时能够线性执行消除并发修改变量。 而同步的本质是通过锁来实现的。为了实现多个线程在一个时刻同一个代码块只能有一个线程可执行,那么需要在某个地方做个标记,这个标记必须每个线程都能看到,当标记不存在时可以设置该标记,其余后续线程发现已经有标记了则等待拥有标记的线...
2019-04-17 14:39:02 149
ntp-4.2.6p5-29.el7.centos.2.x86_64 适用于centos7.9
2022-08-23
jdk-8u221-linux-x64.zip
2019-10-11
intellij-java-google-style.xml
2019-03-26
flowplayer HTML5版
2015-10-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人