wachoo-CSDN博客

1、关闭防火墙、关闭selinuxservice iptables stopchkconfig iptables off[root@test001 selinux]# cat /etc/selinux/config # This file controls the state of SELinux on the system.# SELINUX= can take one of these three values:# enforcing - SELinux security p

2021-03-30 15:58:50 629

原创 tensorflow-1.14 版本更新

使用TensorFlow训练文本筛选，错误提示：AttributeError: module 'tensorflow.python.platform.flags' has no attribute 'mark_flag_as_required'由于使用python3.6，本机安装的TensorFlow是1.12版本，得知需要升级1.14才可以解决。所以基于Anaconda平台，进行版本升级，选择使用的enevs 首先open Terminal，进入命令窗口，使用pip安装：.

2021-03-28 16:32:35 1446

原创 Python连接Hive/Impala

目前Pyhive和impyla不太兼容，需要选择合适的版本PyHive==0.6.2SQLAlchemy==1.3.18impyla==0.15a1pandas==1.0.5thrift==0.13.0thrift-sasl==0.4.2thriftpy2==0.4.0一、impala连接 def get_current_engine(self): host = self._hive_write_conn_conf.get("host") p

2021-02-02 11:14:16 479

转载 Python数据库MySQL连接池DBUtils

DBUtils 是一套允许线程化 Python 程序可以安全和有效的访问数据库的模块一、下载安装1.1 从pypi下载https://pypi.python.org/pypi/DBUtils$ wget https://pypi.python.org/packages/65/65/89afee016aca7fbb5c1642e6ef3864d80af808dc5efa7367b328093eece9/DBUtils-1.1.tar.gz1.2 安装方法1：cd DBU...

2020-11-21 19:48:29 384

原创 Python单例模式

单例模式单例模式（Singleton Pattern）是一种常用的软件设计模式，该模式的主要目的是确保某一个类只有一个实例存在。当你希望在整个系统中，某个类只能出现一个实例时，单例对象就能派上用场。比如，某个服务器程序的配置信息存放在一个文件中，客户端通过一个 AppConfig 的类来读取配置文件的信息。如果在程序运行期间，有很多地方都需要使用配置文件的内容，也就是说，很多地方都需要创建 AppConfig 对象的实例，这就导致系统中存在多个 AppConfig 的实例对象，而这样会严重浪费内存资

2020-11-02 21:04:43 102

转载 Kubernetes部署

master节点搭建首先编辑对应的配置文件cat <<EOF > /etc/yum.repos.d/kubernetes.repo[kubernetes]name=Kubernetesbaseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64enabled=1gpgcheck=1repo_gpgcheck=1gpgkey=https://mirrors.aliyun.co

2020-10-15 12:01:35 3344

原创 Nexus部署

docker部署mkdir -p /app/nexus/data && \ chmod -R 777 /app/nexus/data && \ docker run -d -p 8081:8081 -p 8082:8082 -p 8083:8083 --name nexus -v /app/nexus/data:/nexus-data sonatype/nexus3:3.19.1 登录按照指令和提示找到对应的密码，目录在nexus的data文件夹中.

2020-10-15 11:50:21 305

原创 Jenkins部署

安装Jenkins首先要具备JDK和Maven环境安装JDK# Oracle 官网 https://www.oracle.com/java/technologies/javase/javase8u211-later-archive-downloads.htmltar -zxvf jdk-8u241-linux-x64.tar.gzexport JAVA_HOME=/app/jdk/jdk1.8.0_241export CLASSPATH=.:$JAVA_HOME/jre/lib/r

2020-10-15 11:45:41 117

原创 Docker 构建私有仓库register

一、拉取最新Register镜像docker pull registry二、创建文件夹并生成密码mkdir reg-auth && cd reg-authecho "user:wachoo passwd:123456" >htpasswd三、加密转换cd ..docker run --entrypoint htpasswd registry:latest -Bbn wachoo 123456 >reg-auth/htpasswdcat reg

2020-09-24 18:15:32 735

原创 CentOS7上CDH6.2搭建

CDH架构Cloudera Manger 架构CDH 6.2.0 组件版本完整参考：https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_62_packaging.html#cdh_packaging_60x演示集群系统软件版本操作系统：centos 7 64位CDH：6.2.0JDK：1.8虚拟机设置Step1: 安装虚拟机建...

2020-09-01 00:02:00 967

原创 Flink开发环境搭建

1. 创建Flink项目及依赖管理1.1创建Flink项目官网创建Flink项目有两种方式：https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/projectsetup/java_api_quickstart.html方式一：mvn archetype:generate \-DarchetypeGroupId=org.apache.flink \-DarchetypeArtifactId=flink-

2020-08-25 16:22:29 1177

原创 GitLab 私服搭建

前言GitHub、GitLab以及Bitbucket，相信大家都已经耳熟能详，它们是目前最流行的三大代码托管平台。我们使用 git 管理的项目，要想实现远程协作，就得依赖这类托管平台。我们可以直接通过购买他们的付费在线服务，或者开源服务搭建自己的私服，来托管团队项目代码。搭建GitLabgitlab 是一个基于 web 的 git 仓库管理工具。gitlab 拥有 ...

2020-04-27 10:35:23 2176 1

原创 Java8 中通过 Stream 对列表进行去重的方法

1. Stream 的distinct()方法distinct()是Java8 中 Stream 提供的方法，返回的是由该流中不同元素组成的流。distinct()使用hashCode()和eqauls()方法来获取不同的元素。因此，需要去重的类必须实现hashCode()和equals()方法。换句话讲，我们可以通过重写定制的hashCode()和equa...

2020-04-17 15:32:44 805

原创 Hadoop-集群搭建

一、虚拟机设置1. 搭建虚拟机2. 确定hostname (master, slave1 salve2)3. 设置网络4. 设置hostsvi /etc/hosts10.211.55.10 master10.211.55.9 slave110.211.55.8 slave25. 关闭防火墙service iptables stopchkconfi...

2020-04-13 14:59:10 143

转载 python多线程与多进程

python多线程python中提供两个标准库thread和threading用于对线程的支持，python3中已放弃对前者的支持，后者是一种更高层次封装的线程库，接下来均以后者为例。创建线程python中有两种方式实现线程：实例化一个threading.Thread的对象，并传入一个初始化函数对象（initial function )作为线程执行的入口；继承threading...

2019-12-18 19:16:03 128

转载死锁产生条件

什么是死锁？　　死锁是指两个或两个以上的进程在执行过程中，由于竞争资源或者由于彼此通信而造成的一种阻塞的现象，若无外力作用，它们都将无法推进下去。此时称系统处于死锁状态或系统产生了死锁，这些永远在互相等待的进程称为死锁进程。　　例如，在某个计算机系统中只有一台打印机和一台输入设备，进程P1正占用输入设备，同时又提出使用打印机的请求，但此时打印机正被进程P2 所占用，而P2在未释放打印机之...

2019-12-18 15:42:22 361

转载分布式事务中常见的三种解决方案

目录一、分布式事务前奏二、柔性事务解决方案架构（一）、基于可靠消息的最终一致性方案概述（二）、TCC事务补偿型方案（三）、最大努力通知型三、基于可靠消息的最终一致性方案详解（一）、消息发送一致性（二）、保证消息一致的变通做法（三）、常规MQ消息处理流程和特点（四）、消息重复发送问题和业务接口幂等性设计（五）、本地消息服务方案（六）、...

2019-12-18 15:19:32 148

原创 MySQL集群(PXC)

一、目标和方式1.目标：　　1）大型互联网应用的架构设计和业务处理　　2）掌握PXC集群MySQL方案的原理　　3）掌握PXC集群的强一致性　　4）掌握PXC集群的高可用方案2.分析方式：由浅入深，循序渐进；案例有小到大，逐步扩展二、硬件环境需求1.win /Linux/ MacOS2.Docker虚拟机3.内存8GB以上三、单节点数据库的弊...

2019-12-13 16:54:13 465

原创 docker搭建分布式调度系统

一、整体规划图二、docker中搭建调度服务实例分别在两台机器上创建job-admin实例docker run -d -p 8090:8090 --name job-admin-2.1.1_0 --restart=always -v /data/ucm2/:/data/ucm2/:rw -e PARAMS="--spring.profiles.active=dev" ${j...

2019-12-04 18:08:12 561

原创 docker搭建mysql集群

本文章使用Percona XtraDB Cluster（MySQL改进版，性能提升很大）进行集群搭建，集群mysql的数量是5,宿主机为centos7。常见集群方案PXC同步复制，事务在所有集群节点要么同时提交，要么不提交 Replication采用异步复制，无法保证数据的一致性 PXC集群实现是通过galera，而Replication是通过binlog异步同步，两者互不牵连，所以可...

2019-11-22 15:01:06 374

原创 Docker入门介绍

Docker是什么？我们在理解docker之前，首先我们得先区分清楚两个概念，容器和虚拟机。可能很多读者朋友都用过虚拟机，而对容器这个概念比较的陌生。我们用的传统虚拟机如VMware，VisualBox之类的需要模拟整台机器包括硬件，每台虚拟机都需要有自己的操作系统，虚拟机一旦被开启，预分配给它的资源将全部被占用。每一台虚拟机包括应用，必要的二进制和库，以及一个完整的用户操...

2019-11-21 19:03:19 176

原创 Linux 下的 Docker 安装与使用

一、安装与配置1.安装依赖包sudo yum install -y yum-utils device-mapper-persistent-data lvm22.设置阿里云镜像源sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo...

2019-11-12 16:06:25 150

原创 Git 撤销与rabse 的使用

作用域与版本关系操作工作区暂存区本地仓远程仓提交 (untracked) git add(tracked) git commit git push 撤销 git checkout — file git reset –hard HEAD git reset ${commit_id} g...

2019-11-05 14:47:42 327

原创部署springboot应用到Docker

一、确保Docker应用的安装可以参考菜鸟教程二、编写DockerfileFROM openjdk:7-jre-slimMAINTAINER Fisher "wachoo@outlook.com"ENV PARAMS=""ENV TZ=PRCRUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && e...

2019-10-10 17:37:50 243

原创部署Python应用到Docker

序言：需要运行的Python项目的结构：只要直接运行run_app.py文件即可启动应用；web就是Python项目的web（整个源码所在目录）直接复制过来的，部署到docker里面，在容器中启动：一个web文件夹：包含工程的代码，和运行工程所需的环境列表requirements.txt一个docker镜像构建的Dockerfile一、确保Docker应用的安装...

2019-08-27 18:55:13 740 3

原创 Linux -grep一般使用

1.基本语法grep [option] pattern file grep [-acinv] [--color=auto] 'key' filename1) 参数选项：-n 结果显示行号-c 关键字匹配的行次数-i 关键字忽略大小写-v 反向选择-e 后跟一个正则表达式-m10 查找到10次就停止继续查找-A10 显示关键字所在行和后10行-B10 显示关键字所在...

2019-08-23 10:52:37 139

转载设计模式-单例

一般情况下，不建议使用第 1 种和第 2 种懒汉方式，建议使用第 3 种饿汉方式。只有在要明确实现 lazy loading 效果时，才会使用第 5 种登记方式。如果涉及到反序列化创建对象时，可以尝试使用第 6 种枚举方式。如果有其他特殊的需求，可以考虑使用第 4 种双检锁方式。单例模式的几种实现方式单例模式的实现有多种方式，如下所示：1、懒汉式，线程不安全是否 Lazy 初...

2019-07-17 14:34:13 106

原创 lambda集合互转

常用方式代码如下：public Map<Long, String> getIdNameMap(List<Account> accounts) { return accounts.stream().collect(Collectors.toMap(Account::getId, Account::getUsername));}收集成实体本身map...

2019-04-23 09:52:03 829

原创 Java中用IntelliJ IDEA生成可执行Jar包

//更新manifest.mf 将自己写的manifest.mf 放到Test.class目录内容为:Manifest-Version: 1.0Main-Class: cn.demo.CspaceAddToSingleChatApp注意回车使用以下命令生效jar umf MANIFEST.MF test.jarjava -jar test...

2019-04-19 13:46:54 803

转载分布式锁

### 什么是锁？在单进程的系统中，当存在多个线程可以同时改变某个变量（可变共享变量）时，就需要对变量或代码块做同步，使其在修改这种变量时能够线性执行消除并发修改变量。而同步的本质是通过锁来实现的。为了实现多个线程在一个时刻同一个代码块只能有一个线程可执行，那么需要在某个地方做个标记，这个标记必须每个线程都能看到，当标记不存在时可以设置该标记，其余后续线程发现已经有标记了则等待拥有标记的线...

2019-04-17 14:39:02 137