weixin_33022765的博客

原创 机器学习及深度学习概述

与人对抗的围棋选手AlphaGo Zerodota与人对抗的机器人电竞选手波士顿机器人后空翻智能驾驶

原创 Python概述

原创 使用iptables实现主机防火墙隔离

#打开主机防火墙iptables -P -INPUT DROP#集群内部iptables -A INPUT -s $ip -j ACCEPT#外部系统访问限制iptables -A INPUT -s $ip -p tcp -m multiport –dport 25,111,2049,2181,3181,3306,3306,4181,4242,7191,7337,8020,8022,8030,8031,8032,8033,8040,8042,8044,8088,8090,8480,8481,848

原创 Cloudera Manager和CDH minor版本 tar包升级方案

Cloudera Manager和CDH minor版本 tar包升级方案目录Cloudera Manager和CDH minor版本 tar包升级方案1 概述2 升级准备工作2.1 停止CM服务以及各个组件服务2.2 数据库节点上备份Cloudera Manager数据库2.3 namenode节点备份元数据3 CM升级3.1 所有节点上传cm安装包3.2 解压3.3 所有节点的config.ini指向cloudera-scm-server节点3.4 cloudera-scm-server节点配置 db

原创 CDH节点宕机后HDFS和YARN高可用切换演练

CDH节点宕机后HDFS和YARN高可用切换演练一、 背景及目标为保障CDH集群的高可用，提升CDH运维经验，实施本次CDH主节点和主节点宕机后的高可用切换演练。主节点和子节点组件分配如下：模拟bjhtom-ap-bigData-flink102主节点以及bjhtom-ap-bigData-flink105子节点的宕机。二、 内容停止bjhtom-ap-bigData-flink105子节点所有组件停止bjhtom-ap-bigData-flink102 主节点所有组件（包括CDH管理组

原创 Flink1.9.0升级到Flink1.12.2

写在前面Flink1.12.X版本相比较之前版本，在安装不上存在差异。先说一下本次测试环境：操作系统：CentOS 7.4CM/CDH版本：CM5.15.2/ CDH5.15.2我们使用CDH作为hadoop集群的管控平台，而Flink1.9.0不支持CDH版hadoop，需要使用mvn构建1.9.0-cdh的安装包。1.11.0以后版本，已兼容hadoop2/3各版本，无需再根据hadoop版本自行编译。在官方网站下载对应安装包，运行时指明hadoop版本即可。除了安装上的差异外，有不少

原创 CDH5.13.3集成Spark2.4.0

CDH5.13.3集成Spark2.4.0目录CDH5.13.3集成Spark2.4.0写在前面一. 安装准备1. 下载csd包2. 下载parcel包二. 开始安装1.安装前可以停掉集群和Cloudera Management Service3.上传CSD包到每台服务器上的/opt/cloudera/csd目录，并且修改文件的用户和组。4.上传parcel包到机器的/opt/cloudera/parcel-repo目录下。5.如果刚刚没有停掉CM和集群，现在将他们停掉。然后运行命令。6.把CM和集群启动

原创 基于Sentry和Hue实现Hive权限控制（非认证情况）

基于Sentry和Hue实现Hive权限控制（非认证情况）目录基于Sentry和Hue实现Hive权限控制（非认证情况）1 写在前面2 安装Sentry服务2.1 创建数据库2.2 添加Sentry服务3 Hive/Hue服务与Sentry集成3.1 Hive配置3.2 Hue配置4 配置Hive权限5 Sentry权限验证测试6 参考文档1 写在前面Sentry组件由Clodera公司提供的安全授权管理工具。我们可以使用该组件实现hive的分租户权限管理。在此之前，需要明确：CDH平台中的安全，认

原创 加解密概念

首先从感性认识了解什么加解密https://haokan.baidu.com/v?vid=17004118868100378437&pd=bjh&fr=bjhauthor&type=video什么是对称加密什么是非对称加密什么是数字信封主要解决的问题是信息传输加密。使用的是【接收者】的非对称密钥对，用接收者的公钥加密，由接收者的私钥解密。以及对称秘钥。发送者发送信息时,首先生成一个共享的对称密钥,用该对称密钥加密消息体,形成密文;发送者用接收者的公钥加密此对称密