weixin_38023225的博客

原创 Mac ssh登陆服务器: no matching host key type found. Their offer: ssh-rsa问题处理

1.问题描述Mac 上iterm2 脚本连接堡垒机报错。

原创 解决Mac iTerm2使用rz和sz不支持expect命令问题

原创 Centos6无法使用yum源解决方案（最简最优方案）

1.yum介绍yum(全称为 Yellow dog Updater, Modified)是一个在Fedora和RedHat以及SUSE中的Shell前端软件包管理器。基於RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软体包，无须繁琐地一次次下载、安装。yum提供了查找、安装、删除某一个、一组甚至全部软件包的命令。2.背景 虚拟机安装了Centos6.8，通过yum源安装软件报错，发现无法安装[root@...

原创 PowerBI下载安装

1.下载https://powerbi.microsoft.com/zh-cn/desktop/2.安装3.使用3.1连接mysql获取数据源需要安装相关组件下载组件，网址为https://dev.mysql.com/downloads/file/?id=412152安装，重启PowerBI，再次远程连接mysql...

原创 前端初始化项目步骤

1.安装vue脚手架参考：vue脚手架（vue-cli）搭建_月正明的博客-CSDN博客2.通过vue脚手架创建项目cmd终端输入vue ui，进入可视化界面创建项目vue ui3.配置vue路由4.配置ElementUI组件库5.配置axios库6.初始化git远程仓库7.将本地项目托管到git上问题1:在vue2项目上使用less,安装了 less 和 less-laoder之后，编译项目的时候提示下面问题：Module build failed (..

原创 vue脚手架（vue-cli）搭建

1.nodejs下载安装Vue CLI 需要 Node.js 8.9 或更高版本Node.js 安装包及源码下载地址为：Download | Node.js检查是否安装成功，node -v2. 安装vue-clinpm install -g @vue/cli# 或者yarn global add @vue/cli检查是否安装成功，vue --version/-V问题1：如果报错解决方案：以管理员身份运行PowerShell（一定要以管理员的身份运行P..

原创 idea+gradle本地构建调试Spring源码

1.介绍IntelliJ IDEA 2019.3.3 gradle6.9.1 Spring-framework(5.3.11-SNAPSHOT)2.下载配置gradle3.Spring源码本地构建 Spring源码下载 配置文件修改 1）build.gradle配置文件修改，使用阿里云仓库，提高下载速度。maven { url 'https://maven.aliyun.com/nexus/content/groups/public/' }maven { ur.

原创 File encoding has not been set, using platform encoding GBK, i.e. build is platform dependent

问题：编译打包(mvn clean install)文件总是为GBK格式，不是UTF-8格式原因分析：使用了默认编码格式GBK解决方案：pom文件添加配置<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding></properties>执行结果：...

原创 CDH6.2.0集成Phoenix

官方文档：phoenix_installationParcel 下载地址：https://archive.cloudera.com/phoenix/6.2.0/parcels/csd 下载地址：https://archive.cloudera.com/phoenix/6.2.0/csd/PHOENIX-1.0.jar1.parcel配置/opt/cloudera/parcel-repo目录PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel

原创 Dbeaver连接Phoenix

1.CDH6.2.0集成Phoenix（离线）参考：2.Cloudera Manager下载HBase客户端配置hbase-site.xml3.从CDH安装phoenix任一主机下载phoenix-5.0.0-cdh6.2.0-client.jar文件[root@ptxtest-bd1 phoenix]#pwd/opt/cloudera/parcels/PHOENIX-5.0.0-cdh6.2.0.p0.1308267/lib/phoenix[root@ptxtest-bd1 ph

原创 SpringBoot多数据源配置

Demo用两类数据源：MySQL和Hbase（通过phoenix中间件连接）1.项目工程结构2.pom配置<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven

原创 SpringBoot+MyBatis+Phoenix整合实践

1.项目工程结构2.pom依赖配置<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.ap

原创 条件概率、全概率公式、贝叶斯公式

一.基本概念1.条件概率条件概率是指事件A在事件B发生的条件下发生的概率。条件概率表示为：P（A|B），读作“A在B发生的条件下发生的概率”。若只有两个事件A，B，那么，引申公式：2.概率测度如果事件B的概率P(B) > 0，那么Q(A) =P(A|B) 在所有事件A上所定义的函数Q就是概率测度。 如果P(B) = 0，P(A|B) 没有定义。 条件概率可以用决策树进行计算3.联合概率表示两个事件共同发生的概率。A与B的联合概率...

原创 如何用chmod设置文件权限

Unix中的文件和目录可能具有三种权限：读取（`r“），写入（`w'）和执行（`x'）。 对于以下三种类别的用户，每个许可可以是“打开”或“关闭”：文件或目录所有者； 与所有者在同一组中的其他人； 和所有其他。1.文件要更改文件的模式，请使用chmod命令。 一般形式是 chmod X @ Y file1 file2 ...其中：X是字母“ u”（对于所有者），“ g”（对于组），“ o”（对于其他人），“ a”（对于所有；即对于“ ugo”）的任意组合； @是添加权限的“...

原创 ElasticHD安装部署教程

1.下载 elastichd下载地址:https://github.com/360EntSecGroup-Skylar/ElasticHD/releases或是直接在linux下下载wgethttps://github.com/360EntSecGroup-Skylar/ElasticHD/releases/download/1.4/elasticHD_linux_amd64.zip2.解压]# pwd/opt/softwaresoftware]# unzipelastic...

原创 Linux 查看系统信息命令

# uname -a # 查看内核/操作系统/CPU信息# head -n 1 /etc/issue # 查看操作系统版本# cat /proc/cpuinfo # 查看CPU信息# hostname # 查看计算机名# lspci -tv # 列出所有PCI设备# lsusb -tv # 列出所有USB设备# lsmod # 列出加载的内核模块# env # 查看环境变量资源# free -m # 查看内存使用量和交换区使用量# df -h # 查看各分区使用情况...

原创 Impala服务：unable to find SASL plugin: PLAIN

问题：集群新增2个节点后，impala服务运行异常E0601 14:33:03.811748 4578 query-state.cc:424] 484462dbbe376aef:2da730b400000000] Cancelling fragment instances due to failure to reach the coordinator. (ReportExecStatus() RPC failed: Invalid argument: Client connection negoti

原创 Impala使用的端口

组件 服务 端口 访问需求   备注 Impala Daemon Impala Daemon Frontend Port 21000 外部 被 impala-shell, Beeswax, Cloudera ODBC 1.2 驱动 用于传递命令和接收结果 Impala Daemon Impala Daemon Frontend Port 21050 外部 被使用 JDBC 或 Cloudera ODBC 2.0 及以上驱动的诸如

原创 CDH6安装部署ES服务

1.制作ES的parcel包和csd文件参考：https://blog.csdn.net/weixin_38023225/article/details/1064675482.build-csd下的 ELASTICSEARCH-1.0.jar 复制到 /opt/cloudera/csd]# cp /root/github/cloudera/elasticsearch-parcel/build-csd/ELASTICSEARCH-1.0.jar /opt/cloudera/csd3.将Par

原创 CDH6.2.x制作Elasticsearch的Parcel包和csd文件

1.配置Java,maven等环境变量]# java -versionjava version "1.8.0_211"Java(TM) SE Runtime Environment (build 1.8.0_211-b12)Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed mode)]# mvn -versionJava HotSpot(TM) 64-Bit Server VM warning: ignoring optio

原创 CDH6.2.x制作Livy的Parcel包和csd文件

1.配置Java,maven等环境变量]# java -versionjava version "1.8.0_211"Java(TM) SE Runtime Environment (build 1.8.0_211-b12)Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed mode)]# mvn -versionJava HotSpot(TM) 64-Bit Server VM warning: ignoring optio

原创 Cloudera Manager企业大数据平台集群增加节点实践

准备工作1.主机域名配置#第一台服务器上执行 echo "172.31.30.81ptx-bigdata1" >> /etc/hosts echo "172.31.27.167ptx-bigdata2" >> /etc/hosts echo "172.31.31.127 ptx-bigdata3" >> /etc/hosts echo "172.31.28.41 ptx-bigdata4" >> /etc/host...

原创 Linux安装Anaconda配置Jupyter notebook

1.Linux安装Anaconda参考：Linux环境安装Anaconda详细教程2.配置Jupyter1)生成登陆密码（后续配置文件，登录时候需要)输入两次密码python # 进入python终端from notebook.auth import passwdpasswd()记住输出的密码钥匙字符串‘sha1:7c4fcb395887:52d061c8399e04d9aac678635192056b5c84da10’，然后通过exit()退出ipython环境

原创 企业大数据CDH管理平台搭建方案

1 基本介绍1.1 概述Hadoop的发行版本有很多，有华为发行版，Intel发行版，Cloudera发行版（CDH），MapR版本,以及HortonWorks版本等。所有发行版都是基于Apache Hadoop衍生出来的，产生这些版本的原因，是由于Apache Hadoop的开源协议决定的：任何人可以对其进行修改，并作为开源或商业产品发布和销售。收费版本：收费版本一般都会由新的特性。国内绝大多数公司发行的版本都是收费的，例如Intel发行版本，华为发行版本等。免费版本：不收费的版本...

原创 Jupyter修改默认浏览器

1.首先进入到Jupyter的安装目录，打开cmd，如：E:\devTools\Anaconda\install\Scripts。输入命令“jupyter notebook --generate-config”会生成一个jupyter_notebook_config.py文件2.nodepad编辑器打开jupyter_notebook_config.py文件（1）修改默认目录（根据自己jupyter安装路径填写）c.NotebookApp.notebook_dir = 'E:\d

原创 基于Anaconda安装Jupyter

1.安装Anacondaconda -V2.安装Jupyterconda install jupyter notebook输入y，继续3.安装完jupyter，输入jupyter notebook执行4.弹出浏览器页面http://localhost:8888/tree

原创 JDK安装&环境变量配置

1.JDK安装省略2.JDK环境变量配置1)JAVA_HOME变量名：JAVA_HOME变量值：电脑上JDK安装的绝对路径 (E:\devTools\jdk\jdk8\jdk)2)CLASSPATH变量名：CLASSPATH变量值：.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;3...

原创 Shell脚本中执行Hive语句插入中文数据乱码

问题描述通过shell脚本插入数据到hive数仓，出现中文乱码。而单独通过hive查询窗口插入中文数据不乱码原因分析Shell脚本解析Hive语句中的中文乱码，导致Hive插入中文数据乱码解决方案Shell脚本头部加上语句 export LANG=zh_CN.UTF-8再次执行，中文乱码问题解决...

原创 Sqoop从MySQL导入tinyint（1）到hive（tinyint）数据为空问题解决

问题描述从Sqoop导入MySQL导入TINYINT(1)类型数据到hive（tinyint），数据为null问题原因Sqoop在抽取数据到Hive或者HDFS时，会自动将类型为Tinyint(1)的列转为boolean类型，这就是导致抽取到Hive或HDFS中的数据中只有0和1的原因。因为默认情况下，MySQL JDBC connector 会将Tinyint(1)映射为java.s...

原创 Linux环境安装Anaconda详细教程

简介Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。因为包含了大量的科学包，Anaconda 的下载文件比较大（约 531 MB），如果只需要某些包，或者需要节省带宽或存储空间，也可以使用Miniconda这个较小的发行版（仅包含conda和 Python）Anaconda包括Conda、Python以及一大堆安装好的工具...

原创 hive的注释(comment)中文乱码的解决方法

1.问题DBeaver连接hive仓库，表中文注释乱码创建表的时候，comment说明字段包含中文，表成功创建成功之后，desc的时候中文说明显示乱码.如下图所示:2.问题分析我们知道hive的元数据是由mysql管理的,所以这是mysql的元数据的问题.下面我们就修改一下字符编码3.解决方案修改hive数据库表字段（1）修改表字段注解和表注解alter t...

原创 DBeaver连接Oracle NetSuite数据库

1.下载JDBC驱动程序（本地以Windows为例）2.本地安装完成后，查看找到NQjc.jar文件（安装路径可以自己设置）3.打开DBeaver工具，创建新的驱动（命名NS）添加文件，找到NQjc.jar文件位置，选中NQjc.jar4.新建NS连接找到刚刚新建的NS驱动填写jdbc url，账号，密码。（连接敏感信息这里不透露）点击测试连接，...

原创 大数据平台Sqoop访问NetSuite设置

1.下载JDBC驱动程序（Linux64）参考：下载链接驱动程序2.安装用于Linux的JDBC驱动程序1）下载完成后，将.zip文件的内容提取到所需的位置。2）在提取.zip文件内容的位置中，找到NQjc.jar文件。该文件包含可通过将NQjc.jar文件添加到类路径中来在Java环境中注册的驱动程序参考：安装用于Linux的JDBC驱动程序sudo cp NQjc.ja...

原创 Hue和Oozie时钟设置

CDH安装hue,oozie.通过hue 创建oozie任务，提交任务运行的时间和hue上显示的时间会不同于系统当前时间。问题是由于oozie，hue时区与系统时区不同1.修改oozie时区重启oozie服务2.修改hue时区重启hue服务...

原创 集群时间同步设置

1、环境准备1）timedatectl查看时间各种状态：[ptxbd@ptx-bigdata2 etc]$ timedatectl Local time: Thu 2020-03-12 13:00:55 UTC Universal time: Thu 2020-03-12 13:00:55 UTC RTC time: Thu 2020-03-12 13:0...

原创 [CDH6] Oozie web console is disabled 问题解决

1.问题：2.问题原因：缺少ExtJS2.2包3.问题解决：1）下载ExtJS2.2包下载地址：http://archive.cloudera.com/gplextras/misc/ext-2.2.zip2）上传服务器并解压[ptxbd@ptx-bigdata2 libext]$ pwd/opt/cloudera/parcels/CDH-6.2.0-1.cdh6...

原创 Hue+Oozie执行脚本报错信息汇总

问题：用sqoop从DB导入数据到hdfs报错：Error: java.io.IOException: SQLException in nextKeyValue问题原因：Sqoop在导入MySQL数据时遇到Timestamp列为0000-00-00 00:00:00报错解决方案：在JDBC连接后加上?zeroDateTimeBehavior=convertToNull如：j...

原创 Oozie执行shell脚本导入数据到hdfs权限问题

问题：tool.ImportTool: Import failed: org.apache.hadoop.security.AccessControlException: Permission denied: user=yarn, access=WRITE, inode="/user/yarn":hdfs:supergroup:drwxr-xr-xCaused by: org.apach...

原创 Linux本地上传文件都hdfs问题：No such file or directory

问题：Linux本地上传文件都hdfs报错put: `sqoop_import.sh': No such file or directory问题原因：解决方案：

原创 服务器SSH暴力破解的解读与防御

什么是SSH暴力破解攻击？SSH暴力破解是指攻击者通过密码字典或随机组合密码的方式尝试登陆服务器（针对的是全网机器），这种攻击行为一般不会有明确攻击目标，多数是通过扫描软件直接扫描整个广播域或网段怎样检测暴力破解攻击？1、查看近期登陆日志2、计算近期失败的登陆次数怎样防御暴力破解攻击？1、定期检查并修复系统漏洞2、定期修改SSH密码，或配置证书登陆3、修改SSH端口...