![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
软件安装
文章平均质量分 64
undo_try
这个作者很懒,什么都没留下…
展开
-
Hive2.3.3的安装
最近需要安装webank开源的DataSphere Studio(https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2/DSS%E5%8D%95%E6%9C%BA%E9%83%A8%E7%BD%B2%E6%96%87%E6%A1%A3.md),发现里面需要 Hive(2.3.3,Hive其他版本需自行编译Linkis),为了方便,就安装2.3.3版本原创 2021-11-04 17:34:40 · 1974 阅读 · 0 评论 -
Hadoop2.7.2之集群搭建(单机)
Hadoop2.7.2之集群搭建(单机)最近需要安装webank开源的DataSphere Studio(https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2/DSS%E5%8D%95%E6%9C%BA%E9%83%A8%E7%BD%B2%E6%96%87%E6%A1%A3.md),发现里面需要Hadoop2.7.2,其他版本需自行编译Linkis原创 2021-11-15 10:29:19 · 1803 阅读 · 0 评论 -
DSS与Schedulis的集成安装教程(单机)
DSS与Schedulis的集成安装教程(单机)Schedulis是微众银行大数据平台室开源的工作流调度系统,通过在DSS中安装配置AppConn插件,可以实现DSS开发的工作流发布到Schedulis定时调度执行。1. 安装前准备 1. 首先需要安装DSS,通过一键安装部署脚本或单独安装,可以参考DSS安装文档。 2. 安装完DSS后,可以实现基本的DSS交互式分析和工作流执行任务,如果需要DSS工作流原创 2021-11-26 17:24:52 · 2389 阅读 · 2 评论 -
DataSphere Studio 1.1.0的安装
DataSphere Studio一键安装文档一、使用前环境准备a. 基础软件安装Linkix需要的命令工具(在正式安装前,脚本会自动检测这些命令是否可用,如果不存在会尝试自动安装,安装失败则需用户手动安装以下基础shell命令工具):telnettarseddos2unixmysqlyumjavaunzipexpectyum install -y telnet tar sed dos2unix mysql unzip expect需要安原创 2021-11-16 08:52:33 · 4221 阅读 · 1 评论 -
Scripts的下载及安装(手动部署)
Scripts的下载及安装(手动部署)安装完linkis后,可以部署ScriptsScripts本质上是Linkis的前端程序,Scripts通过Restapi跟Linkis交互,因此我们部署Scripts到nginx即可。1 下载安装包https://github.com/WeBankFinTech/Scriptis/releases或者 wget https://github.com/WeBankFinTech/Scriptis/releases/download/0.7.1/wedata原创 2021-11-12 16:16:21 · 5034 阅读 · 1 评论 -
Centos7.8误删python2.7恢复方法(亲测)
Centos7.8误删python2.7恢复方法原创 2023-02-01 17:46:46 · 1217 阅读 · 0 评论 -
AutoDL平台transformers环境搭建
AutoDL平台transformers环境搭建原创 2023-10-14 12:13:30 · 781 阅读 · 0 评论 -
AutoDL平台租借GPU详解
AutoDL平台租借GPU详解原创 2023-05-16 21:47:40 · 6897 阅读 · 4 评论 -
conda相关命令—【conda查看、创建、激活、退出、删除环境】
conda查看、创建、激活、退出、删除环境原创 2023-05-08 12:48:40 · 10783 阅读 · 0 评论 -
hbase 2.0.5的下载及安装
hbase 2.0.5的下载及安装原创 2022-06-28 15:28:32 · 1584 阅读 · 0 评论 -
kafka-manager 的下载及安装
kafka-manager 的下载及安装原创 2022-06-21 09:46:09 · 1620 阅读 · 0 评论 -
DataGrip连接hive后一直转圈圈的解决方式
解决DataGrip连接后一直转圈的方式原创 2022-04-28 11:41:49 · 3272 阅读 · 6 评论 -
docker+docker-compose安装
#移除旧的安装yum install sudo -yyum install wget -ysudo yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine#安装必要的依赖sudo yum install -y yum-utils device-mapper-persistent-d原创 2022-02-24 19:51:49 · 144 阅读 · 0 评论 -
CentOS7.2安装Python3.6.3
一、准备工作1.1 安装centos7.2.15111.2 下载python3.6.3 安装包(下载地址:https://www.python.org/downloads/)1.3 安装依赖包:yum -y install xz tar gcc make tk-devel wget sqlite-devel zlib-devel readline-devel openssl-devel curl-devel tk-devel gdbm-devel xz-devel bzip2-devel1.4原创 2022-02-11 14:18:27 · 166 阅读 · 0 评论 -
win10远程桌面连接详细步骤
win10远程桌面连接详细步骤(同局域网内)因为最近有远程连接的需要,所以研究了windows 10自带的远程连接和远程桌面。1、注意事项(1)现在电脑预装的都是windows 家庭中文版,而家庭版没办法远程被别的电脑控制;(2)windows家庭版可以远程连接专业版的电脑,而无法被别的电脑连接;(3)专业版则不仅可以控制别人的电脑,而且可以被别人控制。如何查看设备是家庭版还是专业版?右键点击桌面上—>此电脑—>图标选择属性即可查看2、被控制端设置1、首先查看ip首先在桌面原创 2022-01-27 13:27:17 · 84749 阅读 · 6 评论 -
windows任务栏IDEA图标变白色快速解决方法
windows任务栏IDEA图标变白色快速解决方法方案1:同时按Windows键+R键打开运行对话框,输入ie4uinit.exe -show然后回车即可修复。方案2:打开计算机(Win7),此电脑(Win10)或任意文件夹,然后在地址栏输入cmd.exe /c ie4uinit.exe -show然后回车即可。方案3:同时按Windows键+R键打开运行对话框,输入%APPDATA%\Microsoft\Internet Explorer\Quick Launch\User Pinned\TaskB原创 2021-12-29 21:57:16 · 2408 阅读 · 2 评论 -
PowerDesigner16.5的下载、安装
PowerDesigner16.5的下载、安装PowerDesigner是Sybase的企业建模和设计解决方案,采用模型驱动方法,将业务与IT结合起来,可帮助部署有效的企业体系架构,并为研发生命周期管理提供强大的分析与设计技术。PowerDesigner独具匠心地将多种标准数据建模技术(UML、业务流程建模以及市场领先的数据建模)集成一体,并与 .NET、WorkSpace、PowerBuilder、Java™、Eclipse 等主流开发平台集成起来,从而为传统的软件开发周期管理提供业务分析和规范的数据库原创 2021-12-26 18:48:43 · 10135 阅读 · 4 评论 -
canal1.1.4的下载及安装
canal1.1.4的安装一、找到 MySQL 配置文件的位置➢ Linux: /etc/my.cnf如果/etc 目录下没有,可以通过 locate my.cnf 查找位置➢ Windows: \my.ini➢ 在 mysql 的配置文件下,修改配置在[mysqld] 区块log-bin=mysql-bin #添加这一行就okbinlog-format=ROW #选择row模式server_id=1 #配置mysql replaction需要定义,不能和canal的slaveId重复b原创 2021-12-22 22:51:41 · 3653 阅读 · 0 评论 -
Azkaban3.84.4的安装教程
Azkaban3.84.4的安装教程1、上传文件[root@centos01 software]# lltotal 35572-rw-r--r--. 1 root root 6433 Jun 13 2020 azkaban-db-3.84.4.tar.gz-rw-r--r--. 1 root root 16175002 Jun 13 2020 azkaban-exec-server-3.84.4.tar.gz-rw-r--r--. 1 root root 20239974 Jun 1原创 2021-11-18 21:33:59 · 3164 阅读 · 2 评论 -
Presto0.196的下载及安装
Presto的下载及安装一、简介(1)优点:1、基于内存计算,减少了磁盘IO,计算快;2、能够连接多数据源3、Impala性能稍领先于Presto,但是Presto在数据源支持上非常丰富,包括Hive、图数据库、传统关系型数据库、Redis等。(2)缺点能处理PB级别的数据,但是并不是把所有数据都放入内存中计算。简单的聚合是边读数据边计算,再清内存,再读数据再计算,这种消耗内存并不高。连表查询,会产生大量临时数据,速度就会慢。二、架构图三、下载及安装(1)Presto Server安原创 2021-11-17 22:01:33 · 2301 阅读 · 0 评论 -
海豚调度2.0的下载及安装(单机版)
海豚调度2.0的下载及安装(单机版)下载地址:https://www.apache.org/dyn/closer.lua/dolphinscheduler/2.0.0-alpha/apache-dolphinscheduler-2.0.0-alpha-bin.tar.gz1、基础软件安装(需自行安装)1)MySQL (5.7系列) : MySQL则需要JDBC Driver 5.1.47+;2)JDK (1.8+) : 必装,请安装好后在/etc/profile下配置 JAVA_HOME 及 PA原创 2021-11-16 18:34:33 · 1591 阅读 · 2 评论 -
CDH6.2.0集群的下载及安装(亲测)
CDH6.2.0集群的下载及安装1、vmware esxi上克隆虚拟机1、克隆虚拟机前先关闭虚拟机电源。2、在左边导航栏 ,存储 项目里 点击 数据存储浏览器 。3、上边可以看到相关的以虚拟机命名的一些目录,目录下的文件夹名一般是虚拟机名称,创建虚拟机时按虚拟机名称创建了同名文件夹。4、点击上方“创建目录”按钮,输入文件夹名,建议和想要新建的虚拟机名称一致,便于维护。5.然后进入需要复制的虚拟机目录(就是刚刚我们关机了的那台机器),将后将缀名为.vmx(虚拟机)和.vmdk(虚拟磁盘)的文件进行原创 2021-11-10 18:12:54 · 3115 阅读 · 2 评论 -
centos7.6设置hadoop(spark,hive等)开机自启动
1、编写运行脚本[root@centos110 user]# cd /etc/init.d/vim hadoop_service#!/bin/bashexport JAVA_HOME=/opt/apps/jdk1.8.0_301export PATH=$PATH:$JAVA_HOME/bin#服务器列表(IP)IPS=('centos110' 'centos112' 'centos113')####检查所有服务器是否启动->tag=0表示没有全部启动,tag=1表示全部启动w原创 2021-11-05 16:15:00 · 2016 阅读 · 0 评论 -
linux系统下文件的上传和下载(rz、sz)
linux系统下的rz、sz上传和下载rz 是从本地上传文件的时候用的, sz 相当于把Linux 服务器上的文件 下载到 本地。通过这两个命令就可以把 Windows 和Linux 的文件 进行 互传了。当然可以在 Windows 和Linux 互传文件有很多的方法, 比如 ftp ,samba 等。但是使用这两种方法 相对比较简单,容易操作。如果你的机器中出现 rz: command not found需要安装yum install lrzsz -y参数:-a, –ascii-b,原创 2021-11-04 17:28:36 · 7562 阅读 · 0 评论 -
ElasticSearch6.6.0以及Kibana的下载及安装
一、ElasticSearch6.6.0 的下载及安装1、下载https://www.elastic.co/cn/downloads/past-releases/elasticsearch-6-6-02、安装2.1 上传安装包rz上传到/opt/apps2.2 解压tar -zxvf elasticsearch-6.6.0.tar.gz2.3 对 ES 重命名mv elasticsearch-6.6.0 es-6.6.02.4 修改 ES 配置文件修改 yml 配置的注意事项:原创 2021-10-30 13:15:17 · 665 阅读 · 0 评论 -
Nginx的安装及反向代理配置
Nginx 是一个高性能的 HTTP 和反向代理服务器,特点是占有内存少,并发能力强。1、正向代理和反向代理概念正向代理类似一个跳板机,代理访问外部资源。比如:我是一个用户,我访问不了某网站,但是我能访问一个代理服务器,这个代理服务器,它能访问那个我不能访问的网站,于是我先连上代理服务器,告诉它我需要那个无法访问网站的内容,代理服务器去取回来,然后返回给我。反向代理( Reverse Proxy) 方式是指以代理服务器来接受 internet 上的连接请求,然后将请求转发给内部网络上的服务器,并将从服原创 2021-10-29 23:19:50 · 1459 阅读 · 0 评论 -
spark-3.0.1安装教程(二)
5 idea环境maven环境搭建及测试5.1 创建maven项目<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.原创 2021-10-29 18:02:42 · 498 阅读 · 0 评论 -
Zookeeper3.5.8+CentOS7.6集群安装配置及使用
Zookeeper3.5.8+CentOS7.6集群安装配置及使用涉及的版本:jdk:1.8zookeeper: 3.5.8Centos:7.6一、 准备安装包下载zookeper安装包,地址 https://archive.apache.org/dist/zookeeper/zookeeper-3.5.8/二、 配置2.1 解压命名下载后,传到/opt/apps下,进行解压tar -zxvf apache-zookeeper-3.5.8-bin.tar.gz 重命名 mv apa原创 2021-10-29 16:43:03 · 224 阅读 · 0 评论 -
spark-3.0.1安装超详细教程(一)
spark-3.0.1安装教程(一)1. 环境情况需要提前安装的:jdk1.8及以上scala安装:scala选择2.12.10 版本2. spark下载安装2.1 下载地址https://archive.apache.org/dist/spark/spark-3.0.1/选择带hadoop3.2.tgz结尾的2.2 解压上传 /opt/apps解压tar -zxvf spark-3.0.1-bin-hadoop3.2.tgz 重命名mv spark-3.0.1-bin-had原创 2021-10-29 11:24:03 · 1105 阅读 · 0 评论 -
linux下安装scala 2.12.10
linux下安装scala 2.12.10一、scala安装包的下载linux版本下载地址:https://downloads.lightbend.com/scala/2.12.10/scala-2.12.10.tgzwin版本下载地址:https://downloads.lightbend.com/scala/2.12.10/scala-2.12.10.zip二、上传安装包到Linuxcd /opt/appsrz三、解压scala安装包tar -zxvf scala-2.12.10.tg原创 2021-10-29 10:08:28 · 1061 阅读 · 0 评论 -
hive3.1.2的下载及安装
一、hive的安装hive3.1.2的连接地址 http://archive.apache.org/dist/hive/hive-3.1.2/1、下载后上传到/opt/apps下2、解压tar -zxvf apache-hive-3.1.2-bin.tar.gz 3、重命名 mv apache-hive-3.1.2-bin hive-3.1.2 4、执行以下命令,修改hive-site.xml cd /opt/apps/hive-3.1.2/conf mv hive-default.原创 2021-10-29 09:26:21 · 7238 阅读 · 0 评论 -
Atlas元数据管理
1、Atlas概述Apache Atlas为组织提供开放式元数据管理和治理功能,用以构建其数据资产目录,对这些资产进行分类和管理,并为数据分析师和数据治理团队,提供围绕这些数据资产的协作功能。Atlas的具体功能如下:元数据分类 支持对元数据进行分类管理,例如个人信息,敏感信息等元数据检索 可按照元数据类型、元数据分类进行检索,支持全文检索血缘依赖 支持表到表和字段到字段之间的血缘依赖,便于进行问题回溯和影响分析等2、Atlas安装1)Atlas官网地址:https://atlas.apach原创 2021-08-31 21:15:10 · 619 阅读 · 0 评论 -
flume日志采集的配置(HA模式)
版本(1) 非HA模式上游flume的配置#上游source、channel以及sink的名字a1.sources = s1a1.channels = c1a1.sinks = k1#Watch the specified files, and tail them in nearly real-time once detected new lines appended to the each files.#利用taildir监控特定的文件,准实时的取出新增加的数据#配置监听的文件组及所在的原创 2021-08-04 23:54:33 · 467 阅读 · 0 评论 -
clickhouse( 21.7.4)卸载及安装教程
1.查看 clickhouse-server 服务状态systemctl status clickhouse-serverActive: active (exited) since Fri 2021-07-23 20:29:34 CST; 2min 3s ago 如果是active需要先关闭服务systemctl stop clickhouse-serverActive: inactive (dead) since Fri 2021-07-23 20:32:41 CST; 10s ago2.卸原创 2021-07-26 19:57:06 · 3704 阅读 · 0 评论 -
Canal解析MySQL 5.7的binlog
Canal解析MySQL 5.7的binlog原创 2021-07-18 20:41:18 · 164 阅读 · 1 评论 -
Win10忘记pin码以及密码的解决办法(亲测有用)
Win10忘记pin码以及密码怎么办?废话不多说,直接开整:1、下载一个PE工具,这里推荐微PEhttp://www.wepe.com.cn/2、插入U盘,运行软件,选择安装到U盘(注意:此过程会清除U盘的所有数据,请事先进行备份)以上两步可以视频参考B站视频(超详细win10安装教程之微PE辅助安装,里面的制作微PE部分的教程,看完小白也可自己安装win10系统了):https://www.bilibili.com/video/BV1DJ411D79y?from=search&seid原创 2021-07-06 11:23:40 · 23359 阅读 · 1 评论 -
hbase整合phoenix实现SQL查询
Phoenix是构建在HBase上的一个SQL层,能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表,插入数据和对HBase数据进行查询。Phoenix完全使用Java编写,作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase扫描,并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器,对于简单查询来说,其性能量级是毫秒,对于百万级别的行数来说,其性能量级是秒。phoenix的下载网址为:(http:/原创 2021-07-03 22:00:43 · 2252 阅读 · 2 评论 -
Kafka集群的安装
1 首先,安装zookeeper2 安装Kafka集群2.1 上传Kafka安装包2.2 解压tar -zxvf kafka_2.12-2.6.2.tgz -C /opt/apps/2.3 修改配置文件vi servier.properties#指定broker的idbroker.id=1#数据存储的目录log.dirs=/data/kafka#指定zk地址zookeeper.connect=centos01:2181,centos02:2181,centos03:2原创 2021-06-22 19:53:27 · 81 阅读 · 0 评论 -
centos7上面安装Redis5
Redis是目前一个非常优秀的key-value存储系统(内存的NoSQL数据库)。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set有序集合)和hash(哈希类型)。1.下载redis5的稳定版本下载地址http://download.redis.io/releases/redis-5.0.9.tar.gz2.上传redis-5.0.9.tar.gz到Linux服务器3.解压redis源码包原创 2021-06-20 17:13:00 · 337 阅读 · 0 评论