自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(13)
  • 收藏
  • 关注

原创 DataX安装

DataX安装概述DataX离线同步工具DataX3.0介绍DataX的设计框架设计运行原理安装与配置官方地址安装概述DataX离线同步工具DataX3.0介绍DataX 是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。它是单机的,单机肯定比不了分布式。在每1个节点上都安装DataX,使用调度系统,调度不同节点上的DataX跑不同的任务。也类似分布式的功能。

2021-04-25 16:37:18 559

原创 Cannot resolve the collation conflict between “SQL_Latin1_General_CP1_CI_AS“ and “Chinese_PRC_CI_AS“

这个问题:是sql server 服务器的排序规则 (SQL_Latin1_General_CP1_CI_AS ) 与数据库的排序规则(Chinese_PRC_CI_AS)不同导致的吧。Solution :在创建临时表时在相应的字段定义加上Collate Database_Default ,问题就解决了。...

2021-01-28 09:51:22 2051

原创 SQL Server 2019 ON Linux Unsupported features & services(Linux SQL server 未支持功能)

Linux SQL server 不支持功能Linux 版 SQL Server 暂时还有一些功能暂时不支持。主要是由于操作系统引起的,例如除了SQL Server 之外的外链服务器,调用Powershell等等。使用代理调用cmdExcec、PowerShell、SSIS、SSAS、SSRS等需要直接读取本地文件类均不支持。调用linux shell也不支持。参考: Linux SQL server 不支持功能....

2021-01-25 18:28:44 644

原创 Permission denied: user=root, access=WRITE, inode=“/“:hdfs:supergroup:drwxr-xr-xhd

Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-xhd问题描述直接在shell里执行启动spark-shell启动失败,提示没权限解决方案方案一-命令行之前加sudo -u hdfsspark-shell —>sudo -u hdfs spark-shell方案二第一步:su hdfs,进入hdfs。第二步:hadoop fs -ls ,瞅瞅user的权限。第三步:修改权

2021-01-07 18:54:43 448

原创 sqoop import SQLserver 非默认schema 更改dbo

sqoop import SQLserver 非默认schema 更改dbo问题发现解决问题发现使用sqoop import sqlserver 数据遇到非默认schema,报错如下: com.microsoft.sqlserver.jdbc.SQLServerException: 对象名 '******' 无效。解决sqlserver JDBC 没有相应参数设置schemasqoop 有参数可设置 schema--shcema dbo...

2020-12-11 14:55:14 401

原创 CentOS7.6 在线安装 CDH6.3.0

CentOS8 安装CDH准备工作准备服务器配置网络配置集群SSH免密登录PS :shell 分发时间同步配置配置CDH Repository导入repo用CDH 安装Oracle JDK安装数据库配置MariaDB启动mariaDB安装MariaDB 驱动准备工作准备服务器准备4台centos8 一台master 3台slave配置网络修改hostnamesudo hostnamectl set-hostname namenode01.vic.comsudo hostnamectl

2020-11-13 17:59:07 537 1

原创 centos7.6 安装配置Oracle JDK

centos7.6 安装配置Oracle JDKJava SE Development Kit 8 — 下载 | Oracle 中国mv jdk-8u271-linux-x64.tar.gz /usr/javatar xvf jdk-8u271-linux-x64.tar.gz更改 bash_profilevi ~/.bash_profile PATH=$PATH:$HOME/binexport JAVA_HOME=/usr/java/jdk1.8.0_271export JRE_

2020-11-13 17:47:51 173

原创 centos7最小化安装 无ifconfig 启用网卡

centos 网络配置使用命令 ip addr,查看网卡的IP永久默认启用网卡,关机或重启后,网卡自动启用三级目录使用命令 ip addr,查看网卡的IP查看网络信息ip addr启用网卡ifup enp192永久默认启用网卡,关机或重启后,网卡自动启用 cd /etc/sysconfig/network-scripts三级目录...

2020-11-13 11:30:24 386

原创 centos7.6 安装配置 mysql5.7

配置官方repo并安装wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpmyum -y install mysql57-community-release-el7-10.noarch.rpmyum -y install mysql-community-serverMySQL数据库设置启动mysqlsystemctl start mysqld.service查看自动生成的密码grep

2020-11-13 11:27:47 149

原创 scp免密码拷贝和ssh免密码登录

scp免密码拷贝和ssh免密码登录实验环境A机配置B机配置实验环境A机:10.2.0.1 vicB机:10.2.0.2 vic1实现A SSH免密登录 BA机配置ssh-keygen -t rsa这会在 ~/.ssh 目录下生成两个文件:id_rsa 和 id_rsa.pubscp ~/.ssh/id_rsa.pub root@vic1: ~/.ssh/B机配置将传来的key 添加authorized_keyscat ~/.ssh/id_rsa.pubid_rsa.pub >&

2020-11-13 11:22:31 174

原创 SQL Server 临时数据库 tempdb 收缩

SQL Server tempdb 收缩前言原因解决方案前言使用数据库时经常能够遇见数据库盘被写满,表象为tempdb 巨大。原因通过对数据库进程的分析,这种tempdb 增长由进程死锁引起。解决方案kill 死锁进程收缩tempdbUSE [tempdb]GOdbcc freesystemcache('ALL')GoDBCC SHRINKfile(N'tempdev' ,2)DBCC SHRINKfile(N'templog' ,2)DBCC SHRINKfile(N

2020-11-05 16:34:26 1457 1

原创 在 Linux 上配置 SQL Server 代理

在 Linux 上配置 SQL Server 代理前言配置前言如 centos8 安装 SQL Server.文章所示,Linux 版的SQL Server 安装完成之后,显示SQL Server 代理不可用。日常需要使用代理自动跑一些SQL。参考在 Linux 上配置 SQL Server 代理 - SQL Server | Microsoft Docs进行配置。配置与Windows 类似把SQL Server 代理服务启动即可sudo /opt/mssql/bin/mssql-conf s

2020-11-05 15:36:15 1183 1

原创 Centos8 安装 SQL Server 2019

Centos8 安装 SQL Server前言背景参考资料下载 Microsoft SQL Server 2019 Red Hat 存储库配置文件安装SQL Server运行 mssql-conf setup,按照提示设置 SA 密码并选择版本完成配置后,验证服务是否正在运行使用mssm测试连接,小企鹅出现前言由于受够了 Windows Server 2019的运维,以及其他开发人员直接在server上使用IDE;重新评估需求(提供SQL server 服务),遂安装CentOS 版 SQL serve

2020-11-05 15:23:55 1636 2

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除