- 博客(13)
- 收藏
- 关注
RSS订阅原创 DataX安装
DataX安装概述DataX离线同步工具DataX3.0介绍DataX的设计框架设计运行原理安装与配置官方地址安装概述DataX离线同步工具DataX3.0介绍DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。它是单机的，单机肯定比不了分布式。在每1个节点上都安装DataX，使用调度系统，调度不同节点上的DataX跑不同的任务。也类似分布式的功能。
2021-04-25 16:37:18
195
原创 Cannot resolve the collation conflict between “SQL_Latin1_General_CP1_CI_AS“ and “Chinese_PRC_CI_AS“
这个问题:是sql server 服务器的排序规则 (SQL_Latin1_General_CP1_CI_AS ) 与数据库的排序规则（Chinese_PRC_CI_AS）不同导致的吧。Solution ：在创建临时表时在相应的字段定义加上Collate Database_Default ，问题就解决了。...
2021-01-28 09:51:22
1941
原创 SQL Server 2019 ON Linux Unsupported features & services（Linux SQL server 未支持功能）
Linux SQL server 不支持功能Linux 版 SQL Server 暂时还有一些功能暂时不支持。主要是由于操作系统引起的，例如除了SQL Server 之外的外链服务器，调用Powershell等等。使用代理调用cmdExcec、PowerShell、SSIS、SSAS、SSRS等需要直接读取本地文件类均不支持。调用linux shell也不支持。参考: Linux SQL server 不支持功能....
2021-01-25 18:28:44
591
原创 Permission denied: user=root, access=WRITE, inode=“/“:hdfs:supergroup:drwxr-xr-xhd
Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-xhd问题描述直接在shell里执行启动spark-shell启动失败，提示没权限解决方案方案一-命令行之前加sudo -u hdfsspark-shell —>sudo -u hdfs spark-shell方案二第一步：su hdfs，进入hdfs。第二步：hadoop fs -ls ，瞅瞅user的权限。第三步：修改权
2021-01-07 18:54:43
399
原创 sqoop import SQLserver 非默认schema 更改dbo
sqoop import SQLserver 非默认schema 更改dbo问题发现解决问题发现使用sqoop import sqlserver 数据遇到非默认schema，报错如下： com.microsoft.sqlserver.jdbc.SQLServerException: 对象名 '******' 无效。解决sqlserver JDBC 没有相应参数设置schemasqoop 有参数可设置 schema--shcema dbo...
2020-12-11 14:55:14
366
原创 CentOS7.6 在线安装 CDH6.3.0
CentOS8 安装CDH准备工作准备服务器配置网络配置集群SSH免密登录PS ：shell 分发时间同步配置配置CDH Repository导入repo用CDH 安装Oracle JDK安装数据库配置MariaDB启动mariaDB安装MariaDB 驱动准备工作准备服务器准备4台centos8 一台master 3台slave配置网络修改hostnamesudo hostnamectl set-hostname namenode01.vic.comsudo hostnamectl
2020-11-13 17:59:07
497
1
原创 centos7.6 安装配置Oracle JDK
centos7.6 安装配置Oracle JDKJava SE Development Kit 8 — 下载 | Oracle 中国mv jdk-8u271-linux-x64.tar.gz /usr/javatar xvf jdk-8u271-linux-x64.tar.gz更改 bash_profilevi ~/.bash_profile PATH=$PATH:$HOME/binexport JAVA_HOME=/usr/java/jdk1.8.0_271export JRE_
2020-11-13 17:47:51
145
原创 centos7最小化安装 无ifconfig 启用网卡
centos 网络配置使用命令 ip addr，查看网卡的IP永久默认启用网卡，关机或重启后，网卡自动启用三级目录使用命令 ip addr，查看网卡的IP查看网络信息ip addr启用网卡ifup enp192永久默认启用网卡，关机或重启后，网卡自动启用 cd /etc/sysconfig/network-scripts三级目录...
2020-11-13 11:30:24
332
原创 centos7.6 安装配置 mysql5.7
配置官方repo并安装wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpmyum -y install mysql57-community-release-el7-10.noarch.rpmyum -y install mysql-community-serverMySQL数据库设置启动mysqlsystemctl start mysqld.service查看自动生成的密码grep
2020-11-13 11:27:47
127
原创 scp免密码拷贝和ssh免密码登录
scp免密码拷贝和ssh免密码登录实验环境A机配置B机配置实验环境A机：10.2.0.1 vicB机：10.2.0.2 vic1实现A SSH免密登录 BA机配置ssh-keygen -t rsa这会在 ~/.ssh 目录下生成两个文件：id_rsa 和 id_rsa.pubscp ~/.ssh/id_rsa.pub root@vic1: ~/.ssh/B机配置将传来的key 添加authorized_keyscat ~/.ssh/id_rsa.pubid_rsa.pub >&
2020-11-13 11:22:31
124
原创 SQL Server 临时数据库 tempdb 收缩
SQL Server tempdb 收缩前言原因解决方案前言使用数据库时经常能够遇见数据库盘被写满，表象为tempdb 巨大。原因通过对数据库进程的分析，这种tempdb 增长由进程死锁引起。解决方案kill 死锁进程收缩tempdbUSE [tempdb]GOdbcc freesystemcache('ALL')GoDBCC SHRINKfile(N'tempdev' ,2)DBCC SHRINKfile(N'templog' ,2)DBCC SHRINKfile(N
2020-11-05 16:34:26
1324
1
原创 在 Linux 上配置 SQL Server 代理
在 Linux 上配置 SQL Server 代理前言配置前言如 centos8 安装 SQL Server.文章所示，Linux 版的SQL Server 安装完成之后，显示SQL Server 代理不可用。日常需要使用代理自动跑一些SQL。参考在 Linux 上配置 SQL Server 代理 - SQL Server | Microsoft Docs进行配置。配置与Windows 类似把SQL Server 代理服务启动即可sudo /opt/mssql/bin/mssql-conf s
2020-11-05 15:36:15
1049
1
原创 Centos8 安装 SQL Server 2019
Centos8 安装 SQL Server前言背景参考资料下载 Microsoft SQL Server 2019 Red Hat 存储库配置文件安装SQL Server运行 mssql-conf setup，按照提示设置 SA 密码并选择版本完成配置后，验证服务是否正在运行使用mssm测试连接，小企鹅出现前言由于受够了 Windows Server 2019的运维，以及其他开发人员直接在server上使用IDE；重新评估需求（提供SQL server 服务），遂安装CentOS 版 SQL serve
2020-11-05 15:23:55
1554
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人