大数据
最强玩者
这个作者很懒,什么都没留下…
展开
-
kettle根据数据字典转换编码为文本
转换流程如下:提示:SFDSR为数据字典数据库中的表名,为原表中要转换的一个字段。原表:数据字典:目标表:首先要自己事先建立好目标表的表结构,可能需要将做转换的一系列字段的的数据类型的长度增加。1.打开kettle,新建转换。2.编辑数据库连接。3.切换到核心对象,添加表输入,编辑表名为原表,读取要做转换的表。4.添加表输入,编辑表名为原表中...原创 2019-07-18 20:34:20 · 2972 阅读 · 1 评论 -
mysql导出表部分数据到sql文件
mysqldump -uroot -p123456 traffic vehicle --where="1=1 limit 1000" > vehicle.sql;traffic为数据库名vehicle为表名--where后面是条件语句,此处为导出1000条数据到vehicle.sql文件。...原创 2019-07-16 08:47:31 · 8221 阅读 · 0 评论 -
mysql命令行导出部分数据(非sql)
在命令行模式下执行:sql语句+into outfile +'/文件路径/文件名' + 编码方式(可选)例如:select * from test into outfile '/home/test.csv'; 下面我们看下执行结果:导出查询结果图你会发现 ERROR 1290 (HY000): The MySQL server is running with the --sec...转载 2019-07-16 08:39:11 · 1042 阅读 · 0 评论 -
CentOS6安装Oracle11g
系统:CentOS 6.10 x64 带图形配置4GRAM 4核心cpu 320G硬盘第一步、安装对应的依赖包:yum install -y binutils* compat-libstdc* elfutils-libelf* gcc* glibc* ksh* libaio* libgcc* libstdc* make* sysstat* libXp* glibc-kernh...原创 2019-07-05 17:04:59 · 294 阅读 · 0 评论 -
oracle修改数据库编码
修改数据库字符集为:utf8查看服务器端字符集select * from nls_database_parameters where parameter ='NLS_CHARACTERSET';修改:$sqlplus /nologSQL>conn / as sysdba若此时数据库服务器已启动,则先执行 SHUTDOWN IMMEDIATE 命令关闭数据库服务器,然后执...原创 2019-08-07 17:52:57 · 329 阅读 · 0 评论 -
centos7安装greenplum5.18
greenplum在centos里面支持的最好,安装包在http://gopivotal.com/products/pivotal-greenplum-database下载,下载el7版本的对应centos7yum install -y net-tools which openssh-clients openssh-server less zip unzip iproute.x86_641....原创 2019-07-04 20:57:01 · 1078 阅读 · 0 评论 -
python发送get post请求
Requests: 让 HTTP 服务人类虽然Python的标准库中 urllib2 模块已经包含了平常我们使用的大多数功能,但是它的 API 使用起来让人感觉不太好,而 Requests 自称 “HTTP for Humans”,说明使用更简洁方便。Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用:)Requests 继承了urllib2的所有特性。...转载 2019-08-08 11:30:02 · 829 阅读 · 0 评论 -
Navicat连接oracle出现 “ORA-03135: Connection Lost Contact”解决方法
近日测试搭建oracle 12c 时使用navicat premium连接数据库时候,出现了 “ORA-03135: Connection Lost Contact”按照指导到官方下载相应版本OCI,解压下载的包(直接下载,默认应该就是最新版),然后将navicat的OCI指向刚下载的OCI路径,重启Navicat,连接成功解压后的文件夹中(可以看到有一个oci.dll):navi...原创 2019-08-08 13:56:38 · 10837 阅读 · 0 评论 -
Oracle创建表主键自增
创建数据库 1 2 3 4 CREATETABLESTUDENT(ID NUMBERPRIMARYKEY, NAMEVARCHAR(200)NOTNULL, SEXVARCHAR(200), CREATE_DATEDATE); 指定表名注释 1 COMMEN...转载 2019-08-06 16:45:43 · 269 阅读 · 0 评论 -
KETTLE设置一个子段的值等于另一个子段的值
可以实现此功能的模块有两个:1.设置字段值2.计算器不要用设置字段值,设置的值的数据类型很奇怪,在后面的操作中容器出现数据类型错误:The data type of java.lang.String object does not correspond to value meta我就是被坑了几个小时。建议用计算器,很方便,选择Create a copy of field A...原创 2019-08-07 20:59:15 · 1605 阅读 · 0 评论 -
centos下启动oracle监听配置图形界面
netcanetmgr原创 2019-09-23 16:03:27 · 1281 阅读 · 0 评论 -
ubuntu修改MySQL数据库字符集编码
sudo vi /etc/mysql/mysql.conf.d 选中mysqld.cnf按回车,在[mysqld]下面添加 character_set_server=utf8sudo service mysql restart原创 2019-02-11 15:32:38 · 487 阅读 · 0 评论 -
CentOS7安装oracle12c
root身份安装依赖包: yum -y install binutils compat-libcap1 compat-libstdc++-33 compat-libstdc++-33*.i686 elfutils-libelf-devel gcc gcc-c++ glibc*.i686 glibc glibc-devel glibc-devel*.i686 ksh libgcc*.i686...原创 2019-07-03 21:27:03 · 459 阅读 · 0 评论 -
oracle创建表空间、创建用户
创建用户一般分四步:第一步:创建临时表空间(可选)第二步:创建数据表空间第三步:创建用户并制定表空间第四步:给用户授予权限1.创建用户之前要创建"临时表空间",若不创建则默认的临时表空间为temp。CREATE TEMPORARY TABLESPACE TRAFFIC_TEMP TEMPFILE '/home/oracle/tablespace/...原创 2019-05-28 17:27:12 · 47271 阅读 · 3 评论 -
oracle方案的理解
在用户看来,数据库中的数据是以表、视图等方式存储的。而oracle则是通过方案的概念来组织和维护表、视图、索引等数据库对象的。 方案是一系列逻辑数据结构或对象的集合,一个方案只能被一个数据库用户拥有。在创建一个用户的时候,系统会默认创建一个和用户名相同的“方案”,用户创建的表和视图等会保存在自己的方案中。oracle中的方案是对数据库的局部逻辑描述。 ...原创 2019-05-28 17:17:32 · 1518 阅读 · 1 评论 -
mysql导入CSV文件
1. 先创建好数据库和表2. 在mysql中执行show variables like '%secure%'; 查看secure-file-priv 当前的值是什么3. 将CSV文件放到上面查询出的路径下4. LOAD DATA INFILE '/var/lib/mysql-files/data.txt' INTO TABLE db2.my_table FIELDS T...原创 2019-03-13 18:11:45 · 5713 阅读 · 0 评论 -
-DskipTests和-Dmaven.test.skip=true
-DskipTests,不执行测试用例,但编译测试用例类生成相应的class文件至target/test-classes下。-Dmaven.test.skip=true,不执行测试用例,也不编译测试用例类。原创 2019-03-17 10:08:51 · 580 阅读 · 0 评论 -
h2o连接数据库加载驱动
import h2oh2o.init(extra_classpath=["/Users/michal/Downloads/apache-hive-2.2.0-bin/jdbc/hive-jdbc-2.2.0-standalone.jar"])原创 2019-03-12 13:31:01 · 498 阅读 · 0 评论 -
ssh不操作一段时间就断开了
sudo vi /etc/ssh/ssh_config添加ServerAliveInterval 60ServerAliveCountMax 3上面一条表示每一分钟就通讯一次,被访问的主机会发送回复消息。下面一条表示如果有3次通讯都没有收到回复,则断开连接。...原创 2019-02-11 16:45:07 · 859 阅读 · 0 评论 -
MySQL查看字符集
show variables like '%char%';原创 2019-02-11 15:22:08 · 230 阅读 · 0 评论 -
MySQL创建一个可以远程访问的root用户
grant all privileges on *.* to root@'%' identified by '123456';原创 2019-02-11 13:13:08 · 1496 阅读 · 0 评论 -
Your password does not satisfy the current policy requirements
一般是设置的密码过于简单造成的,可以编辑my.cnf,添加 validate_password=OFF,保存并重启MySQL,然后再修改密码就能成功。原创 2019-02-11 13:03:14 · 2102 阅读 · 0 评论 -
ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)
适用于Ubuntu1. sudo vi /etc/mysql/debian.cnf,使用文件中提供的用户名密码登录mysql。2. 进入mysql后,use mysql;3. UPDATE user SET authentication_string=PASSWORD("123456") where user="root";4. flush privileges;...原创 2019-01-22 16:57:53 · 2448 阅读 · 0 评论 -
Cube和Kylin创建Cube的过程
转载:http://www.aboutyun.com/thread-20757-1-1.html简介 Kylin作为一个OLAP引擎,需要Cube模型支撑,在我们的工作过程中,在和用户以及相关的开发人员、测试、产品等介绍Kylin的过程中,他们总是会对Cube的模型有一些疑惑,作为经常接触这个概念的我来说这是再明了不过的了,而他们还是会在我讲解多次之后表示还在云里雾里,所以就希望通过一篇...转载 2019-01-22 14:53:42 · 518 阅读 · 0 评论 -
yum卸载安装包重装
yum在安装完程序包之后,名字不会是安装包的名字首先 yum list installed 查看要卸载的包的名字然后 yum remove 程序名 即可原创 2019-04-18 09:28:16 · 19618 阅读 · 1 评论 -
linux系统包手动安装
网址:https://pkgs.org/当使用yum无法找到需要的包时,可手动搜索使用 yum localinstall 安装原创 2019-04-18 09:44:47 · 593 阅读 · 0 评论 -
oracle命令行登录导入SQL文件
命令行登录oracle服务器:sqlplus 用户名/密码@ip:端口/实例名导入SQL文件:@SQL文件路径原创 2019-05-02 10:39:56 · 2425 阅读 · 0 评论 -
oracle生成时间维度表
生成日期维度,用作多维数据分析。首先创建表:年-- Create tablecreate table DIM_YEAR( year_id NUMBER not null, year_name VARCHAR2(40), start_time DATE, end_time DATE, day_num NUMBER, update_...原创 2019-05-27 17:46:46 · 1468 阅读 · 0 评论 -
docker容器打包上传镜像到仓库
1.将容器打包成镜像访问菜鸟教程,熟悉打包命令:http://www.runoob.com/docker/docker-commit-command.html2.访问阿里云容器镜像控制台,建立命名空间和容器仓库,存放上传的镜像:https://cr.console.aliyun.com/cn-shenzhen/instances/repositories3.想上传到哪个仓库...原创 2019-04-20 13:26:33 · 1475 阅读 · 0 评论 -
kettle增量同步mysql到greenplum
如果greenplum表中还没有数据,那么需要先进行一次全量同步。前提,源表和目标表都要有可区分记录新旧的子段,比如自增id,时间戳等,建议用时间戳,id总有爆的一天。1.新建转换,ctrl+s设置名字为set_variable(用于存放目标数据库表中最新的时间或id)。切换到主对象树,新建DB连接,连接greenplum数据库,连接类型选择PostgreSql(greenplum底层...原创 2019-05-04 14:57:40 · 2844 阅读 · 0 评论 -
centos7 yum安装NVIDIA驱动
添加 ELRepo 源: sudo rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.orgsudo rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.noarch.rpm安装显卡检查程序: sudo yum install nvidia-dete...转载 2019-04-19 14:59:53 · 6862 阅读 · 0 评论 -
kettle中文乱码
1.编辑目标数据库连接选项,找到左边第三个“选项”,添加键characterEncoding值utf8保存即可2.如果上述方法无法解决问题,那么关闭kettle,编辑spoon.bat或者spoon.sh,在if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms1024m" "-Xmx20...原创 2019-05-03 11:31:04 · 1667 阅读 · 0 评论 -
centos7修改mysql初始密码
安装完mysql之后,正常启动,但是无法登录进去。1. vi /var/log/mysqld.log2. 直接打 /host 然后回车,查看host:后面的字符串,这就是初始密码。3. mysql -uroot -p 回车,输入这个初始密码,即可登录,然后修改密码4.mysql命令行下输入 set password=password("123456");注意:如果报错,是因...原创 2019-04-18 21:37:57 · 1716 阅读 · 0 评论 -
centos7添加虚拟内存
使用free -m查看在未增加swap之前虚拟内存的使用情况使用dd命令创建一个swap文件,大小为4G,swap文件在根目录下dd if=/dev/zero of=/swap bs=2Gcount=2将文件格式转换为swap格式的mkswap /swap再用swapon命令把这个文件分区挂载swap分区swapon /swap用free -...原创 2019-05-02 19:08:50 · 990 阅读 · 0 评论 -
centos7安装oracle11g
一 安装前准备1.创建运行oracle数据库的系统用户和用户组:用Root账号登录,运行下面指令,创建所需要用户和用户组,groupadd oinstall #创建用户组oinstallgroupadd dba #创建用户组dbauseradd -g oinstall -g dba -m oracle #创建ora...原创 2019-05-02 17:49:09 · 2224 阅读 · 0 评论 -
HDFS修改存储路径扩容
我这儿介绍的使用场景是,在docker里面搭建的大数据分析平台。因为系统是装在500GB的固态硬盘上的,所以所有的服务默认的存储路径都是在这500GB的盘子上,但是使用起来是远远不够的,这时我们就需要将2T的机械硬盘给用上。docker里面的Ubuntu的系统无法直接挂载上2T的机械硬盘,办法是:1.首先退出这个容器。如果你在运行了这个镜像后,容器内容有所改动,那么我建议你先将改动了的容器...原创 2018-12-10 10:28:30 · 1952 阅读 · 0 评论