~长风破浪~

hive 对于JSON 格式的处理{"movie":"1193","rate":"5","time":"978300760","userid":"1"} ---格式{"movie":"661","rate":"3","time":"978302109","userid":"1"}{"movie":"914","rate":"3"...

创建表hive (default)> show tables; ---查看所有表OKtab_namedata_emphelloTime taken: 1.061 seconds, Fetched: 2 row(s)hive (default)> create table data_emp2 like data_emp; ...

部署hive1）下载：http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz2）解压： tar -xfhive-1.1.0-cdh5.7.0.tar.gz[hadoop@hadoop001 software]$ tar -xf hive-1.1.0-cdh5.7.0.tar.gz[hadoop@hadoop0...

配置主机名 nn：vim core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop001:9000</value> </property&g...

创建hadoop用户[root@hadoop001 ~]# useradd hadoop[root@hadoop001 ~]# id hadoopuid=889(hadoop) gid=889(hadoop) groups=889(hadoop)[root@hadoop001 ~]# su - hadoop[hadoop@hadoop001 ~]$ pwd/home/hadoop查...

一、大数据的数据仓库数据质量源端业务系统数据库 ---- > 数据仓库中间有可能丢数据： 源端（100条） 数据仓库（90条）中间有可能多数据： 源端（90条） 数据仓库（100条）不丢数据： 源端（100条） 数据仓库（100条）二、数据质量管理1、数据量的比对 select count(1)2、数据内容全...

[root@hadhoop001 ~]# lltotal 417684-rw-r–r-- 1 root root 0 Mar 21 2018 =-rw-r–r-- 1 root root 58817074 Sep 21 2017 access.log-rw-r–r-- 1 root root 3765999 Mar 24 2018 access.zip-...

1、chown 改变用户 用户组 chmod 改变读写执 drwxr-xr-x. 2 root root 4096 Jun 12 22:41 Downloads -rw-r--r--. 1 root root 1012 Jun 15 21:46 error.log 第一位字母: d文件夹 -文件 l连接 r 读 4、w 写2 、x 执行 1 she...

crontab

vim 可分为 三种模式：普通模式、编辑模式、命令模式普通模式：gg : 将光标移动到文件的第一行，等价于 1gg 或 1GG 或 （shift + g ）: 讲光标移动到文件的最后一行0 ： 数字0 将光标从所在位置移动到当前行的结尾n : n 为数字，将光标从当前位置向下移动n行ngg : n为数字，移动到文件的第n行，如11gg可移动到第11行搜索/abc ...

找出系统中大于30M 小于 50M的文件find / -type f -size+50M size+50M

1、ls 英文缩写 list -l 使用长格式列出文件及目录信息 -t 根据最后的修改时间(mtime)排序，默认是以文件名排序 -r 依相反次序排序 -i 显示inode节点信息 -d 列出目录本身而非目录内的文件 -h 以人类可读的信息显示文件及目录大小 -a ...