jan0215-CSDN博客

原创三台机器集群搭建

下载的地址：http://archive.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.14.2.tar.gz http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.2.tar.gz http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.1...

2018-10-26 15:01:58 1791

转载 Left Join / Right Join /inner join

Left Join / Right Join /inner join相关关于左连接和右连接总结性的一句话：左连接where只影向右表，右连接where只影响左表。Left Joinselect * from tbl1 Left Join tbl2 where tbl1.ID = tbl2.ID左连接后的检索结果是显示tbl1的所有数据和tbl2中满足where 条件的数据。简言之 Le...

2018-10-25 14:04:14 180

原创 HDFS的基础命令

hdfs dfs -expunge 清理hdfs的垃圾空间常用命令：1.-help[cmd]显示命令的帮助信息1.#hdfs dfs -help ls2.-ls(r)显示当前目录下的所有文件 -R层层循环文件夹1.#hdfs dfs -ls /log/map2.#hdfs dfs -lsr /log/ (递归显示)3. -mv 移动多个文件目录到目标目录...

2018-10-25 11:07:44 225

原创 Grafana项目总结

先用Xftp向虚拟机BIG_DATA_LAB_NEW中的/opt/lib中导入df_connect_finance-0.1-jar-with-dependencies 与 jdbc_mysql_5.1.44-dependencies.jar这两个jar包。如果jar包在后面运行有问题的话，可以用chmod a+rwx df_connect_finance-0.1-jar-with-depende...

2018-10-15 20:36:34 1701

原创 flink词频统计

1, cd /opt/flink/ flink的目录结构。bin目录下，有一些命令行。（.sh）。 2, cd /opt/flink/bin , start-cluster.sh 使用这个指令，jps之后能看到 standaloneSessionClusterEntrypoint。 3, webUI端口号localhost:8001。 4, /opt/fli...

2018-10-09 15:20:26 899

原创 kafka往mysql写数据操作笔记

第三讲代码导入jar（df_connect_finance-0.1-jar-with-dependencies.jar）包到 /opt/lib/ 下--------------------------------------------------------->>>>POST http://localhost:8083/connectors/body:...

2018-09-29 00:07:06 8170

原创 kafka的connect实施

一.代码准备GET http://localhost:8083/connectors/header部分要设置key 和 value 分别是： Content-Type: application/jsonGET http://localhost:8083/connector-plugins/POST http://localhost:8083/connectors/-...

2018-09-27 18:58:37 1625 2

原创 hive从建库到建表

登陆(docker中)：beeline -u "jdbc:hive2://localhost:10000/default建库：select current_databases();usedefaultcreate database myhive1use myhive1建表：(有LOCATION的是外部表)CREATE EXTERNAL TABLE IF NOT EXISTS ...

2018-08-07 20:34:29 1093

原创 HIve常用命令

#hive 启动hive>quit; --退出hivehive> exit; --exit会影响之前的使用，所以需要下一句kill掉hadoop的进程>hadoop job -kill jobidhive>create database database_name; 创建数据库如果数据库已经存在就会抛出一个错误信息，使用如下语句可以避免抛...

2018-08-07 17:08:40 3200 1

原创 ideal从建项到上传到下载到运行

1.新建maven项目接下来配置版本和依赖（在pom文件中）配置好之后就可以开始写代码了，这里的代码可以写在一个class中，最好是创建三个package，分别在package写maper ；reducer；driver；一般到工作中是要这样写的，自己平时练习的话当然就可以随意一点。...

2018-08-07 13:46:39 193

原创 linux基础命令利用日期生成随机数进行猜取

Implement "Guess Number Game" script program (see next page for the description)Program will generate a secret number, and ask player to guess. It will tell player if his/her guess is too big or too...

2018-08-03 18:32:40 521

转载 linux常用命令大全全

一、常用目录/文件操作命令1.展示目录列表命令ls（list） ls 展示当前目录下的可见文件 ls -a 展示当前目录下所有的文件（包括隐藏的文件） ls -l(ll) 展示当前目录下文件的详细信息 ll -a 展示当前目录下所有文件的详细信息 ll -h 友好的显示当前目录下文件的详细信...

2018-08-02 19:18:16 118

原创 centos7虚拟机（在系统和用户环境变量中）安装hadoop2.7.6分布式

NO.1安装配置hadoop系统环境变量只需要配置四个文件加一个路径，最后刷新一把[root@localhost hadoop]# vim hadoop-env.sh[root@localhost hadoop]# vim core-site.xml[root@localhost hadoop]# vim hdfs-site.xml[root@localhost hadoop]# ...

2018-07-19 11:26:20 603

原创 centos7中jdk的卸载和安装

1、首先查看当前java环境变量的配置情况代码：# java -version最大化安装的情况下，系统为我们安装了open版的jdk，这不是我们想要的，我们需要用的是oracle版本的jdk，因此系统自带的就没什么卵用了，直接卸载。2.对open版jdk进行卸载先su到自己的用户下查看当前虚拟机下的java文件删除以 “java-”开头的几个文件代码：...

2018-07-19 00:10:39 1086

qq_42612645的博客