2018年08月_bluesort

12月 11月 09月 08月 01月

原创 Linux常用操作命令

一、linux用户及组管理1.创建一个名字为hadoop的普通用户dog# useradd hadoopdog# passwd hadoop2.给hadoop用户sudo 权限(主要测试时使用)dog# vi /etc/sudoers # 给指定用户分配权限设置权限，学习环境可以将hadoop用户的权限设置的大一些，但是生产环境一定要注意普通用户的权限限制。...

2018-08-02 19:09:18 205

原创 kafka安装和基本使用

一、kafka单机安装1.下载 kafka_2.9.2-0.8.1.1.tgz2.将文件解压3.进入 kafka_2.9.2-0.8.1.1/config 目录4.修改 server.properties文件参数参考参数值 broker.id 0 port 909...

2018-08-30 10:39:24 161

转载 Intellj Idea 常用快捷键

Hierachy Subtypes command + H查看项目结构command + 7 查看继承结构command +8 jar tf simpleSpark-1.0-SNAPSHOT.jar 查看jar的内部结构

2018-08-22 10:26:52 212

原创 hive 常用语句汇总

hive的常用语句及UDF 基本语句 -》字段的查询 -》 where、limit、distince -》查询部门编号是30的员工 select empno,ename,deptno from emp where deptno='30' -》查看前3条记录select * from emp limit 3;...

2018-08-15 13:49:15 1953

原创 hive数据导出

通过insert命令进行导出insert overwrite[local] directory 'path' select * ...->导出到本地目录 insert overwrite local directory '/opt/datas/tmp2_table' select * from tmp2_table2;insert overwrite local...

2018-08-15 11:10:36 316

原创 hive 导入数据的方式

1.加载本地文件到hive 拷贝文件load data local inpath 'linux_filepath' into table tablename;->应用场景：常见的情况，一般用于日志文件的直接导入2.加载HDFS文件到hive 移动文件load data inpath 'hdfs_filepath' into table tablename;->...

2018-08-15 10:43:26 444

原创 Spark 运行模式

bin/spark-shell 默认情况下，表示运行在local mode，在本地启动一个JVM Process，在里面运行一些线程进行数据处理，每个线程运行一个Task任务。每个JVM Process中运行多少个线程Thread。可以通过 bin/spark-shell --master local 指定。bin/spark-shell --master local 在JVM中运行...

2018-08-13 09:46:19 235

原创 spring boot 基本笔记

一、Linux后台启动jar程序运行：nohup java -jar xxx.jar & 命令注意，此时程序控制台输出会被转移到nohup.out文件中，这个nohup.out文件的位置就在jar包的当前文件夹内。但是有时候在这一步会有问题，当把终端关闭后，进程会自动被关闭，察看nohup.out可以看到在关闭终端瞬间服务自动关闭。有个操作终端时的细节：当shell中提示了...

2018-08-10 13:50:16 98

原创 Scala 开发Spark 基本模板

该 Spark模板是基于Scala，采用maven进行版本管理，intellij idea 作为开发工具。scala使用的版本为：scala-2.10.4,系统使用Centos 7.4。

2018-08-10 11:26:28 3981

原创 Elasticsearch-6.x.x 操作集合

#健康检查curl 'localhost:9200/_cat/health?v'status:绿色代表一切正常(集群功能齐全)，黄色意味着所有的数据都是可用的，但是某些复制没有被分配(集群功能齐全)，红色则代表因为某些原因，某些数据不可用#节点查询curl 'localhost:9200/_cat/nodes?v'#索引查询curl 'localhost:9200/_cat/indi...

2018-08-10 10:56:17 692

原创 elasticsearch 配置常见错误汇总

使用root账号启动es后会遇到以下问题解决方案：因为安全问题elasticsearch 不让用root用户直接运行，所以要创建新用户建议创建一个单独的用户用来运行ElasticSearch 创建elsearch用户组及elsearch用户 groupadd elsearchuseradd elsearch -g elsearch -p elasticsea...

2018-08-09 16:01:47 757