qq_45255036的博客

使用crontab 定时执行脚本时出现command not found原因是crontab和 系统的环境变量不同导致的,crontab任务执行时无法读取系统得环境变量。解决方法可以将任务的脚本改为根目录

#配置zookeeper地址zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181#配置kafkaConsumer的brokerListbootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092#配置consumer所属消费族group.id=hbase_kafka#指定序列化处理类#serializer.class=kafka.serializer.Stri

1.新建虚拟机字符界面安装Minimal install 或者 Basic Web Server图形界面安装–Server with GUI 或者 GNOME Desktop

Hbase命名空间和分区API实现Hbase命名空间:对hbase中表的逻辑划分1.创建命名空间 private val conf: Configuration = HBaseConfiguration.create()def isExistCreateNameSpace(conf: Configuration,nameSpace: String){ val connectio...

第十单元 完全分布式、Hive2、HiveHive是数据仓库：zhangsan math 99lisi math 88wangwu math 78zhangsan english 69lisi english 87wangwu english 791、数据文件2、对数据文件的表、字段等描述信息（元数据信息，默认使用derby存放元数据信息，建议使用Mysql存放元数据信息）...

Flink读取数据存入Hbase1.导入pom文件 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>...

flink读取mysql的数据1.导入需要的依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1...

1.导入需要的依赖 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <...

一.flink读取数据的几种方式1.1读取本地文件// 创建批处理的执行环境 val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment// 从文件读取数据 val inputDataSet: DataSet[String] = env.readTextFile("inp...

1.第一步编写flume文档监听端口发送kafkaa1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sources.r1.port = 44444a1.chan...

一.linux1.Linux安装解压缩 flink-1.7.2-bin-hadoop27-scala_2.11.tgz，进入conf目录中1）修改 flink/conf/flink-conf.yaml 文件：jobmanager.rpc.address: spark01(2)修改 /conf/slave文件：spark02spark03(3)分发两台机器scp -r fli...

1.HBase的Jar，那么接下来拷贝到Hive的lib下。cp hbase-common-1.3.1.jar /opt/hive-1.2.1/lib/cp hbase-server-1.3.1.jar /opt/hive-1.2.1/lib/cp hbase-client-1.3.1.jar /opt/hive-1.2.1/lib/cp hbase-protocol-1.3.1.jar ...

一,安装1.上传解压 ar -zxvf apache-phoenix-4.14.1-HBase-1.3-bin.tar.gz -C /opt/2.复制server和client这俩个包拷贝到各个节点的hbase/libcp phoenix-4.14.1-HBase-1.3-server.jar /opt/hbase-1.3.1/lib/cp phoenix-4.14.1-HBase-...

HBase API(1)新建项目后在pom.xml中添加依赖：<dependency>​ <groupId>org.apache.hbase</groupId>​ <artifactId>hbase-server</artifactId>​ <version>1.3.1</version...

1.启动hbase shell命令bin/hbase shell2.表的操作(1).建表语句create ‘studnet’,‘info’ #这个是表名和列族(2).添加和修改数据put ‘student’,‘1001’,info:name’,‘Tom’ #put 表名 ,‘row key’,列族:列名’,‘值’(3).查看表数据get ‘student’,‘100...

1.删除自带的localtimerm -rf /etc/localtim2.把上海的连接到本地ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

1.HBase的解压tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/2.HBase的配置文件(1)修改conf/hbase-env.shexport JAVA_HOME=/opt/module/jdk1.8.0_144export HBASE_MANAGES_ZK=false(2)修改conf/hbase-site.xml<configu...

1 下载并解压下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到虚拟机中解压sqoop安装包到指定目录，如：$ tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /op...

3）实现步骤0.准备工作在/opt/module/flume/job目录下创建group2文件夹[root@hadoop102 job]$ cd group2/1.创建flume-netcat-flume.conf配置1个netcat source和1个channel、1个sink group（2个sink），分别输送给flume-flume-console1和flume-flume-c...

Hive脚本、Hive API、Hive 自定义函数，1、脚本./hive -e ‘select * from t_student’;hive -e "hql"编写hive脚本vi weblog.sh#!/bin/bashday_str="2017-09-17"#day_str=`date +"%Y-%m-%d"`hive_exec=/opt/apache-hive-1.2...