- 博客(38)
- 收藏
- 关注
RSS订阅原创 crontab出现command notfound
使用crontab 定时执行脚本时出现command not found原因是crontab和 系统的环境变量不同导致的,crontab任务执行时无法读取系统得环境变量。解决方法可以将任务的脚本改为根目录
2020-12-24 09:30:46
585
原创 配置kafka消费上次位置
#配置zookeeper地址zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181#配置kafkaConsumer的brokerListbootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092#配置consumer所属消费族group.id=hbase_kafka#指定序列化处理类#serializer.class=kafka.serializer.Stri
2020-05-12 08:26:21
1076
原创 Centos7安装
1.新建虚拟机字符界面安装Minimal install 或者 Basic Web Server图形界面安装–Server with GUI 或者 GNOME Desktop
2020-05-04 22:05:29
253
原创 Hbase命名空间和分区Scala-API实现
Hbase命名空间和分区API实现Hbase命名空间:对hbase中表的逻辑划分1.创建命名空间 private val conf: Configuration = HBaseConfiguration.create()def isExistCreateNameSpace(conf: Configuration,nameSpace: String){ val connectio...
2020-05-04 15:36:35
284
原创 Centos7安装Hive mysql
第十单元 完全分布式、Hive2、HiveHive是数据仓库：zhangsan math 99lisi math 88wangwu math 78zhangsan english 69lisi english 87wangwu english 791、数据文件2、对数据文件的表、字段等描述信息（元数据信息，默认使用derby存放元数据信息，建议使用Mysql存放元数据信息）...
2020-04-25 10:06:12
213
原创 Flink读取数据存入Hbase
Flink读取数据存入Hbase1.导入pom文件 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>...
2020-04-13 22:18:26
1839
2
原创 flink读取mysql的数据
flink读取mysql的数据1.导入需要的依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1...
2020-04-13 22:05:40
5577
原创 Flink Table Api
1.导入需要的依赖 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <...
2020-04-07 21:36:23
169
原创 flink算子使用
一.flink读取数据的几种方式1.1读取本地文件// 创建批处理的执行环境 val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment// 从文件读取数据 val inputDataSet: DataSet[String] = env.readTextFile("inp...
2020-04-07 21:18:23
386
原创 nc-flume-kafka-flink的小整合Wordcount
1.第一步编写flume文档监听端口发送kafkaa1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sources.r1.port = 44444a1.chan...
2020-04-06 13:21:01
188
原创 linux的flink安装使用
一.linux1.Linux安装解压缩 flink-1.7.2-bin-hadoop27-scala_2.11.tgz，进入conf目录中1）修改 flink/conf/flink-conf.yaml 文件：jobmanager.rpc.address: spark01(2)修改 /conf/slave文件：spark02spark03(3)分发两台机器scp -r fli...
2020-04-02 11:19:23
1223
原创 Hbase与hive整合
1.HBase的Jar，那么接下来拷贝到Hive的lib下。cp hbase-common-1.3.1.jar /opt/hive-1.2.1/lib/cp hbase-server-1.3.1.jar /opt/hive-1.2.1/lib/cp hbase-client-1.3.1.jar /opt/hive-1.2.1/lib/cp hbase-protocol-1.3.1.jar ...
2020-03-30 20:40:35
128
原创 Phoenix操作hbase
一,安装1.上传解压 ar -zxvf apache-phoenix-4.14.1-HBase-1.3-bin.tar.gz -C /opt/2.复制server和client这俩个包拷贝到各个节点的hbase/libcp phoenix-4.14.1-HBase-1.3-server.jar /opt/hbase-1.3.1/lib/cp phoenix-4.14.1-HBase-...
2020-03-29 20:20:14
351
1
原创 HBase API
HBase API(1)新建项目后在pom.xml中添加依赖：<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>1.3.1</version...
2020-03-29 20:18:48
113
原创 hbase基本 shell命令
1.启动hbase shell命令bin/hbase shell2.表的操作(1).建表语句create ‘studnet’,‘info’ #这个是表名和列族(2).添加和修改数据put ‘student’,‘1001’,info:name’,‘Tom’ #put 表名 ,‘row key’,列族:列名’,‘值’(3).查看表数据get ‘student’,‘100...
2020-03-27 09:48:51
282
原创 CentOs7修改本地时间
1.删除自带的localtimerm -rf /etc/localtim2.把上海的连接到本地ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
2020-03-25 14:14:11
834
原创 HBase安装和安装时遇到的坑
1.HBase的解压tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/2.HBase的配置文件(1)修改conf/hbase-env.shexport JAVA_HOME=/opt/module/jdk1.8.0_144export HBASE_MANAGES_ZK=false(2)修改conf/hbase-site.xml<configu...
2020-03-24 14:11:07
552
原创 sqoop安装和使用
1 下载并解压下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到虚拟机中解压sqoop安装包到指定目录，如：$ tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /op...
2020-03-24 10:11:20
176
原创 flume负载均衡个故障转移
3）实现步骤0.准备工作在/opt/module/flume/job目录下创建group2文件夹[root@hadoop102 job]$ cd group2/1.创建flume-netcat-flume.conf配置1个netcat source和1个channel、1个sink group（2个sink），分别输送给flume-flume-console1和flume-flume-c...
2020-03-23 13:18:46
254
原创 Hive脚本、Hive API、Hive 自定义函数，
Hive脚本、Hive API、Hive 自定义函数，1、脚本./hive -e ‘select * from t_student’;hive -e "hql"编写hive脚本vi weblog.sh#!/bin/bashday_str="2017-09-17"#day_str=`date +"%Y-%m-%d"`hive_exec=/opt/apache-hive-1.2...
2020-03-16 10:03:36
222
原创 hive 动态分区,分桶
动态分区分区为什么有分区？随着系统运行时间增长，表的数据量越来越大，而hive查询时通常是是全表扫描，这样将导致大量的不必要的数据扫描，从而大大减低查询效率。从而引进分区技术，使用分区技术，避免hive全表扫描，提升查询效率。可以将用户的整个表的数据在存储时划分到多个子目录，从而在查询时可以指定查询条件（子目录以分区变量的值来命名）eg:year=‘2018’。怎么分区？根据业务，通...
2020-03-16 09:57:59
199
原创 HIVE SQL 启动hive,hive基础语句,求pv,uv
第十一单元 HIVE SQL 、Hive MR参数设置1、知识点回顾hive数据库是hdfs上的文件夹，表也是文件夹，表里的数据是文件hive建表create table 表名(字段1 类型1,字段2 类型2……)row format delimited fields terminated by '字段分隔符';为一键启动集群中的zookeeper，以下提供参考脚本：#vim ...
2020-03-16 09:45:31
713
原创 hivesql统计日活跃用户
需求2017-09-15号的数据：192.168.33.6,hunter,2017-09-15 10:30:20,/a192.168.33.7,hunter,2017-09-15 10:30:26,/b192.168.33.6,jack,2017-09-15 10:30:27,/a192.168.33.8,tom,2017-09-15 10:30:28,/b192.168.33.9,r...
2020-03-16 09:42:50
1095
原创 Flume使用笔记
Flume使用笔记快速开始单节点配置Flume配置Flume环境：tar -zxvf apache-flume-1.8.0-bin.tar.gz编辑 /opt/apache-flume-1.8.0-bin/conf --> flume-env.sh添加 export JAVA_HOME=/opt/jdk1.8.0_131配置源和目标配置文件：案例一：flume-nc2lo...
2020-03-11 08:59:26
99
原创 Hive安装mysql时遇到的问题
Hive安装mysql时遇到的问题1．查看mysql是否安装，如果安装了，卸载mysql(注意：使用root账户) （1）查看 [root@hadoop102 桌面]# rpm -qa|grep -i mysql 有就卸载 mysql-libs-5.1.73-7.el6.x86_64 （2）卸载 [root@hadoop102 桌面]# rpm -e --nodeps m...
2020-03-10 12:42:55
413
原创 CentOs7 修改静态ip
(1) 修改ifcfg-ens33 vim /etc/sysconfig/network-scripts/ifcfg-ens33(2) 修改BOOTPROTO=“static” ONBOOT=“yes"添加IPADDR=192.168.172.133 #静态IP GATEWAY=192.168.172.2 #默认网关 NETMASK=255.255.255.0 #子网掩码 ...
2020-02-27 18:48:57
102
原创 hive启动报错 Operation category READ is not supported in state standby.
使用hdfs haadmin -getServiceState nn1 查看状态，这个nn1是在/opt/hadop/etc/hadoop/hdfs-site.xml 中查看hdfs haadmin -transitionToActive --forcemanual nn1将standby变为active
2020-02-17 10:33:32
864
1
原创 mapreduce获取读取文件的名字
Path path = ((FileSplit) context.getInputSplit()).getPath();String name = path.getName();System.out.println(name+"---------------------");String fileName = path.getParent().toString(); Syst...
2020-02-11 14:09:27
345
原创 Hadoop完全分布式安装
1. zookeeper集群第一步：zookeeper的配置文件 zoo.cfg 每个文件都加入如下内容server.1=192.168.172.130:2888:3888server.2=192.168.172.131:2888:3888server.3=192.168.172.129:2888:3888第二步： 为每个zookeeper创建data目录下面 （已经创建过）# ex...
2020-02-10 10:29:50
173
1
原创 Hadoop学习(一)伪分布式安装、HDFS
第二单元 伪分布式安装、HDFS Shell1、环境操作系统: CentOS-7-x86_64-DVD-1810.isoJDK: jdk-8u131-linux-x64.tar.gzhadoop: hadoop-2.8.1.tar.gz3、安装3.1 JDK安装 、配置环境变量vim /etc/profileexport JAVA_HOME=/usr/local/src/jdk1...
2020-02-10 09:53:37
129
原创 JAVA-API 简单实现MapReduce统计单词
(一) JAVA-API 简单实现MapReduce统计单词()这是要处理的文件1.导入maven依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId&...
2020-01-01 19:42:41
641
原创 shell命令获取随机数
(1）通过内部系统变量（$RANDOM）echo $RANDOM#!/bin/bash function rand(){ min=$1 max=$(($2-$min+1)) num=$(($RANDOM+1000000000)) #增加一个10位的数再求余 echo $(($num%$max+$min)) } ...
2020-01-01 19:08:31
2354
原创 kafka学习(四)kafka集群部署
kafka的集群部署1.首先克隆三台虚拟机2.修稿kafka的配置server.properties1、broker.id=1 #保证每个broker唯一，第一台可以不修改默认为0，后面两台需要修改，如改为2和32、num.partitions=3 #分区数量一般与broker保持一致3、listeners=PLAINTEXT://192.168.172.129:...
2019-12-13 08:44:08
118
原创 kafka学习(三)spring整合kafka 使用java实现的kafka发消息,收消息
使用java实现的kafka发消息,收消息准备工作启动zookeeper和kafka1.创建maven项目导入依赖<dependencies> <dependency> <groupId>org.springframework.kafka</groupId> <artifactId&...
2019-12-10 16:12:15
712
原创 kafka学习(二)linux安装zookeeper
1.第一步上传zookeeper文件 使用rz命令选择要上传的文件 没有这个命令要先安装 yum install lrzsz 这个命令安装 安装成功后直接输入rz 2.解压文件到/opt/下tar -zxvf zookeeper-3.4.9.tar.gz -C /opt/重命名kafka的文件 ：mv zookeeper-3.4.9 /opt/zookeep...
2019-12-10 14:37:27
132
原创 java实现网络爬虫,从网上爬取资源到本地
一个java实现的网络爬虫,从网上爬取文章保存到本地1.创建maven项目导入依赖<dependencies> <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.12.1</...
2019-12-10 14:04:20
972
1
原创 kafka学习(一) linux的kafka安装和测试
1.第一步上传kafka文件使用rz命令选择要上传的文件 kafka下载地址(http://kafka.apache.org/downloads)2.解压文件到/opt/下 tar -zxvf kafka_2.11-1.0.0.tgz -C /opt/ 重命名kafka的文件 ： mv kafka_2.11-1.0.0 /opt/kafka3.切换到kafka...
2019-12-10 08:46:46
328
原创 spring-mvc JSR-303+form标签的验证接受list集合
JSR-303和form标签同时使用添加进行验证时集合的提交会将这个集合提交过去,只不过id会是空.所以需要自己在controller进行手动验证1如果前台使用form标签的循环循环*这样的话后端接受的是数组spring无法进行自动装载*这样循环调用可以在controller接受是自动装载进list集合,后台才能接受对象不过form标签会将所有对象进提交过去,只不过id会是空.所以需要...
2019-11-01 20:34:53
907
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人