![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
zookeeper
cevent
web前端:HTML/JavaScript/css/zepto/angularJS/react/vue...
java开发:
SE/EE/spring/springMVC/Mybatis/Hibernate/Maven...
服务器端:
Linux/Hadoop...
平面设计:
PS/AI
音频处理:
Audition
视频特效:
After Effects
文案处理:
word/excel/ppt
展开
-
hive-hbase整合报错:Error: java.lang.UnsupportedClassVersionError: org/apache/hadoop/hive/hbase/HBaseStor
1.整合报错 0: jdbc:hive2://hadoop210.cevent.com:10000> CREATE TABLE hive_hbase_emp_table( 0: jdbc:hive2://hadoop210.cevent.com:10000> empno int, 0: jdbc:hive2://hadoop210.cevent.com:10000> ename string, 0: jdbc:hive2://hadoop原创 2020-06-29 18:20:01 · 472 阅读 · 0 评论 -
Hbase API应用 表/列 链接diea增删改查
1.idea创建项目2.启动hadoop、zookeeper、hbase [cevent@hadoop207 hadoop-2.7.2]$ sbin/start-dfs.sh [cevent@hadoop207 hadoop-2.7.2]$ sbin/start-yarn.sh [cevent@hadoop207 zookeeper-3.4.10]$ bin/zkServer.sh start [cevent@hadoop208 zookeepe原创 2020-06-22 23:08:24 · 181 阅读 · 0 评论 -
Hbase(NoSQL)整合hadoop、hive、kafka、flume、zookeeper组件框架,HBase服务的启动-报错:Error: JAVA_H ,及HMaster启动几秒内进程自动关闭
1.HBase安装部署2.HBase的解压 [cevent@hadoop207 module]$ tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/module/ [cevent@hadoop207 soft]$ cd /opt/module/ [cevent@hadoop207 module]$ ll 总用量 44 drwxrwxr-x. 12 cevent cevent 4096 6月 19 17:50 apache-flum原创 2020-06-20 21:51:45 · 471 阅读 · 0 评论 -
Kafka异步发送API,main线程发送,回调ack信息,sender线程发送;同步发送API,Consumer API,手动/异步提交、自定义存储offset,Interceptor、flume+
1.异步发送API(1)idea创建(2) Producer生成异步发送(生成4个分区,默认取余,为乱序排序(4分区排))package com.cevent.kafka.producer;/** * Created by Cevent on 2020/6/19. */import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.Producer;impo原创 2020-06-19 21:06:41 · 1055 阅读 · 0 评论 -
克隆配置虚拟器hadoop-hive-zookeeper-kafka全流程
1.清理垃圾[root@hadoop201 ~]# rm -rf anaconda-ks.cfg install.log install.log.syslog2.选中“克隆虚拟机”:“右键→管理→克隆”弹窗:(1)下一步(2)克隆自:虚拟机中的当前状态(3)创建完整克隆(4)虚拟机命名,选择存储位置(5)完成3.配置IP(1)获取地址:vi /etc/udev/rules.d/70-persistent-net.rules删除第一个eth0,改第二个eth0为eth1SUBSYSTE原创 2020-06-18 08:38:48 · 3150 阅读 · 0 评论 -
hadoop-zookeeper-kafka全流程配置,克隆、无秘钥、xml配置等,解决Error contacting service. It is probably not running.BUG
1.准备kafka原jar2.解压tar [cevent@hadoop207 ~]$ cd /opt/soft/ [cevent@hadoop207 soft]$ ll 总用量 795412 -rw-rw-r--. 1 cevent cevent 55711670 6月 11 13:31 apache-flume-1.7.0-bin.tar.gz -rw-r--r--. 1 cevent cevent 92834839 4月 30 15:53 apa原创 2020-06-17 22:34:54 · 1472 阅读 · 0 评论 -
hive-diea-ETL数据截取split,嵌套SQL查询,ETL-SQL表查询中间件解析
1.数据准备2.上传数据 [cevent@hadoop207 hadoop-2.7.2]$ cd /opt/module/datas/ [cevent@hadoop207 datas]$ ll 总用量 383028 -rw-rw-r--. 1 cevent cevent 147 5月 10 13:46 510test.txt -rw-rw-r--. 1 cevent cevent 120734753 6月 8 13:31 bigtable原创 2020-06-10 23:08:35 · 531 阅读 · 0 评论 -
hive调优fetch模式抓取,join表测试空key自动转换random,mapreduce动态分区设置
1.fetch配置 [cevent@hadoop207 ~]$ cd /opt/module/hive-1.2.1/ [cevent@hadoop207 hive-1.2.1]$ ll 总用量 524 drwxrwxr-x. 3 cevent cevent 4096 4月 30 15:59 bin drwxrwxr-x. 2 cevent cevent 4096 5月 9 18:40 conf -rw-rw-r--. 1 cevent cevent 2原创 2020-06-09 22:59:38 · 342 阅读 · 0 评论 -
Hadoop源码压缩snappy,存储textfile/orc/parquet格式效率对比,源于解压失误,将snappy的hadoop没有新建文件夹而覆盖了原来的hadoop,重装hadoop全套源码
1.支持snappy压缩的资源2.解压tar这里作死了应该设置解压的固定目录,必须是hadoop-2.7.2-snappy下,否则,将直接覆盖之前的hadoop-2.7.2[cevent@hadoop207 module]$ tar -zxvf hadoop-2.7.2-snappy.tar.gz-C /opt/module/3.一失足成千古恨,又得重新造hadoop [cevent@hadoop207 soft]$ tar -zxvf hadoop-2.7.原创 2020-06-09 22:47:20 · 603 阅读 · 0 评论 -
自定义UDF函数(user defined function),配置idea+eevaluate函数类+解决bug-metadata repomd.xml-配置YUM+实现beeline自定义函数调用
1.Hive functions show函数显示 [cevent@hadoop207 hive-1.2.1]$ bin/beeline Beeline version 1.2.1 by Apache Hive beeline> !connect jdbc:hive2://hadoop207.cevent.com:10000 Connecting to jdbc:hive2://hadoop207.cevent.com:10000 Enter username f原创 2020-06-04 23:51:44 · 723 阅读 · 0 评论 -
substring、Ntile、用法、窗口函数over()、rank、dense_rank、row_number()顺序函数区别
1.substring用法 [cevent@hadoop207 ~]$ cd /opt/module/hive-1.2.1/ [cevent@hadoop207 hive-1.2.1]$ ll a^H总用量 524 drwxrwxr-x. 3 cevent cevent 4096 4月 30 15:59 bin drwxrwxr-x. 2 cevent cevent 4096 5月 9 18:40 conf -rw-rw-r--. 1 cevent ce原创 2020-06-03 22:18:32 · 419 阅读 · 0 评论 -
HIVE-排序、分区、cluster by/distribute by/sort by集群查询、bucket分桶抽样查询、concat、collect_list/concat_ws 行转列查询
1.启动dfs、yarn、hiveserver2 [cevent@hadoop207 ~]$ cd /opt/module/hadoop-2.7.2/ [cevent@hadoop207 hadoop-2.7.2]$ ll 总用量 60 drwxr-xr-x. 2 cevent cevent 4096 5月 22 2017 bin drwxrwxr-x. 3 cevent cevent 4096 4月 30 14:16 data drwxr-xr-x. 3原创 2020-06-03 22:08:50 · 676 阅读 · 0 评论 -
HIVE查询-as、limit、in、like、rlike(正则查询)、分组查询、外联/联合查询,SQL语法解析
1.创建部门表 create table if not exists dept( deptno int, dname string, loc int ) row format delimited fields terminated by '\t'; 2.创建员工表 create table if not exists emp( empno int, ename string, job string, mgr in原创 2020-06-03 21:58:22 · 773 阅读 · 0 评论 -
secureCTR配置记录日志
1.global options配置2.default-settings配置3.log file配置4.设置日志名格式:D:\DEV_CODE\eclipse_code\hiveTMP\shell_session-%Y%M%D.log原创 2020-06-03 21:47:01 · 221 阅读 · 0 评论 -
HIVE-DML数据操作-引入hdfs数据导入、导出,hive -e SQL用法
1.DML数据增删改查 [cevent@hadoop207 hive-1.2.1]$ bin/beeline Beeline version 1.2.1 by Apache Hive beeline> !connect jdbc:hive2://hadoop207.cevent.com:10000 Connecting to jdbc:hive2://hadoop207.cevent.com:10000 Enter username for jdbc:原创 2020-06-03 21:39:11 · 261 阅读 · 0 评论 -
HIVE-DDL数据操作、分区、二级分区、联合查询、创建、修改、更换表列
1.启动dfs、yarn、hiveserver2 [cevent@hadoop207 ~]$ cd /opt/module/hadoop-2.7.2/ [cevent@hadoop207 hadoop-2.7.2]$ cd bin/ [cevent@hadoop207 bin]$ ll 总用量 320 -rwxr-xr-x. 1 cevent cevent 109037 5月 22 2017 container-executor -rwxr-xr-x. 1 ceve原创 2020-05-21 22:24:52 · 696 阅读 · 0 评论 -
hadoop-zookeeper配置YARN-HA集群
1.原版yarn-site.xml <?xml version="1.0"?> <!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the ...原创 2020-04-23 21:55:27 · 512 阅读 · 0 评论 -
配置HDFS-HA-ZOOKEEPER自动故障转移
1.配置hdfs-site [cevent@hadoop202 hadoop-2.7.2]$ vim etc/hadoop/hdfs-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration...原创 2020-04-22 22:37:42 · 550 阅读 · 0 评论 -
hadoop-HA/Zookeeper集群调度
1.集群规划| hadoop202 | hadoop203 | | hadoop204 ||:NameNode:| NameNode:|:| -------------????| JournalNode | JournalNode | JournalNode || DataNode | DataNode | DataNode ||...原创 2020-04-22 22:20:05 · 541 阅读 · 0 评论 -
监听服务器节点动态上下线案例
1.需求:某分布式系统中,主节点可以有多台,可以动态上下线,任意一台客户端都能实时感知到主节点服务器的上下线2.服务端业务 package com.cevent.zookeeper.cases; import org.apache.zookeeper.CreateMode; import org.apache.zookeeper.WatchedEv...原创 2020-04-19 22:08:30 · 437 阅读 · 0 评论 -
zookeeper获取服务器节点
1.创建客户端节点 package com.cevent.zookeeper.client; import org.apache.zookeeper.CreateMode; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.Watcher; impo...原创 2020-04-19 22:02:05 · 645 阅读 · 0 评论 -
创建zookeeper客户端eclipse
1)创建一个工程2)解压zookeeper-3.4.10.tar.gz文件3)拷贝zookeeper-3.4.10.jar、jline-0.9.94.jar、log4j-1.2.16.jar、netty-3.10.5.Final.jar、slf4j-api-1.6.1.jar、slf4j-log4j12-1.6.1.jar到工程的lib目录。并build一下,导入工程。4)B...原创 2020-04-19 21:55:53 · 211 阅读 · 0 评论 -
2.1.5. zookeeper分布式部署
1.修改zoo.cfg相关配置 [root@hadoop202 ~]# cd /opt/module/zookeeper-3.4.10/ [root@hadoop202 zookeeper-3.4.10]# ll 总用量 1600 drwxr-xr-x. 2 cevent cevent 4096 3月 23 2017 bin -rw-rw-r-...原创 2020-04-18 21:58:13 · 116 阅读 · 0 评论