- 博客(31)
- 收藏
- 关注
RSS订阅原创 【kraft】kafka kraft模式安装官方文档
KRaft (aka KIP-500) mode Preview ReleaseIntroductionIt is now possible to run Apache Kafka without Apache ZooKeeper! We call this the Kafka Raft metadata mode, typically shortened to KRaft mode.KRaft is intended to be pronounced like craft (as in craft
2022-01-17 17:46:00
2249
原创 gitingore不生效办法
gitingore不生效办法进入git bash相关项目下执行语句git rm -r --cached .git add .git commit -m 'update .gitignore'
2022-01-17 15:30:20
295
转载 cm集群日志清理
转自： 记一次CDH集群日志数据清理CM集群日志空间不足，管理界面爆红cdh的各组件的日志一般在/var/log目录下，因此主要关注“/”查看/var/log下使用空间较大的文件夹，并由大到小排列cd /var/log/du -s ./* | sort -nr还有一个是 Cloudera Management Service服务产生的日志，存在/var/lib/…cd /var/lib/cloudera-service-monitordu -s ./* | sort -nr设置自动清理
2021-11-29 10:59:44
343
1
原创 centos7 离线安装 postgresql-11.5
centos7 离线安装 postgresql-11.5一、postgresql环境准备下载相关centos7版本postgresql离线安装包：postgresql使用远程工具发送到centos7_x86_64服务器二、具体安装1、关闭防火墙root权限：systemctl stop firewalld;systemctl disable firewalld2、安装 进入服务器安装包目录安装依赖：yum -y inatll libicu安装pgsql类库：rpm
2021-10-11 14:51:15
702
原创 SUPERMAP大数据平台安装
文章目录大数据平台安装部署准备服务器规划软件安装版本`ssh`免密登录配置绑定ip和修改计算机名配置ssh服务配置`ssh`免密登录jdk安装hadoop部署配置hadoophadoop集群搭建hadoop启动hadoop集群检查spark部署spark安装配置spark配置spark集群spark启动spark集群检查zookeeper部署配置zookeeper集群zookeeper启动hbase部署配置hbase集群hbase启动hbase集群检查superMap iObjects for Spark
2021-10-11 11:44:22
497
原创 RFE用户活跃度模型
package org.exampleimport org.apache.spark.ml.clustering.{KMeans, KMeansModel}import org.apache.spark.ml.feature.{MinMaxScaler, MinMaxScalerModel, VectorAssembler}import org.apache.spark.sql.expressions.UserDefinedFunctionimport org.apache.spark.sql.{
2021-08-16 16:47:48
538
原创 kerberos学习
kerberos学习配置Kerberos实战案例: 配置Kerberos实战案例部署kerberos实战案例:部署kerberos实战案例
2021-07-12 15:43:40
77
原创 idea提交已有项目到gitlab
create git repositorygit commit （或者首先vcs–git–add)git pushdefine remoteurl 为gitlab新创建项目
2020-09-08 18:32:06
111
转载 ORACLE建表语句转化为MySQL建表语句
转载自：https://www.cnblogs.com/chinesern/p/9127970.html1. fnc_table_to_mysql 主体程序create or replace function fnc_table_to_mysql ( i_owner in string, i_table_name in string, i_number_default_type in
2020-07-13 14:45:22
7931
3
转载 kafka的分区数设置
kafka的分区数设置转载自：https://my.oschina.net/u/3963558/blog/3069483假设对于单个partition，producer端的可达吞吐量为p，Consumer端的可达吞吐量为c，期望的目标吞吐量为t，那么集群所需要的partition数量至少为max(t/p,t/c)。在producer端，单个分区的吞吐量大小会受到批量大小、数据压缩方法、 确认类型（同步/异步）、复制因子等配置参数的影响。经过测试，在producer端，单个parti...
2020-06-03 19:03:23
1137
原创 hadoop入门（二）
hadoop入门（二）HDFS简介hdfs相关概念及特性HDFS设计思路HDFS架构概念和特性HDFS简介hdfs分布式文件系统（hadoop distributed file system），主要解决海量数据存储问题设计思想：分散存储，冗余存储应用：为各类大数据分布式框架提供数据存储服务相关概念：数据块/副本，元数据及元数据管理，负载均衡，副本存放策略hdfs相关概念及特性HD...
2020-03-17 00:12:47
424
原创 hadoop入门（一）
hadoop入门（一）hadoop入门（一）一hadoop快速入门数据与大数据什么是hadoop分布式文件系统概述集群负载均衡分布式获取数据的方式搭建hadoop集群版本：搭建Hadoop集群组件：本质：搭建HDFS 和 YRAN 集群搭建模式：分布式hadoop集群搭建hadoop集群初步使用Hadoop 集群启动HDFS 初步使用mapreduce初步使用hadoop集群分类HA集群：联邦（...
2020-03-16 17:20:31
455
原创 flume启动配置例子
flume.confagent.sources=kafka_source_1agent.channels=memory_channel_1agent.sinks=kafka_sink_1agent.sources.kafka_source_1.kafka.bootstrap.servers=bo-hadoop003.bonc.com:9092,bo-hadoop004.bonc....
2020-03-12 14:46:12
406
转载 ORACLE expdp/impdp详解(转载)
ORACLE expdp/impdp详解(转载)转载自：https://www.iteye.com/blog/czmmiao-2041703ORCALE10G提供了新的导入导出工具，数据泵。Oracle官方对此的形容是：Oracle DataPump technology enables Very High-Speed movement of data and metadata from...
2019-12-24 17:39:31
359
原创 sparkStreaming 消费 kafka 一直显示offset提交失败 Offsetcommit failed
sparkStreaming 消费Kafka，提交任务后 一直无法提交offset报错信息提示：增大session.timeout 或减小 max.poll.recordssession.timeout.ms :在使用Kafka的团队管理设施时，用于检测消费者失败的超时时间。消费者定期发送心跳来向经纪人表明其活跃度。如果代理在该会话超时到期之前没有收到心跳，那么代理将从该组中删除该...
2019-09-11 15:52:58
3521
1
转载 expdp/impdp 详细参数解释
转载自：expdp/impdp 详细参数解释expdp/impdp和exp/imp的区别1、exp和imp是客户端工具程序，它们既可以在客户端使用，也可以在服务端使用。2、expdp和impdp是服务端的工具程序，他们只能在oracle服务端使用，不能在客户端使用。意味着数据无法从远程oracle导出到本地文件系统3、imp只适用于exp导出的文件，不适用于expdp导出文件；im...
2019-06-20 09:49:25
2500
转载 SparkStreaming操作Kafka
转载自：https://www.cnblogs.com/seaspring/p/5920414.htmlKafka为一个分布式的消息队列，spark流操作kafka有两种方式：一种是利用接收器（receiver）和kafaka的高层API实现。一种是不利用接收器，直接用kafka底层的API来实现（spark1.3以后引入）。Receiver方式基于Receive...
2019-06-04 18:40:17
210
转载 Spark log4j 日志配置详解
转载自：https://blog.csdn.net/ZMC921/article/details/80238392一、spark job日志介绍 spark中提供了log4j的方式记录日志。可以在$SPARK_HOME/con...
2019-05-14 17:54:47
1190
原创 windows下 idea本地运行sparkStreaming + kafka 测试程序
1. 安装zookeeper1.下载zookeeper：http://zookeeper.apache.org/releases.html2.解压，将conf文件夹下zoo_sample.cfg重命名为zoo.cfg，修改其中的配置：#修改配置项：dataDir=D:/dzy/envpath/zookeeper-3.4.14/data#增加配置项：dataLogDir=D:/d...
2019-04-19 16:42:28
1386
原创 idea maven打包java、scala混合项目 & maven打包指定主类
1.maven打包java、scala混合项目在使用 maven-shade-plugin 插件打包java、scala混合项目的过程中，发现执行mvn package命令打包的jar包中没有scala类，经发现maven的默认compile不会编译scala类。1.1经搜索可以添加下面两个插件：<plugin> <!-- 这是个编译java代码的 --&...
2019-03-12 15:10:00
2533
1
转载 oracle 求时间均值
转载：https://blog.csdn.net/ColdWolf/article/details/83119517 oralce不能直接对date类型使用avg函数，但是支持日期类型的加减运算。如果每天某个时间点发生一个事件，需要求这个事件发生在一天中的均值，则可以通过下属方法计算日期相减得到一个以天为单位的数值，基于此，通过下属步骤求得平均值：1、to_date(to_cha...
2019-01-14 17:13:51
2926
转载 表空间与数据文件
转载自：表空间与数据文件--Oracle 表空间与数据文件一、概念 表空间：是一个或多个数据文件的逻辑集合 表空间逻辑存储对象：永久段-->如表与索引 临时段-->如临时表数据与排序段回滚段-->用于事物回滚或闪回内存的撤销数据表空间分类：系统表空间(system、sysaux)，非系统表空间一个表空间至少包含一个数据文件，一个数据文件只能属于一个表空间。数据...
2019-01-11 10:53:56
556
转载 oracle 知识点
转载自：https://www.cnblogs.com/tianmingt/articles/4259554.html1、正在连接的用户不能删除，确实要删除的话，如下select sid,serial#,username from v$session where user='USERNAME';alter system kill session 'sid,serial#';drop us...
2019-01-11 10:50:07
269
转载 Oracle 建立索引及SQL优化
转载自：http://www.cnblogs.com/tianmingt/articles/4444885.html数据库索引:索引有单列索引复合索引之说如何某表的某个字段有主键约束和唯一性约束，则Oracle 则会自动在相应的约束列上建议唯一索引。数据库索引主要进行提高访问速度。建设原则: 1、索引应该经常建在Where 子句经常用到的列上。如果某个大表经常使用某个字段进...
2019-01-11 10:43:56
119
原创 本地jar包放在maven本地库的方法，以oracle的jar包为例
第一步：C:\Users\Administrator>mvn install:install-file -Dfile=C:/Users/Administrator/Desktop/dengzeyu/工作/spark实时流/ojdbc14.jar -DgroupId=com.oracle -DartifactId=ojdbc14 -Dversion=10.2.0.5 -Dpackaging=...
2018-10-12 16:58:22
846
1
转载 大数据常见错误解决方案
1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries!解决方法：add export SPARK_LOCAL_IP="127.0.0.1" to spark-env.s
2017-12-09 15:59:51
1528
转载 Maven 集成Tomcat插件
Maven已经是Java的项目管理标配，如何在JavaEE开发使用Maven调用Web应用，是很多同学关心的问题。本文将介绍，Maven如何介绍Tomcat插件。Maven Tomcat插件现在主要有两个版本，tomcat-maven-plugin和tomcat7-maven-plugin，使用方式基本相同。tomcat-maven-plugin 插件官网：http://mojo.code
2017-11-21 19:12:08
226
原创 国内maven仓库
<repositories> <repository> <id>nexus-aliyun</id> <name>nexus-aliyun</name> <url>http://maven.aliyun.com/nexus/content/groups/pub...
2017-11-14 12:49:40
238
原创 关于处理try-catch循环一次异常，次次异常的一个例子
学习Java过程中，遇到这么一道题：从键盘输入一个整数，判断该数值是否大于当前月份。由于从键盘输入的不一定是整数，我想用一个try-catch语句处理异常，并重新运行输入步骤。代码如下：import java.util.Calendar;import java.util.Scanner;public class TestScanner { public static
2017-02-21 20:02:40
2046
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人