![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
ciqingloveless
这个作者很懒,什么都没留下…
展开
-
flink on yarn 报错解决
将commons-cli-1.5.0.jar和flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar拷贝到flink目录。增加 :classloader.check-leaked-classloader: false , 保存后重启任务即可。编辑flink-conf.yaml。原创 2023-07-27 14:40:02 · 217 阅读 · 0 评论 -
apache-ranger-编译安装
由于ranger中显示依赖python3,所以我们先安装Anaconda3-2021.11-Linux-x86_64.sh。一定注意以下4个参数设置,以下4个密码必须有大于8位有大写子母、小写子母和数字。启动ranger-admin。修改配置文件,否则无法登录。执行setup.sh。修改root环境变量。...原创 2022-08-05 14:38:03 · 1176 阅读 · 0 评论 -
启动测试apache impala
启动测试apache impala加载环境配置1 加载环境变量由于编译impala的时候下载了很多相关依赖配置,但是有些可能需要使用我们自己的环境依赖需要进行部分修改 source /app/impala/bin/impala-config.sh2 修改自定义环境变量由于impala依赖的项目过多,所以环境变量配置的不对,完全起不来,所以这么给出需要配置的环境变量,有自己搭建的自行修改,这里面最麻烦的就是CLASSPATH,我后面给个脚本输出一下这个CLASSPATH,这步很重要,因为假如没原创 2021-03-12 16:59:08 · 1049 阅读 · 2 评论 -
apache impala3.4编译安装
安装升级cmake1 版本要求高于下载地址 https://cmake.org/files/v3.19/cmake-3.19.0-Linux-x86_64.tar.gz yum remove cmake export CMAKE_HOME=/app/cmake export PATH=$PATH:$CMAKE_HOME/bin2 安装boost scl enable devtoolset-9 bash yum -y install boost配置编译环境1 部署配置mave原创 2021-03-08 14:55:50 · 3478 阅读 · 39 评论 -
YumRepo Error: All mirror URLs are not using ftp, http[s] or file.
YumRepo Error: All mirror URLs are not using ftp, http[s] or file.mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backupcurl -o /etc/yum.repos.d/CentOS-Base.repo https://www.xmpan.com/Centos-6-Vault-Aliyun.repoyum clean allyu原创 2021-03-08 10:07:07 · 150 阅读 · 0 评论 -
kudu安装
安装配置安装依赖包 yum -y install autoconf automake cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain flex gcc gcc-c++ gdb git krb5-server krb5-workstation libtool make openssl-devel patch pkgconfig redhat-lsb-core rsync unzip vim-common which numactl-libs nu原创 2021-02-26 16:27:52 · 331 阅读 · 0 评论 -
elasticsearch7.11 和 Centos7集群搭建
elasticsearch集群搭建环境准备解压安装包 tar -xvf /app/elasticsearch-7.10.1-linux-x86_64.tar.gz mv /app/elasticsearch-7.10.1 /app/elasticsearch mkdir -p /app/elasticsearch/logs mkdir -p /app/elasticsearch/data添加es用户 useradd -u 80 es passwd es chown -R es原创 2021-02-25 11:06:17 · 416 阅读 · 0 评论 -
Centos7安装ClickHouse
Centos7 ClickHouse集群安装测试需要Zookeeper集群,搭建过程略。查看操作系统是否支持grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"ClickHouse安装在线安装方式 yum install yum-utils rpm --import https://repo.clickhouse.tech/CLICKHOUSE-KE原创 2021-02-09 17:02:18 · 487 阅读 · 0 评论 -
centos 7 安装CDH6.3
下载https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/https://archive.cloudera.com/cdh6/6.3.2/parcels/yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb httpd mod原创 2021-02-04 16:16:34 · 229 阅读 · 0 评论 -
Centos7 编译安装Doris与测试
Centos7 编译安装Doris与测试安装只介绍docke模式下载https://github.com/DorisDB/incubator-doris安装docker测试过实体机编译,问题过多,所以改为Docker编译,但是Docker支持的操作系统版本为Centos7以上 yum update yum install -y yum-utils device-mapper-persistent-data lvm2 yum-config-manager --add-repo htt原创 2021-01-28 10:13:10 · 1972 阅读 · 5 评论 -
elasticsearch7.10集群搭建
elasticsearch7.10集群搭建环境准备解压安装包 tar -xvf /app/elasticsearch-7.10.1-linux-x86_64.tar.gz mv /app/elasticsearch-7.10.1 /app/elasticsearch mkdir -p /app1/elasticsearch/log mkdir -p /app1/elasticsearch/data添加es用户 useradd -u 80 es passwd es chown原创 2021-01-08 11:19:58 · 554 阅读 · 0 评论 -
Oracle11GR2同步数据进入KAFKA
Oracle 11G R2 同步数据进入KAFKA相关软件下载最新版http://www.oracle.com/technetwork/middleware/goldengate/downloads/index.html旧版本https://edelivery.oracle.com/osdc/faces/SoftwareDelivery由于Oracle抽取有对应版本关系,请自行查阅下载源端Oracle配置1 建立安装目录目录创建由自行决定,无要求mkdir -p /app/ogg/ora原创 2020-05-22 10:12:45 · 377 阅读 · 0 评论 -
大数据运维文档
大数据运维文档一 hadoop相关运维1 系统环境由于机器安装时,硬盘挂在不同,所以hadoop安装路径可能不同。默认hadoop相关集群项目路径在/app目录下。使用以下所有命令请切换到hadoop用户之下,请使用su - hadoop请不要使用hadoop用户之外的用户进行操作。3 常用操作指令3.1 启动zookeeper集群zookeeper默认安装目录为/app/zo...原创 2020-04-02 13:49:44 · 878 阅读 · 0 评论 -
解决hive查询parquet表报错NullPointerException异常问题(ProjectionPusher.java:118)
这个问题在hive3.1已经解决,但是我查看源码之后发现hive2.3.6还是没解决,其实解决办法很简单,不知道为什么一直不更新,对应hivebug是HIVE-16958,我的报错信息如下Diagnostic Messages for this Task:Error: java.io.IOException: java.lang.reflect.InvocationTargetExceptio...原创 2020-02-28 15:09:44 · 2831 阅读 · 4 评论 -
hive参数
hive.optimize.reducededuplication.min.reducer=4hive.optimize.reducededuplication=truehive.merge.mapfiles=truehive.merge.mapredfiles=falsehive.merge.smallfiles.avgsize=16000000hive.merge.size.per....原创 2020-02-28 14:02:12 · 222 阅读 · 0 评论 -
SparkStream实时更新hive表数据(获取用户前N条记录)
这个功能主要是实现,SparkSteam实时更新覆盖原表数据,不是追加,由于业务需求,需要不断获取每个用户前N条信息用于数据查询,考虑过直接insert hive表,但是由于hive的jdbc不稳定,容易出现断线、崩溃等问题,所以采用了直接写hdfs的形式。class SparkRealTimeAnalysisWebService() { def realTimeDataAlysis(ds...原创 2019-06-20 15:38:57 · 1271 阅读 · 0 评论 -
Spark项目连接Hadoop HA配置文件编写方案
val sparkConf = new SparkConf().setAppName("sparkRealTimeServer") .setMaster("yarn").setSparkHome("/app/data1/spark").set("spark.submit.deployMode", "client"). set("spark.testing.memory", ...原创 2019-06-20 15:40:11 · 576 阅读 · 0 评论 -
Hive升级后SparkSession无法使用
hive从2.10升级到3.10后报错query = Cannot find local variable 'query'ne = {NucleusException@19314} "org.datanucleus.exceptions.NucleusException: Cannot add `SERDES`.`SERDE_ID` as referenced FK column for `C...原创 2019-07-04 23:29:39 · 752 阅读 · 0 评论 -
hadoop缩容datanode后warn解决办法
修改namenode节点的hdfs-site.xml(master主机) <property> <name>dfs.hosts.exclude</name> <value>file_path</value> </property>我在缩容hadoop的datanod...原创 2019-09-25 16:47:28 · 222 阅读 · 0 评论 -
在不开启回收站的情况下恢复Hadoop误删除文件
这个问题其实比较严重,提前说一下结论,能恢复的只有执行删除后未删除的数据,已经删除的数据无法恢复。什么叫执行删除后未删除的数据呢,因为hadoop执行删除时是在edits文件中添加一个标记,然后慢慢删除,这其中有个过程,假如你只删除一个文件,那我估计这种方式是无法恢复的,这个办法只能恢复标记删除而未删除的记录。停止Hadoop集群停止集群这一步的时间,决定了你能恢复数据的多少,假如停止过慢,.........原创 2019-04-22 17:30:11 · 1140 阅读 · 0 评论