rookie_bigdata-CSDN博客

原创 kafka 内网外网映射问题

原因：kafka 返回的是 listeners=PLAINTEXT://192.168.1.10:9092 的地址，外部公司访问不到公司内部的地址。解决方案： listeners 配置一个域名，外部公司的系统的服务器配置该域名到公网的映射规则，另外公网映射的时候，端口也要一致，不然有问题。背景：公司内部 kafka 要与外部单位的系统通过公网联调，公司运维做了映射后网络还是不通。

2023-11-06 09:03:07 463

gprecoverseg -i ./recov 恢复的时候报错，报 ssh 不到segment的节点。ssh-copy-id 报错命令不存在，切回root账号执行 yum -y install。5、再次执行 ssh-copy-id 成功，继续参考最初的链接，恢复成功！执行 ssh-keygen -R "你的远程服务器ip地址"4、再次执行 ssh-copy-id 发现还是报错，参考。1、有个节点挂了，参考链接。

2023-08-04 10:03:06 324

原创 zookeeper 进程起来了，但是zkServer.sh status报错Error contacting service. It is probably not running

zkServer.sh status报错

2022-08-29 14:50:24 1120 1

原创 linux python 版本从 python3 降为 python2

背景：公司服务器python版本默认为2.7，有一次安装了 anaconda 后把默认的python版本改为了 python3.7版本，后来因为一些原因要降为原来的 2.7版本，发现改了软链接到2.7后执行python -V 显示的还是 3.7版本。解决：1、查看环境变量 echo $PATH ，发现环境变量里 anaconda3/bin 在 path 的最前边2、查看 ~/.bashrc 可以发现里边有将 anaconda 的环境变量配置到了 PATH3、将~/.bashrc.

2022-05-26 10:16:08 3284

原创配置本地ntp服务器及ntp客户端

背景：公司的服务器不能访问外网，所以在服务器A部署了NTP服务器，其他服务器配置源NTP为服务器A1、服务器A的 /etc/ntp.conf 做下边调整后重启ntp1）添加配置restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap# 以自己作为时间源server 127.127.1.0fudge 127.127.1.0 stratum 12）注释配置#server 0.centos.pool.ntp.org iburst

2022-05-26 10:00:58 2037

原创使用SourceTree将本地项目推送至GitLab

背景：正常一般是先在 GitLab 上建好项目，然后再通过 SourceTree 克隆到本地。但有时候忘记了，直接在本地新建了项目，这个时候想把本地项目也放到 GitLab 上托管。步骤：1、在GitLab上新建一个项目，项目名称和本地项目保持一致，复制url2、在 SourceTree 上文件 -》克隆/新建-》Create在浏览那里选择本地的项目，在弹框那里选择是，然后点击创建3、创建完后，选择仓库-》仓库设置选择添加，然后输入第1步复制的url4、

2022-03-23 17:52:38 3329

原创 Ambari 2.7.4 安装 Flink-1.14.4

一、创建flink源1，安装 httpd 服务（随便一台服务器）[root@node01~]# yum -y install httpd[root@node01~]# service httpd restart[root@node01 ~]# chkconfig httpd on安装完成后，会生成 /var/www/html目录（相当于Tomcat的webapps目录）2、下载下边两个包，并放到 /var/www/html/flink目录 (需要在 /var/www/html先建 f...

2022-03-18 17:31:33 1065

原创 spark sql / dataframe 二次排序，多字段排序问题

问题：spark sql / dataframe 日常操作中经常需要全局二次排序或者说针对多个字段排序然后输出到一个文件中，直接使用 order by 达不到想要的结果，只是分区内有序。解决：在sql中使用distribute by A_字段 sort by A_字段，B_字段如果是dataframe，就先将dataframe注册为临时表，再使用sqldf.createOrReplaceTempView("temp_tb")spark.sql("select * from tem

2022-02-25 15:21:16 1818

原创 Windows 如何使用 netcat (杀毒软件删掉了nc.exe情况)

问题：windows 从netcat 1.11 for Win32/Win64 下载 netcat 后，杀毒软件删掉了 nc.exe解决：从Download the Free Nmap Security Scanner for Linux/Mac/Windows下载 nMap 并安装1、2、安装后可以使用 ncat.exe...

2022-01-26 15:29:45 3744

原创 sparkStreaming yarn-cluster消费到了数据但没有处理

现象：sparkStreaming 作业 local[*] 可以正常消费到数据并处理，但提交到yarn-cluster后只消费到数据但没有处理，从 Streaming Statistics 可见只有消费到数据，但没有处理原因: 提交命令时只配置了1个 container ，确切的说是1个 core ，该 core 被分配用于消费数据，没有core可以用来处理，通过executor界面可以看到spark-submit --master yarn-cluster --num-executors.

2021-06-21 17:55:57 150

原创 Ambari 集群重启后，HDFS 报告警 NameNode Last Checkpoint

现象：Ambari 集群重启后，HDFS 报告警 NameNode Last Checkpoint解决：在其中一台服务器依次执行下边三条命令（HDFS用户）hdfs dfsadmin -safemode enterhdfs dfsadmin -saveNamespacehdfs dfsadmin -safemode leave

2021-03-22 09:59:40 530

原创 Ambari 使用的 Mysql Gelera 集群的机器重启后，集群启动不了

现象：Ambari 集群所在的服务器要下电，下电前忘记手动停止 Mysql Gelera 集群。上电后，Ambari 启动失败，因为连接不到对应的 Mysql 。发现 Mysql 集群未启动。手动启动 Mysql 将其中一个节点的引导地址置空然后执行systemctl start mysqld没有反应，日志也无报错。再次 reboot 该节点，reboot 完后，mysql 报错It may not be safe to bootstrap the cluster fro..

2021-03-22 09:36:27 210

原创 Ambari Yarn ResourceManager 无法停止及启动

现象：通过 Ambari 安装了 Yarn HA，一段时间后，Ambari报连接不上其中一个服务器的 ResourceManager 警告。去该服务器上看，没有相关的 ResourceManager 进程。在Ambari界面重启，在停止阶段失败。直接启动也失败。在该服务器通过命令yarn-daemon.sh start resourcemanager 启动后，警告消失。但通过这种方法启动的 ResourceManager 跟在Ambari界面启动的不一样，导致Ambari接管有些问题：Ya.

2021-03-19 15:45:39 1116

原创 spark sql 开窗函数加条件

需求：如下图 test.csv，dataframe 中每行都需要添加前边跟后边最近的的 SSSSSSS* 记录对应的值。解决方案：无法通过 lead, lag 等方法实现，因为开窗函数选定的数据框无法加上条件思路 - 通过两次 Join 分别找到前后最近的 SSSSSS*记录，代码如下var df = spark.read.option("header", "true").csv("C:\\Users\\XXX\\Desktop\\test.csv") // 读取文件df = df.

2021-03-10 15:37:27 1035

原创 linux 使用 arcpy

linux 要想使用 arcpy，需要先安装 arcigs server。安装arcigs server 需要安装包和授权文件。（以104版本为例）1，ArcGIS_for_Server_Linux_1041_151978.tar.gz2，arcgis104.ecp安装步骤：1，yum install xorg-x11-server-Xvfb2，创建用户组arcgisgroupadd arcgis3，创建用户ags （安装不能用root用户）useradd -g arcgis.

2020-11-19 10:16:18 1309 2

原创 linux ssh 报错 WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!

现象：ssh 到其他服务器时报错：WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!解决：ssh-keygen -f "/root/.ssh/known_hosts" -R 192.168.X.X

2020-11-11 09:48:27 145

原创 pyspark 写入csv 文件报错 org.apache.hadoop.io.nativeio.NativeIO$Windows.createFile。。。

现象：pyspark 写入windows本地csv文件报错后报错org.apache.hadoop.io.nativeio.NativeIO$Windows.createFile。。。解决：删除hadoop-common-2.6.0/bin 里的hadoop.dll

2020-09-23 16:12:18 373 1

原创 pyspark 报错 TypeError: must be real number, not Column

现象：pyspark 需要添加一列 distance（距离），distance 需要基于四列的值（原经度，原纬度，现经度，现纬度）计算得来。def calculateS(lng1,lat1,lng2,lat2): lng1, lat1, lng2, lat2 = map(radians, [lng1, lat1, lng2, lat2]) dlon=lng2-lng1 dlat=lat2-lat1 a=sin(dlat/2)**2 + cos(lat1) * cos...

2020-07-31 14:13:32 963

原创 idea 运行 scala 报错 object apache is not a member of package org

现象：idea 运行scala项目报错object apache is not a member of package org解决：

2020-07-28 17:10:47 4771 2

原创 sqoop 迁移 oracle 数据到 hive ，卡住 Connecting to jdbc:hive2://

现象：sqoop 迁移 oracle 数据到 hive ，卡在Connecting to jdbc:hive2://....解决：在 /etc/hive/conf 增加 beeline-hs2-connection.xml 内容如下：<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><propert..

2020-07-02 10:29:53 1129 1

原创 Ambari Spark 集成 Hive 失败。spark sql创建的表hive看不到，hive创建的表 spark看不到

现象：Ambari 安装了 Spark 和 hive ，但集成未成功。spark sql创建的表hive看不到，hive创建的表 spark看不到解决：登录 Ambari 界面，到 Spark 组件修改配置。 1）Advanced spark2-defaults 的 spark.sql.warehouse.dir 值/apps/spark/warehouse 改为 /warehouse/tablespace/managed/hive (其实就是 hive 的 Hive Metastore W

2020-07-02 10:13:48 897

原创 spark sql 查询表时报错：。。。 not a file

现象：spark sql 查询表时报错：。。。 not a file解决：如果是在终端启动 spark shell，那么就执行 spark-sql --conf spark.hadoop.mapreduce.input.fileinputformat.input.dir.recursive=true --conf spark.hive.mapred.supports.subdirectories=true 如果是代码，那么就设置下边两个参数 .set("spark.hadoop.m.

2020-07-02 09:55:45 1142 1

原创 spark sql dataframe 写 hdfs 文本报错：text datasource support only a single colum, and you have 2 columns

现象：spark sql 程序中resultFrame.coalesce(1).write.text(outputPath) 报错text datasource support only a single colum, and you have 2 columns解决：将结果连接为一列，使用concat_ws如select concat_ws('_', name, age) from students;...

2020-07-02 09:50:15 815

原创 spark sql 报错：attribute name “count(1)“ contains invalid charater(s) among

现象：spark sql 运行时报错attribute name "count(1)" contains invalid charater(s) among ，please use alias to rename it解决：将 count(1) 起个别名，如 select a , count(1) num from ...

2020-07-02 09:44:11 1358

原创 Ambari 两个 NameNode 都为 standby

问题：NameNode move 失败后，出现两个 standby Namenode，无 active namenode。日志报错Cannot find any valid remote NN to service request!解决：1，通过 ambari 界面关闭所有服务2，登录两个 standby namenode 所在的节点并执行hdfs zkfc -formatZK （选 Y）3，通过 ambari 界面启动 zkfc 及 namenode ，这个时候就有一个 ac.

2020-06-18 14:48:19 914

原创记一次 Ambari Namenode 移动失败的恢复过程

问题：Ambari 需要将 node1 的 active namenode 移到 node3，node2 的 standby namenode 移动到 node4移动 standby name 时一切正常。移动 active namenode 时失败。此时存在 3 个 namenode ， hdfs cluster 有两个（node1，node4），node3有一个。回退：将 node3 上的 namenode 和 zkfc 删除。此时在 ambari 界面无法删除，只能通过 a..

2020-06-17 10:27:28 429

原创 Ambari 启用备用的 Ambari Server

问题：Ambari Server 存在单点问题解决：在备用节点部署 Ambari Server ，当主用 Ambari Server 发生故障时，启用备用 Ambari Server步骤：完成备用 Ambari Server 的安装，跟主用 Ambari Server 连同一 mysql 数据库，备用节点环境变量设置，免密到所有 Agent 节点等配置。备用节点执行 ambari-server start。所有 Ambari Agent 修改指向的 Ambari Server 地

2020-06-16 10:52:46 247

原创 Ambari 切换 mysql 数据库

现状：Ambari 搭建好了，但存元数据的 mysql 存在单点问题。解决：Ambari 改为指向 mysql 集群。步骤：1，搭建 mysql 集群。https://blog.csdn.net/Lbg_007/article/details/1067093532，迁移 mysql 数据库。在 web 界面停止 ambari 管理的所有组件服务登录 ambari server 所在服务器。停止 ambari server ambari-server stop 导出原 m.

2020-06-15 10:58:16 754

原创 CentOS7 MySql Galera Cluster 安装步骤

检查系统是否安装MySQL，已安装则需要卸载干净查看systemctl status mysqld.service 关闭防火墙查看 systemctl stop firewalld.service ；关闭 systemctl disable firewalld.service；systemctl disable firewalld.service 安装依赖包 yum -y install lsof net-tools perl socat openssl openssl-devel bo.

2020-06-12 10:54:03 1121

原创 idea scala 项目编译报错：Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:testCompile

现象：idea scala 项目编译报错：Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:testCompile原因：项目里有某些类代码有问题导致通过不了编译。但 idea 不提示哪里有问题。解决：在项目根目录执行mvn clean scala:compile package 后 idea 就会报哪个类哪行代码有问题，修复后再次编译就可以了。...

2020-06-11 09:14:27 1161

原创 Sql case when 怎么使用 like ?

想要实现查询：如果字符串包含‘语文’就怎么怎么样，包含‘数学’就怎么怎么样，包含‘英语’就怎么怎么样。使用 like 放在case when 里面是无效的，可以用 instr() 这个函数来查找这些字符出现的位置，代替like的功能。case when instr(t.str,’语文’) > 0 then 0when instr(t.str,’数学’) > 0 then 1when instr(t.str,’英语’) > 0 then 2else 3 end...

2020-06-11 09:06:56 6761

原创分布式流处理框架 samza 报错:Attempting to produce to unknown system

现象：启动 samza 作业后，报错Attempting to produce to unknown system原因：未找到对应的 producer 系统。检查代码，发现是由于代码里少了 break 导致 case 穿透，未按预期创建对应的producer。解决：修复 bug ，增加 break ，解决问题。...

2020-06-11 08:57:35 380

原创 oracle impdp 报错 ORA-39171: 作业出现可恢复的等待。

现象：ORA-39171: 作业出现可恢复的等待。Resumable error: ORA-01653: 表 C##MANC.TABLENAME无法通过 8192 (在表空间 MANC 中) 扩展原因：表空间不足，导入作业挂起。解决：增加表空间后，导入作业恢复进行。alter tablespace manc add datafile '/orc/app/oracle/oradata/orcl/manc1.dbf' size 30000M autoextend on ...

2020-06-05 14:10:12 3609

原创 oracle impdp 报错ORA-12899: value too large for column XXXX (actual: 45, maximum: 40)

现象：oracle impdp 报错ORA-12899: value too large for column XXXX (actual: 45, maximum: 40)原因：插入的数据长度超出字段的设置长度，实际长度并不长，这是由于Oracle字符集不同，汉字占的长度不同造成的。中文在ZHS16GBK中占2个字节，在UTF-8中却占3个字节，所以汉字导入UTF-8字符集的数据库就很容易出现字段长度不够解决：1，查看字符集用PL/SQL DEVELOP ---->Report

2020-06-04 11:11:40 4924

原创 oracle impdp 导入报错: ORA-39112: 跳过从属对象类型 COMMENT, 创建基本对象类型 xxx 失败

现象：impdp 导入后报大量的ORA-39112 错误原因：1，目标库缺少用户。源库中的schema和别的用户相互授权了，但导出的dmp中没有包含所有的用户，并且目标库也没有这些用户。2，目标库缺少表空间。源库中的用户下的某个表的索引没有在他的默认表空间里，而是在其他表空间，但目标库里又没有这个表空间。解决：impdp导入时，会按照dmp文件中有关的存储的参数信息完成数据的导入。如果遇到上边说的情况，就会报 ora-39112 错误。这个时候我们需要按照被导入用..

2020-06-04 09:31:08 22056 2

原创大数据 Ambari Yarn 告警: The HBase application reported a STARTED state in xxxxs 解决

现象：Ats-hbase 作为 yarn 的一个服务已正常起来。但一直存在告警The HBase application reported a 'STARTED' state in 1.773s原因：未知解决：1，su - yarn-ats2，yarn app -destroy ats-hbase3，hadoop fs -rm -R /user/yarn-ats/3.1.4.0-315/* （备注：把 3.1.4.0-315 换成自己环境的版本，通过 hadoop fs...

2020-06-01 16:03:51 3638 4

Lbg_007的博客