hadoop大数据
第一次看海
这个作者很懒,什么都没留下…
展开
-
mysql 表排序规则不同时关联报错解决方法
xxxx_register 是 utf8mb4_general_ci 格式,所以与之关联的表 xxx_regist 要使用。观察两个表的表属性,发现一个是utf8mb4_general_ci ,另一个是 utf8mb4_unicode_ci。但是表只有查询权限,没有其他的操作权限,这种情况下使用 COLLATE 的方式转换使得排序规则相同。utf8mb4_general_ci 将排序规则与之匹配。原创 2022-10-12 13:57:12 · 599 阅读 · 0 评论 -
StarRocks Broker load 同步hdfs数据
之前安装的starRocks没有同步hdfs的数据,所以一直也没有安装Broker服务,现记录一下部署broker后将数据load进starRocks表的过程,我目前部署的是StarRocks-2.1.4还没有升级,后续记录一次升级。原创 2022-07-15 18:55:25 · 1147 阅读 · 0 评论 -
Ranger 安装报错日志
1,导入失败,log_bin_trust_function_creators 为 OFFError executing: CREATE FUNCTION `getXportalUIdByLoginId`(input_val VARCHAR(100)) RETURNS int(11) BEGIN DECLARE myid INT; SELECT x_portal_user.id into myid FROM x_portal_user WHERE x_portal_user.login_id = inp原创 2022-01-05 18:19:05 · 1573 阅读 · 0 评论 -
Apache Ranger 2.2.0 编译
1,安装包下载https://dlcdn.apache.org/ranger/2.2.0/apache-ranger-2.2.0.tar.gz2,环境准备apache-maven-3.6.3git3,执行编译cd /data/softwarewget https://dlcdn.apache.org/ranger/2.2.0/apache-ranger-2.2.0.tar.gzmkdir /data/software/rangertar -zxvf apache-rang原创 2021-12-31 17:52:59 · 1300 阅读 · 0 评论 -
hadoop 3.x 集群使用命令无法关闭问题
自从集群启动数月从没有关闭过,今天操作发现集群使用命令无法停掉,查询博客发现是 hadoop 的 pid 文件在 /tmp 文件下被系统清理掉,修改配置如下cd /data/module/hadoop-3.1.3mkdir tmpcd /data/module/hadoop-3.1.3/etc/hadoopvim hadoop-env.sh:set nu在 198 行252 行修改配置分发文件至其他节点,重启服务发现在安装路径下的tmp目录生成pid文件,...原创 2021-12-22 11:51:47 · 1004 阅读 · 0 评论 -
操作Zookeeper的web页面zkui
除了命令行客户端的方式访问zookeeper外,现在有一个可以可视化操作zookeeper的web页面,具体的安装步骤1,下载源代码https://github.com/DeemOpen/zkui,如图所示,解压后的目录结构 2,这个代码是idea工具开发,可以直接open到idea中,3,因为需要使用maven工具编译一下,所以直接使用idea中的maven projec...原创 2019-01-25 19:10:33 · 9340 阅读 · 0 评论 -
oozie迁移或配置高可用后再迁移下线
参考文章https://www.freesion.com/article/8020529723/1,第一次启用高可用时会报错Command failed to run because service Oozie has an invalid configuration. Review and correct its configuration. First error: Oozie Server (cdh06) is missing these plugins needed for原创 2021-08-13 10:41:25 · 407 阅读 · 0 评论 -
CDH 集群配置警告信息到钉钉,企业微信,飞书webhook机器人
经过多次尝试发现不是原创 2021-06-09 19:04:11 · 624 阅读 · 0 评论 -
impala 查询资源调度配置,执行器executor,协调器coordinator 角色组配置 优化节点资源分配
记录一下,在用impala作为计算引擎查询hive数据时,经常性的发现资源少的节点由于内存暴增而导致impala Daemon 挂掉,仔细查询cdh中impala执行过程的日志,发现impala的计算会初始化到一个节点原创 2021-06-08 17:18:03 · 1286 阅读 · 0 评论 -
Hive与ES集成过程,错误记录
一、基础准备1,查看es对应版本,下载版本号一样的jar包, 测试环境用的es7.8.0下载地址https://jar-download.com/artifacts/org.elasticsearch/elasticsearch-hadoop-hive2,将下载好的jar包elasticsearch-hadoop-hive-7.8.0.jar上传到hdfs中放在存储hive udf的目录下。3,引入jar包先查看已经引入的jar包有哪些list ja..原创 2020-12-03 16:03:15 · 2863 阅读 · 4 评论 -
Cloudera Manager 中角色迁移和配置的一些操作记录
最近大数据集群中有一台节点磁盘坏掉,因为用的aliyun服务器,在考虑现有业务不需要太多的服务器资源,准备下架这台坏掉的服务器,记录一下其中的一些操作1.先需要造的是 zookeeper 因为依赖他的组件必须先能找到健康的它才能干活停掉坏的 server 节点,添加角色添加完后zookeeper必须是奇数台才行,现在删掉那个坏的配置文件过期需要中心这个zookeeper服务这样依赖 zookeeper 的其他服务就得重新部署这个ser...原创 2020-07-21 09:26:30 · 1354 阅读 · 0 评论 -
kylin在build报错10020拒绝链接错误_记录
org.apache.kylin.engine.mr.exception.MapReduceException: Exception: java.net.ConnectException: Call From dxt102/192.168.1.102 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectExceptio...原创 2019-02-28 13:25:42 · 2909 阅读 · 0 评论 -
MapReducer 计算定位时间问题-面试题
/**数据 * userA,locationA,2018-01-01 08:00:00,60 userA,locationA,2018-01-01 09:00:00,60 userA,locationB,2018-01-01 10:00:00,60 userA,locationA,2018-01-01 11:00:00,60 * * 最终结果 user...原创 2019-02-21 15:20:34 · 451 阅读 · 0 评论