- 博客(7)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 分布式系统设计中，通过epoch解决的脑裂问题，那么原来的controller会怎么样？
（纪元）解决脑裂问题的机制，通常涉及在每个节点或分区中引入一个全局递增的版本号或时间戳，用来标识当前的系统状态或主节点。此时，如果原控制器的状态依然是最新的或符合新的规则，它可能再次成为新的控制器。在脑裂问题中，分布式系统中的节点（或副本）因为网络分区等原因无法相互通信，从而导致系统内的不同节点出现状态不一致的问题。机制通过在每次网络分区后引入新的状态，使得旧的控制器失效或退场，避免了多个控制器同时生效而导致系统不一致的情况。开始时，系统可能会自动选出一个新的主控制器，而旧的主控制器由于无法参与新。
2024-08-16 20:57:50
414
原创 Zookeeper相关知识
总的来说，Zookeeper 是一个开源的分布式的，为分布式应用提供协调服务的 Apache 项目。具体来说，Zookeeper是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生了变化，Zookeeper 就负责通知已经在 Zookeeper 上注册的那些观察者做出相应的反应。Zookeeper = 文件系统 + 通知机制。
2024-08-16 11:34:46
327
原创 在测试oracle和sparksql是否连接的时候发现其中一个无法连接，输出none，说明连接失败
报错显示的10001端口无法连接，你可以直接把这个文件里面的sparkHiveHost=spark.bigdata.cn等号后面改为node1（前提是在本地hosts文件里面配置好地址映射），因为这里面的这些spark、hive、oracle等都是存放同一台linux系统里面在不同容器，可以直接使用linux的系统地址。报错情况：这里发现只打印出来oracle的信息，sparksql的信息为none，说明连接失败。第一种：修改你设置oracle、sparksql等连接信息的文件。
2024-08-05 10:43:52
250
原创 Caused by： java.lang.ClassNotFoundException:org.apache.hadoop.hive.conf.hiveConf
原因是缺失jar包，可能是sqoop conf文件的sqoop-env-template.sh里面没有配置相关的hadoop hive zookeeper 的相关环境变量。最后重新执行sqoop的create-hive-table的相关命令显示这样就成功了。进入sqoop的conf文件下找到sqoop-env-template.sh进入。添加相关得到环境变量（注意这里后面的路径取决于你自己hive或者其他的安装路径）
2024-08-03 14:21:47
492
原创 Caused by: java.net.ConnectException: Connection refused (Connection refused)
能够查出已有的数据库（默认你没创建数据库的话只显示default）你在用sqoop查看数据库表的时候报错这样意思是连接被拒绝，可能原因是因为你还没有启动数据库。启动mysql，在你安装mysql的用户下运行该命令。启动：systemctl start mysql。进入：mysql -u root -p。之后在重新执行sqoop命令就可以了。
2024-08-03 13:57:42
318
原创 Required field ‘client_protocol‘ is unset! Struct:TOpenSessionReq(client_protocol:null, configurati
这是因为你DataGrip所要连接的hive的版本和已有的hive驱动不匹配，在hive中用hive -v命令查看hive版本（下面Logging：...apache-hive-2.1.0-bin）下载相应的驱动版本导进DataGrip中。
2024-08-02 16:31:43
258
原创 Caused by: java.io.IOException: Cannot run program “python3“: error=2, No such file or directory解决办法
可以在代码文件开头手动加上环境变量，注意后面的路径为你自己的anaconda3路径下的python3.8（以你自己的python版本为主）报错显示这样是因为午饭找到python3环境变量。
2024-07-26 13:58:07
265
空空如也
jieba库用在rdd算子中出现报错
2024-07-26
TA创建的收藏夹 TA关注的收藏夹
TA关注的人