- 博客(8)
- 收藏
- 关注
RSS订阅原创 hive3.1.2的详细安装配置
因为hive3.1.2中的有些jar包和比hadoop版本中的jar包版本低，所以我们需要进行一个jar包的替换，把hive中的/hive/lib中的guava-19.0.jar包改名为guava-19.0.jar.bak并从/hadoop-3.1.3/share/hadoop/common/lib中把guava-27.0-jre.jar复制到hive的lib目录下，并把log4j-slf4j-impl-2.10.0.jar文件改名，因为文件冲突问题。-- 指定hiveserver2连接的host -->
2024-08-09 15:07:46
1024
原创 配置节点服务器间SSH免密登录与Hadoop的集群配置
需要在hadoop102节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。-rw-rw-r--. 1 atguigu atguigu 1048583 5月 23 16:01 blk_1073741836_1012.meta。
2024-08-07 18:04:55
1036
原创 Hadoop集群启停脚本：3个集群节点
echo " =================== 启动 hadoop集群 ==================="echo " =================== 关闭 hadoop集群 ==================="echo " ====================重启 hadoop集群 ==================="echo " =================== 关闭 hadoop集群 ==================="
2024-08-06 12:00:00
801
原创 Sqoop在mysql和hadoop互导的时候发生报错分析：
其中hive中的字符集为utf-8，但是mysql中默认的字符集为utf8mb4 ，这个字符集是utf-8的扩展类，但是和utf-8不互相兼容，这个字符集能够接受的字符数为4个utf-8的字符数为3个，需要更改mysql中的字符集为utf8mb3，MySQL中的这个字符集是和utf-8相对应。这个是你当时搭建伪分布或者分布式环境的时候发生的报错内容，主要原因还是你的yarn-site.xml和mapread-site.xml文件没有进行相应的配置这时候你需要打开你的hadoop文件配置界面进行重新配置。
2024-08-05 13:21:49
1346
原创 Docker笔记之镜像image操作相关命令
docker image 的增删改查（拉取镜像）导入导出相关命令笔记根据自docker技术入门与实战进行总结
2024-08-04 23:06:41
1181
原创 Linux分发脚本xsync
可以用于备份本地文件到远程服务器，或将远程服务器上的文件同步到本地，也可以将多个服务器上的文件同步到一个中心服务器上。用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。命令 递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称。命令 选项参数 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称。-v: 显示复制过程。会显示出相关的全局环境变量生效的路径目录，其中有一个是。命令在远程主机之间复制文件，也可以从本地主机向远程主机复制文件。
2024-08-02 17:31:48
886
原创 从零入门 AI 逻辑推理baseline代码解释
定义函数api_retry，尝试调用 API，最多重试 5 次，每次重试间隔 60 秒。若调用失败，记录日志并等待一段时间后重试。try:else:raise# 这里采用dashscope的api调用模型推理，通过http传输的json封装返回结果else:定义一个函数，检查问题列表中是否包含完整答案。定义一个函数，过滤并合并数据，确保每个问题都有完整的答案。
2024-07-28 20:05:58
958
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人