- 博客(21)
- 收藏
- 关注
RSS订阅原创 hive遇到的报错
yarn资源不足，修改hadoop配置文件yarn-site.xml，参数不固定。hadoop版本与hive版本不兼容，建议查一下兼容表确认。，在运行sql命令前设置参数，参数不固定，根据自身需要修改。修改配置文件yarn-site.xml ，参数不固定。在运行sql命令前运行以下命令。在运行sql命令前运行以下命令。
2024-03-24 01:51:40
144
1
原创 更改Jupyter Notebook (Anaconda)保存位置
6、找到对应的“Jupyte Notebook”快捷图标，鼠标右击 – 属性 – 目标，去掉后面的 “%USERPROFILE%/”（很重要），然后点击“应用”，“确定”找到 #c.NotebookApp.notebook_dir = ‘’，去掉该行前面的“#”；再将新的路径设置在单引号中，保存配置文件。3、根据上面运行处的路径打开jupyter_notebook_config.py文件，用记事本方式打开。5、在开始菜单找到“Jupyte Notebook”快捷键，鼠标右击 – 更多 – 打开文件位置。
2024-03-23 21:06:44
360
1
原创 Anaconda
解决：在cmd或Anaconda Prompt (Anaconda)中输入以下命令。启动jupyter notebook闪退。
2024-03-23 15:56:15
107
1
原创 普通用户赋权和Hadoop的web端删除文件失败
在%wheel ALL=(ALL) NOPASSWD:ALL 下面加入zpark ALL=(ALL) NOPASSWD:ALL(选做）在root ALL=(ALL) ALL下面加入zpark ALL=(ALL) ALL。使用这条命令hadoop fs -chmod -R 777 /%wheel ALL=(ALL) ALL 将%去掉。进入/etc/sudoers。
2024-03-21 00:03:10
227
1
原创 Hadoop部署
链接：https://pan.baidu.com/s/1D3gX3juDmbLC5Z0eUmExnQ。链接：https://pan.baidu.com/s/12AYg3O4Gdoq7Bd_yrJk_XQ。在master主机上将jdk和Hadoop文件分发到从机（slave1、slave2）vi 进入/etc/profile文件中添加以下内容。jdk和Hadoop安装包下载。分发完后对三台虚拟机进行刷新。
2024-03-19 22:50:52
182
1
原创 Idea打包：scala打成jar包
file > project Structure > Artifacts > + > jar > from modules..... >OK (什么都不用选，直接OK） > 相关依赖包全删，留一个即可。在工具栏找到Build > Build Artifacts > build。scp /本地/文件/路径 用户名@服务器IP地址:/服务器/目标/路径。在底部找到Terminal在这里输入上传命令。
2024-03-01 16:19:48
690
1
原创 idea连接hive数据库运行代码时出现的问题
idea连接hive时重新打开一个页面运行启动 hiveserver2。插入数据报错（insert into)
2024-02-15 21:21:40
172
1
原创 clickhouse安装部署
将clickhouse-client-22.2.2.1.tgz clickhouse-common-static-22.2.2.1.tgzclickhouse-server-22.2.2.1.tgz 上传到/opt/software将clickhouse-client-22.2.2.1.tgzclickhouse-server-22.2.2.1.tgz 解压到/opt/module。
2024-02-01 13:58:48
448
1
原创 Azkaban安装部署
链接：https://pan.baidu.com/s/1x48MkCJFewLH9nrH6vRisw。将azkaban-exec-server-3.84.4 修改成azkaban-exec。将文件上传到/opt/software azkaban-db-3.84.4.tar.gz。将azkaban-web-server-3.84.4修改成 azkaban-web。创建azkaban用户，任何主机都可以访问azkaban,密码是123456。设置密码有效长度4位及以上。测试之前先关闭防火墙。
2024-01-30 14:37:25
611
1
原创 Hadoop上传文件到hdfs时出现问题
进入Hadoop目录下的cd/opt/module/hadoop/sbin中，使用./stop-all.sh将集群关闭，再通过./start-all.sh启动Hadoop集群。（1）将Hadoop安装目录下的cd/opt/module/hadoop/tmp/dfs/data中的current文件删除。（3）使用jps查看集群,就可以看到datanode已经启动。（2）使用start-all.sh重启Hadoop集群。
2024-01-29 22:30:52
477
2
原创 windows版MySQL连接不上
在显示框空白处点击右键出现选择框，找到任务管理器，点击进入找到服务，往下划找到MySQL，查看状态是否是启动状态，如果是停止状态，我们将它启动即可打开第三方工具进行连接即可
2023-12-20 09:53:13
140
1
原创 idea连接虚拟机中的MySQL
打开idea，找到database——>点击十字架——>点击Data Source——>找到MySQL 点击进入——>输入要连接的IP地址 ——>root用户和mysql的密码——>进行对MySQL连接测试。测试显示连接失败，可能是防火墙没有关，将防火墙关闭后，再连一次。首先进入VMware 打开安装有MySQL的虚拟机。
2023-12-19 18:49:08
911
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人