- 博客(24)
- 问答 (2)
- 收藏
- 关注
原创 Hive的数据存储
其他user想要访问Hive的数据存储(HDFS的:/user/hive/warehouse中),hive用户代理实现的。Hive的数据存储在HDFS的:/user/hive/warehouse中。也就是说相当于Hive在hdfs中创建了一个叫hive的user。
2024-03-06 12:56:22
462
原创 linux后台启动命令
后台启动:nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &
2024-03-06 11:40:37
450
原创 Hadoop proxy user
简单说,就是当一个在上述配置文件中的user(针对上述配置文件来说,是任意user),试图利用Hive去和Hadoop产生交互时(例如对HDFS中的表进行查询),Hive就会利用proxy user(针对上述配置文件来说,是hadoop)来impersonate或act on behalf of 这个user来实现和Hadoop的交互,而无需作为这些用户进行身份验证。Hive 的运行依赖于 Hadoop ( HDFS 、 MapReduce 、 YARN 都依赖),同时涉及到 HDFS 文件系统的访问。
2024-03-05 23:26:58
1103
原创 Ubuntu系统的包安装流程【基于安装mNetAssist报错的总结和经验】
【代码】Ubuntu系统的包安装流程【基于安装mNetAssist报错的总结和经验】
2024-02-23 19:07:23
500
原创 python基础
2.列表嵌套:有3个教室[[], [], []],8名讲师[‘A’, ‘B’, ‘C’, ‘D’, ‘E’, ‘F’, ‘G’, ‘H’],将8名讲师随机分配到3个教室中。1.幸运数字6:输入任意数字,如数字8,生成nums列表,元素值为1~8,从中选取幸运数字(能够被6整除)移动到新列表lucky,打印nums与lucky。注意:shuffle()是不能直接访问的,需要导入 random 模块,然后通过 random 静态对象调用该方法。序列支持切片,即:列表、元组、字符串,均支持进行切片操作。
2024-02-21 22:16:53
535
原创 Hive comment中文乱码解决
由于hive底层的运行机制,即把元数据存储在MySQL中,但是MySQL的默认编码是支持Latin1的编码,不支持中文编码。数据库hive中的表就存储了hive的各种元数据信息。首先就是进入MySQL。
2024-02-20 22:51:53
536
原创 Hive的一系列启动命令
• 会基于 yarn-site.xml 中配置的 yarn.resourcemanager.hostname 来决定在哪台机器上启动 resourcemanager。• 读取 core-site.xml内容( fs.defaultFS 项),确认 NameNode所在机器,启动 NameNode。• 读取 workers 内容,确认 DataNode 所在机器,启动全部 DataNode。• 启动客户端,二选一(当前先选择 Hive Shell 方式)• 启动元数据管理服务(必须启动,否则无法工作)
2024-02-20 22:32:14
870
原创 win11使用过程中的一些小点记录
为什么bandzip打开压缩包然后再解压速度比直接右键全部解压要快得多?为什么配置了环境变量后,要重启才能生效?
2024-01-29 14:38:12
332
原创 记安装tldr的一次经历
我又去网址把它下下来拷贝到对应文件夹,他又报上一个错…我复制它,到google搜,进了个类似错误的网页。暂时就这么多,想不起其他的了,当时感悟还挺多的。来配置淘宝镜像,仍然失败,还是报错一大篇。然后我尝试了该命令,等了一会,终端输出。----还是没用,报错git访问不了。2023年12月15日00点47分。由于tldr还是报错,期间参考了。安装,但是仍然失败,报错一大篇。----没用,换了另一个错报。实在没办法了,我就重启虚拟机。卸载重装了几次,还是不行。回忆了管道+grep用法。,都没用,一直报一个错。
2023-12-15 00:48:00
287
3
原创 主机锁屏后 vmware虚拟机卡顿
但是我尝试在出现卡顿时,在VMware对虚拟机进行挂起,再恢复之后,虚拟机恢复正常。尝试了上述第一个博客的。
2023-12-14 17:38:58
280
1
原创 Ubuntu VMware tools安装 报错Segmentation fault (core dumped)
【Ubuntu安装VMware tools】Segmentation fault (core dumped)
2023-12-14 15:44:35
845
1
原创 安装vmware tools灰色
按照上述博客的操作后,进入Ubuntu虚拟机还是看不到VMware Tools。最后发现是VMware窗口右下角第二个图标,没有打开。
2023-12-14 15:43:08
344
1
原创 Ubuntu git clone报错Failed to connect to github.com port 443: Connection refused
但是当我对上述博客提到的操作,进行逆操作后(即恢复原来的没修改的情形后)按照上面的博客操作了还是报错。再次clone,居然成功了。
2023-12-14 12:59:25
669
1
空空如也
pat乙级1005测试点1,3,4答案错误
2021-09-17
TA创建的收藏夹 TA关注的收藏夹
TA关注的人