- 博客(10)
- 收藏
- 关注
RSS订阅原创 Apache Hive学习笔记1
分布式SQL计算平台Hive：将SQL语句翻译成MapReduce程序运行 分布式SQL计算的能力用户只编写sql语句Hive自动将sql转化为MapReduce程序并提交运行处理位于HDFS上的结构化数据需要：1.元数据管理功能：SQL解析器数据位置数据结构等对数据进行描述2.SQL解析器：SQL分析，SQL到MapReduce程序转换，提交MapReduce程序运行并收集结果。
2023-09-16 20:51:06
60
1
原创 Hadoop学习笔记3
默认256MB如丢失了某个块，导致文件不完整-> 通过多个副本解决（备份）设置，默认文件上传到HDFS中拥有的副本数量：hdfs-site.xml属性默认是3，除非需要特殊设置，不需要修改上传文件的时候，临时决定上传以多少个副本存储查看副本数Block配置：块大小可以通过参数，默认设置是256MB一个，一个1G的文件会被划分为4个block存储。
2023-09-14 16:40:29
53
1
原创 Hadoop学习笔记2
Linux中的超级用户是rootHDFS文件系统中的超级用户：是启动的用户修改所属用户和组：hdfs dfs -chown [-R] root:root / xxx.txt修改权限：hadoop fs -chmod [-R] 777 /xxx.txt。
2023-09-14 14:47:25
35
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人