大数据
文章平均质量分 84
阿松0311
这个作者很懒,什么都没留下…
展开
-
理解hive中的分区(转载)
hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段,而是一个或者多个伪列。意思是说在表的数据文件中实际上并不保存分区列的信息与数据。 下面的语句创建了一个简单的分区表: create table partition_test (member_id string, name string ) partitioned by ( stat_dat...转载 2021-02-12 11:37:48 · 519 阅读 · 0 评论 -
本地IDEA打包wordcount jar包上传至服务器并使用docker完全分布式运行
工具:xshell,ubuntu虚拟机20.04,docker,IDEA2020.3准备:一、xshell能够链接上虚拟机虚拟机使用桥接模式,并在终端配置静态ip#注意ubuntu18.04后不是在/etc/networks/interfaces里配置cd /etc/netplanvim xxx.yaml#配置静态ipnetwork: version: 2 renderer: NetworkManager ethernets: ens33: #网卡名 , 冒号后要加空格,同原创 2020-12-27 16:25:54 · 311 阅读 · 0 评论 -
ubuntu虚拟机+docker+hadoop完全分布式环境搭建
环境win10+ubuntu-20.04虚拟机初衷使用vm虚拟机模拟多节点实现hadoop完全分布式搭建实在过于消耗资源,正好学习到docker,就想着尝试使用docker容器来模拟多个节点,同时又可以节省资源,于是上网搜索了一下,果然有案例,索性直接上手。只需要一个虚拟机,安装Linux其中一个发行版即可,推荐ubuntu,维护完善且社区活跃。步骤1. 安装Ubuntu虚拟机这个当然是必备啦,docker目前对于windows还不是很友好,而日常又使用windows系统,于是装个虚拟机就解决咯原创 2020-12-25 11:04:50 · 1421 阅读 · 0 评论