- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 大数据集群安装（三）Hadoop Apache集群安装部署 详细 （包括环境准备和Zookeeper安装）
本次测试3台集群（node1（192.168.1.2）,node2（192.168.1.4）,node3（192.168.1.6）），所有的主服务都安装在node1节点，操作系统为CentOS7.61.环境准备参考博客：https://blog.csdn.net/qq_35260875/article/details/1113151102.安装Zookeeper参考博客：https://blog.csdn.net/qq_35260875/article/details/111322...
2020-12-24 11:40:13
222
原创 大数据集群安装（二）Zookeeper Apache集群安装部署 步骤简单
本次测试3台集群（node1（192.168.1.2）,node2（192.168.1.4）,node3（192.168.1.6）），所有的主服务都安装在node1节点，操作系统为CentOS7.61.环境准备参考博客：《大数据集群安装（一） Linux环境准备 步骤简单 详细》https://blog.csdn.net/qq_35260875/article/details/1113151102.下载Zookeeper（1）下载下载地址：https://arc...
2020-12-17 19:45:36
164
原创 大数据集群安装（一） Linux环境准备 步骤简单 详细
本次测试3台集群（node1（192.168.1.2）,node2（192.168.1.4）,node3（192.168.1.6）），所有的主服务都安装在node1节点，操作系统为CentOS7.61.设置语言和时区（1）设置默认语言每个节点都要设置echo $LANG默认语言为en_US.UTF-8，则跳过。默认语言非en_US.UTF-8，则执行以下步骤：echo 'export LANG=en_US.UTF-8' >> ~/.bashrc重新登录当前会..
2020-12-17 15:46:32
360
3
原创 Hive 压缩种类介绍 常用压缩参数 hive.exec.compression.intermediate 中间压缩 压缩优化
1.Hive压缩尽管Hadoop的文件系统支持对于非压缩数据的线性扩展存储，但是对数据进行压缩还是有很多好处的。压缩通常能节约磁盘空间。压缩同样可以增加吞吐量和性能。压缩和解压缩会增加额外的CPU开销，不过，通过减少载入内存的数据量而提高I/O吞吐量会更加提高网络传输性能。Hadoop的job通常是I/O密集型而不是CPU密集型的。如果是这样的话，压缩可以提高性能。不过如果用户的job是CPU密集型的话，那么使用压缩可能会降低执行性能。确定是否进行压缩的唯一方法就是尝试不同的选择，并测量对...
2020-12-13 17:01:31
2800
5
原创 Hive 常用的DDL语句大全 建库建表 详细
1.创建库（1）语法结构CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] //关于数据块的描述 [LOCATION hdfs_path] //指定数据库在HDFS上的存储位置 [WITH DBPROPERTIES (property_name=property_value, ...)]; //指定数据块属性默认地址：/use...
2020-12-10 19:21:37
3278
2
原创 Linux命令 多种方式更改和查看系统的主机名hostname
1.设置主机名（1）hostnamectl# 设置新的主机名命令hostnamectl set-hostname<新的主机名>这条命令会删除/etc/hostname文件中的主机名，然后替换为新的主机名。（2）配置/etc/hosts# 主机添加一行包含主机IP地址与完整主机名的信息vi /etc/hosts内容如下：127.0.0.1 localhost localhost.localdomain localhost4 localhos...
2020-12-01 20:14:04
989
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人