大数据
文章平均质量分 67
LQ smile
这个作者很懒,什么都没留下…
展开
-
hbase基础的优化
1.允许在HDFS的文件中追加内容hdfs-site.xml、hbase-site.xml属性:dfs.support.append解释:开启HDFS追加同步,可以优秀的配合HBase的数据同步和持久化。默认值为true。2.优化DataNode允许的最大文件打开数hdfs-site.xml属性:dfs.datanode.max.transfer.threads解释:HBase一般都会同一时间操作大量的文件,根据集群的数量和规模以及数据动作,设置为4096或者更高。默认值:40963.优化延原创 2021-04-22 15:22:57 · 106 阅读 · 0 评论 -
Hbase搭建(单机和集群)Hmaster高可用
1.上传jdk,hadoop,zookeeper,hbase压缩包2.解压到/usr/local目录下3.配置jdk,hadoop,zookeeper,hbase环境变量4.搭建hadoop集群5.搭建zookeeper集群6.更改Hbase配置1.修改hbase-env.sh配置cd /usr/local/hbase-2.0.5/confvim hbase-env.sh修改jdk路径export JAVA_HOME=/usr/local/jdk1.8.0_201是否运用hb原创 2021-04-19 16:01:57 · 636 阅读 · 0 评论 -
Hive搭建
安装mysql(此处用docker,没用安装包),hadoop,hive,jdk,mysql驱动包关闭防火墙修改主机名和ip映射关系生成密钥ssh-keygen -t rsa配置密钥ssh-copy-id hive (单机发给自己)上传压缩包hive-1.1.0-cdh5.7.0.tar.gzhadoop-2.6.0-cdh5.7.0.tar.gzjdk-8u201-linux-x64.tar.gzmysql-connector-java-5.1.27-bin.ja原创 2021-04-02 19:01:14 · 103 阅读 · 0 评论 -
hadoop HA分布式集群搭建
集群规划:# 说明:# 关闭防火墙firewall-cmd --statesystemctl stop firewalld.servicesystemctl disable firewalld.service安装步骤:1.依次修改七台主机Linux主机名vim /etc/hostnameweekend012.依次配置七台主机ip域名映射vim /etc/hosts192.168.88.51 weekend01192.168.88.52 weekend02192.168.88.53原创 2021-03-21 17:48:31 · 138 阅读 · 0 评论 -
hadoop伪分布搭建 hadoop集群搭建
hadoop搭建一、 配置jdk环境tar -zxvf jdk-8u201-linux-x64.tar.gz -C /usr/local配置环境变量vim /etc/profileexport JAVA_HOME=/usr/local/jdk1.8.0_201export PATH=$PATH:$JAVA_HOME/bin生效环境变量source /etc/profile测试jdkjava -version二、上传hadooptar -zxvf hadoop-2.6.0-原创 2021-03-07 13:41:19 · 193 阅读 · 0 评论