![](https://img-blog.csdnimg.cn/2019092715111047.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据
大数据
wsx_iot
这个作者很懒,什么都没留下…
展开
-
kafka_2.13-3.4.0安装和使用
【代码】kafka_2.13-3.4.0安装和使用。原创 2024-03-18 13:32:07 · 409 阅读 · 0 评论 -
HBase伪分布式安装
前言已安装Hadoop已安装ZooKeeper编辑hbase-env.shexport JAVA_HOME=/home/wsx/opt/jdk1.8.0_241export HBASE_MANAGES_ZK=false编辑编辑hbase-site.xml<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration> &l原创 2021-05-11 10:45:46 · 143 阅读 · 0 评论 -
Hbase架构
行键设计原则长度越短越好越散列越好唯一Hbase的某表的某一个列族对应一个HFile原创 2021-03-09 07:28:17 · 110 阅读 · 0 评论 -
hadoop伪分布式模式安装
前言安装模式本地模式伪分布式模式完全分布式模式环境jdk 1.8hadoop 2.8.5前提条件已安装jdk,以配置jdk环境变量伪分布式模式安装/etc/profile配置环境变量export HADOOP_HOME=/home/wsx/opt/hadoop-2.8.5export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH${HADOOP_HOME}/etc/hadoop/hadoop-env.sh在文原创 2020-06-17 13:37:19 · 167 阅读 · 0 评论 -
hive本地模式安装
前言三种模式嵌入模式,使用derby作为元数据库本地模式,使用mysql等数据库作为元数据库,与hive安装在同一台机器上远程模式,使用mysql等数据库作为元数据库,与hive安装在不同机器上环境ubuntu 18.04mysql 5.7.30hadoop 2.8.5hive 2.3.7前提条件mysql数据库已安装hadoop已安装,并已经配置好环境变量(hive依赖hadoop)本地模式安装mysql数据库数据库用户名:root数据库密码:root新建一原创 2020-06-17 13:01:27 · 270 阅读 · 0 评论 -
hbase简单分析及其命令
hbase简单分析hbase逻辑模型hbase与RDBMS区别hbase命令创建表名为test,列族名为cf1和cf2的表(两个)(注意创建表必须指定一个列族),下面两个的功能一样create 'test', 'cf1','cf2'create 'test',{NAME => 'cf1'},{NAME => 'cf2'}查看有哪些表list查看list 'test'获取表的信息原创 2017-06-15 09:08:11 · 416 阅读 · 0 评论 -
spark各种算子
transformation(返回值为RDD)mapflatMapfiltermapPartitionsmapPartitionsWithIndexsampleunionsubtractintersectiondistinctreduceByKeygroupByKeyaggregateByKeyfoldByKeycombineByKeysortByKeyjoin...原创 2019-11-18 20:23:45 · 141 阅读 · 0 评论 -
Docker的简单入门
centos安装docker注意 Docker 要求 CentOS 系统的内核版本高于 3.10 ,系统是64位,不然会出问题的yum -y install dockerservice docker startdocker run hello-world如果没有报错说明运行成功docker架构Docker基于Linux容器技术(LXC),Namespace,Cgroup,UnionFS原创 2017-04-29 00:17:52 · 470 阅读 · 0 评论 -
kafka架构
topic有好多partition(存储内容不同),均匀分布在每个broker上每个partition都有好多replica(存储内容相同),原partition称为leader,replica称为follower原创 2020-01-02 19:52:50 · 214 阅读 · 0 评论 -
hbase集群配置及运行
前言三台centos,一台master,两台slave默认已经配置好zookeeper,hadoopjava与hbase版本兼容表hadoop与hbase版本兼容表对于三台机器,编辑/etc/hosts,在最后加上下面几句话10.61.8.247 master.wsxiot.cn10.61.8.245 slave1.wsxiot.cn10.61.8.246 slave2.wsx...原创 2019-07-05 16:14:36 · 271 阅读 · 1 评论 -
kafka集群配置及运行
前言三台centos版本kafka_2.11-2.2.1已提前配置好zookeeper,配置博客三台机器均修改配置文件${KAFKA_HOME}/config/server.properties#broker的全局唯一编号,三台机器不能重复,master为0,slave1为1,slave2为2broker.id=0#zookeeper列表zookeeper.connect=ma...原创 2019-07-02 21:51:46 · 339 阅读 · 0 评论 -
hadoop2.9.2集群配置及运行
前言hadoop版本为2.9.2oracle java 1.8三台centos7官方文档每台机器上/etc/hosts最后添加10.61.8.247 master.wsxiot.cn10.61.8.245 slave1.wsxiot.cn10.61.8.246 slave2.wsxiot.cn每台机器上配置hadoop环境变量并重启export HADOOP_HOME=/...原创 2019-07-02 21:28:10 · 1546 阅读 · 0 评论 -
zookeeper基础入门
前言配置安装版本:apache-zookeeper-3.5.5-bin.tar.gz三台centos7的计算机,目标搭建全分布式zookeeper集群官方集群搭建文档Install the Oracle Java JDK.Set the Java heap size.Install the ZooKeeper Server Package.在${ZK_HOME}/conf/ 目录...原创 2019-06-22 21:56:46 · 181 阅读 · 0 评论 -
centos7虚拟机离线安装HDP
实验环境一台主机:win7三台虚拟机:centos7,一台为master,另外两台为slave约定:为了避免错误,所有操作均使用root用户准备安装包ambari-2.6.0.0-centos7.tar.gzHDP-2.6.3.0-centos7-rpm.tar.gzHDP-UTILS-1.1.0.21-centos7.tar.gzjdk-8u112-linux-x64.ta...原创 2019-02-25 09:55:19 · 879 阅读 · 0 评论 -
centos中mpich的安装及使用
安装(腾讯云centos 6.5 64位)yum install mpich2 mpich2-devel mpich2-docwhich mpicc 发现找不到该命令find / -name "mpich" 然后会找到mpich的目录,可能会有好几个,有bin的那个就是我们要找的目录cd ~vi .bashrc在后面加上MPI_ROOT=/usr/lib64/mpich export P原创 2017-04-29 08:33:03 · 12251 阅读 · 0 评论