随笔
zhang_z_j
这个作者很懒,什么都没留下…
展开
-
Spark
文章目录Apache Spark环境搭建准备工作安装SparkSpark程序开发依赖WordCount提交Jar包本地模拟Spark RDD创建方式集合文件系统RDBMSHBase容错算子Transformation**map**(*func*) √**filter**(*func*) √**flatMap**(*func*) √**mapPartitions**(*func*) √**mapPa...原创 2020-01-25 13:12:59 · 233 阅读 · 0 评论 -
Kafka
搭建 准备工作 分布式集群中时钟同步 JDK1.8以上 ZooKeeper集群服务运行正常 安装 [root@Kafka0* ~]# tar -zxf kafka_2.11-2.2.0.tgz -C /usr 环境 修改kafka核心配置文件server.properties [root@Kafka01 kafka_2.11-2.2.0]# vi config/server.pr...原创 2019-11-21 21:41:47 · 106 阅读 · 0 评论 -
Hive
操作 创建表 create table t_user( id int, name string, sex boolean, birthDay date, salary double, hobbies array<string>, card map<string,string>, address struct<country:string...原创 2019-11-21 21:00:03 · 190 阅读 · 0 评论 -
HBase
操作 shell 命名空间操作 # 创建一个普通的命名空间 hbase(main):006:0> create_namespace "zzj" # 创建带属性的命名空间 hbase(main):007:0> create_namespace "shahe",{'subway'=>'bj'} #删除命名空间 hbase(main):001:0> drop_namespac...原创 2019-11-21 20:31:26 · 231 阅读 · 0 评论 -
Hadoop
HDFS安装(伪集群) 准备物理虚拟机一台 版本:CentOS7 配置网络 # 如果需要配置双网卡,需要添加网卡硬件支持 vi /etc/sysconfig/network-scripts/ifcfg-ens33 1. 将ip的分配方式改为static 2. 添加 IPADDR=静态IP地址 3. 添加 NETMASK=255.255.255.0 4. 网卡开机自启动 ONBOOT=...原创 2019-11-12 22:34:33 · 248 阅读 · 0 评论 -
MongoDB
基本安装 yum安装(rpm) vi /etc/yum.repos.d/mongodb-org-3.4.repo [mongodb-org-3.4] name=MongoDB Repository baseurl=https://repo.mongodb.org/yum/redhat/$releasever(这里填写系统版本)/mongodb-org/3.4/x86_64/ gpgcheck=1...原创 2019-11-12 20:53:18 · 608 阅读 · 0 评论