- 博客(26)
- 收藏
- 关注
RSS订阅原创 启动Kafka服务
启动Kafka服务启动Kafka服务之前要先启动zookeeper集群服务启动zookeeper集群服务的两种方法：1.在三台节点依次输入zkServer.sh start2.通过一键启动脚本启动zookeeper集群服务cd /export/mkdir scriptcd script/ for host in hadoop01 hadoop02 hadoop03do ssh root@$host "/export/servers/zookeeper-3.4.10/bin/
2021-06-15 23:58:16
713
2
原创 Kafka集群部署
Kafka集群部署上传安装包cd /export/software/rzls解压tar -zxvf kafka_2.11-2.0.0.tgz -C /export/servers/查看cd /export/servers/ls修改配置文件cd kafka_2.11-2.0.0/cd config/lsvi server.propertiesbroker.id=0log.dirs=/export/data/kafka/zookeeper.conne
2021-06-15 23:53:24
130
原创 Dateset对象的创建
Dateset对象的创建环境准备：打开Hadoop01，Hadoop02，Hadoop03开启Hadoop环境start-dfs.shstart-yarn.shspark的开启cd /export/servers/spark/bin/spark-shell --master local[2]一、 Dateset对象的创建1.从txt文件创建DataSetval personDs=spark.createDataset(sc.textFile("/spark/person.t
2021-06-13 23:19:58
354
3
原创 DataFrame的创建与常见操作
环境准备：打开Hadoop01，Hadoop02，Hadoop03开启Hadoop环境start-dfs.shstart-yarn.sh注意：要查看一下spark/conf下的那个spark-env.sh文件有没有整合hdfs，一定要整合，不然待会下面运行时会报找不到路径的错误解决方法：到spark/conf目录下修改spark-env.sh文件，整合hdfscd spark/conf/vi spark-env.sh添加：export HADOOP_CONF_DIR=/ex
2021-06-09 23:39:38
767
4
原创 虚拟机安装(十二)|环境搭建--Spark HA集群部署
十二、Spark HA集群部署1. 修改spark-env.sh配置文件进去spark-env.sh目录后，把原先的export SPARK_MASTER_HOST=hadoop01用#注释掉，并添加vi spark-env.shexport SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER-Dspark.deploy.zookeeper.url=hadoop01:2181,hadoop02:2181,hadoop03
2021-06-06 08:07:22
124
原创 虚拟机安装(十一)|环境搭建--Spark集群安装部署
十一、Spark集群安装部署1. 下载spark安装包2. 解压spark安装包进入到/export/software/目录下cd /export/software/上传spark-2.3.2-bin-hadoop2.7.tgzrz查看ls解压安装包tar -zxvf spark-2.3.2-bin-hadoop2.7.tgz -C /export/servers/进入解压后的目录cd /export/servers/查看ls重命名mv spark-2.
2021-06-06 08:07:06
1112
原创 虚拟机安装(十)|环境搭建--在Linux下安装Scale
十、在Linux下安装Scale进入/export/software/目录下cd /export/software/上传安装包scala-2.11.8.tgzrz查看安装包ls解压到/export/servers/目录下tar -zxvf scala-2.11.8.tgz -C /export/servers/进到/export/servers/目录下cd /export/servers/查看ls配置环境变量vi /etc/profile添加export
2021-06-06 08:06:48
635
原创 虚拟机安装(九)|环境搭建--HBase集群部署
九、HBase集群部署9.1 安装HBase软件1.上传HBasecd /export/softwarerzls2. 解压HBasetar -vxzf hbase-1.2.1-bin.tar.gz -C /export/servers/查看cd /export/servers/ls9.2 修改配置文件1.将/Hadoop-2.7.4/etc/hadoop目录下的hdfs-site.xml和core-site.xml配置文件复制到/hbase-1.2.1/conf目
2021-06-05 23:10:35
450
2
原创 虚拟机安装(八)|环境搭建-- Zookeeper分布集群部署
八 、Zookeeper分布集群部署8.1 安装Zookeeper上传zookeepercd /ezport/software/rz2. 解压zookeepertar -zxvf zookeeper-3.4.10.tar.gz -C /export/servers/8.2 配置Zookeeper相关配置跳转到解压目录下conf文件cd /export/serverslscd zookeeper-3.4.10/lscd conf/ls2. 复制zoo
2021-06-05 22:54:27
199
原创 虚拟机安装(七)|环境搭建--测试Hadoop集群-单词统计
七、 测试Hadoop集群-单词统计1. Ip映射进入到Windows/System32/drivers/etc目录下打开hosts文件添加192.168.121.134 hadoop01192.168.121.135 hadoop02192.168.121.136 hadoop032. 关闭防火墙三个服务器都关闭防火墙和关闭开机启动service iptables stop检查chkconfig iptables off3. 再次启动hdfs和yarn进程start-
2021-06-05 22:40:07
283
原创 虚拟机安装(六)|环境搭建--Hadoop的集群和开启及关闭
六、Hadoop的集群和开启及关闭6.1 单节点逐个启动和关闭主节点输入命令运行脚本启动进程：hadoop-daemon.sh start namenode2. 启动从节点进程：hadoop-daemon.sh start datanode查看java相关的进程在hadoop02和hadoop03也执行命令开启hdfs从节点3. 在主节点上启动yarn的主节点和从节点在hadoop02和hadoop03也执行命令开启yarn从节点4. 在hadoop02运行
2021-06-05 22:17:47
373
原创 虚拟机安装(五)|环境搭建--格式化文件系统
五、格式化文件系统5.1 格式化在hadoop的任何一个目录下都可以运行命令：hdfs namenode -format或hadoop namenode -format注意：格式化文件系统只在第一次启动hdfs集群时执行
2021-06-05 21:59:23
517
原创 虚拟机安装(四)|环境搭建--Hadoop集群部署
四、Hadoop集群部署4.1 JDK安装1 安装rlzsz软件使用命令挂载光盘：mount /dev/cdrom /mnt打开：/mnt/Packagescd /mnt/Packages安装软件: lrzsz-0.12.20-27.1.el6.x86_64.rpmrpm –ivh lrzsz-0.12.20-27.1.el6.x86_64.rpm2 JDK安装跳转到安装目录上传cd /export/software/rz3. 解压和重命名解压命令：tar -zx
2021-06-05 21:53:45
148
原创 虚拟机安装(三)|环境搭建--SSH服务配置
三、SSH服务配置3.1查看安装并开启SSH服务通过命令安装SSH：yum install openssh-server命令行输入rpm –qa | grep ssh查看是否安装SSH启动SSH服务ps –e | grep sshd使用Xshell工具远程连接服务器打开文件-新建在连接中填写主机号，端口号选择22...
2021-06-05 21:21:31
4351
原创 虚拟机安装(二)|环境搭建--网络配置
二、网络配置2.1 修改虚拟机网络配置查看VMware服务是否都在运行打开虚拟机-编辑-虚拟网络编辑器，选择NAT模式点击更改设置-将子网IP改成192.168.121.0打开NAT设置，将网关改成192.168.121.2打开DHCP设置，设置起始IP和结束IP2.2修改Windows网络配置打开“网络和Internal”配置，打开以太网，更改适配器选项选择VMnet8-属性-IPv4协议属性修改2.3配置主机名1.将复制的hadoop02和hadoop03的主
2021-06-05 18:36:30
164
原创 虚拟机安装(一)|环境搭建--前置：安装vmware
虚拟机安装(一)前置：安装vmware1.1安装虚拟机-Linux点击新建虚拟机，选择自定义虚拟机兼容性默认即可客户机操作系统选择稍后安装操作系统选择客户机操作系统选择Linux，版本我选择了Red Hat Enterprise Linux 6 64位选择虚拟机位置和名称处理器配置把每个处理器的内核数量改为2设置虚拟机内存使用NAT网络控制器类型选择推荐磁盘类型选择推荐创建新虚拟磁盘磁盘容量大小50GB（要大一些，不然集群处理时因磁盘太小进入安全模式）
2021-06-05 18:19:59
223
原创 Redis列表、集合、散列、有序集合操作Java代码实现
Redis列表、集合、散列、有序集合操作Java代码实现import java.util.List;import redis.clients.jedis.Jedis;public class Main { public static void main(String[] args) { System.out.println("hello start"); Jedis jedis = new Jedis(); /* * LPUSH LANGE LINDEX RPOP LPOP
2021-06-05 17:48:59
197
原创 执行 source /etc/profile 报错
执行 source /etc/profile 报：-bash: expor: command not found -bash: rt: command not found出现了这种问题主要是配置里少写了一个t 【od 解决 一般问题都在export path这】使用vi /etc/profile，查看export是否完整，因为复制的时候可能只剩下expor或者rt，这时需要将它们补充完整，保存退出，再重新执行source /etc/profile就可以了vi /etc/profilesourc
2021-06-01 11:25:17
2067
原创 Redis列表、集合、散列、有序集合操作命令
Redis列表、集合、散列、有序集合操作列表操作命令存储值左端存值语法：lpush key value [value …]lpush list lily sandy右端存值语法：rpush key value [value …]rpush list tom kitty索引存值语法：lset key index valuelset list 3 uto弹出元素左端弹出语法：lpop key右端弹出语法：rpop keyrpop list获取元素个数语法：llen
2021-04-27 12:33:47
93
原创 Windows搭建MongoDB分片以及复制集
Windows搭建MongoDB分片以及复制集首先安装好MongoDB，我的安装目录为：D:\software\MongoDB\Server\3.4\bin 安装之前，先创建好所需的目录，由于我只部署了一个分片（rs-a），分片包含三个复制集，2个配置服务器复制集、一个路由服务器，因此对应的数据目录如下：同时创建log日志目录：D:\software\MongoDB\data\log下面开始部署配置分片复制集创建实例命令行窗口进入bin目录下，使用如下命令(三个命令行窗口)
2021-04-26 15:20:08
254
原创 Java连接操作Redis
Java连接操作Redisimport java.util.Arrays;import java.util.Set;import redis.clients.jedis.Jedis;public class Main { public static void main(String[] args) { // 连接redis Jedis jedis = new Jedis(); // set get /* * jedis.set("name", "张三");
2021-04-26 00:57:34
70
原创 Redis数据库
Redis数据库安装Redis数据库我的安装路径：G:\radis\Redis-x64-5.0.10打开redis-server.exe打开radis-cli.exe并ping它Resdis数据库连接成功Resdis数据库简单命令getsetkeys *msetmgetdumpexiststyperenameexpirettlpersistdelgetsetstrlensetrangeappend...
2021-04-26 00:52:55
100
原创 Java访问GirdFS
Java访问GirdFS首先在libs中添加mongo-driver.jar包 右键add to build path之后再写代码 测试文件的上传和下载import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;import org.bson.D
2021-04-20 12:01:13
80
原创 MongoDB GridFS框架
MongoDB GridFS框架GridFS基本操作1.打开cmd,输入mongofiles2.把要执行的文件（GridFS存储.ppt）放到C:\Users\Administrator路径下3.上传文件mongofiles -d gridfs put GridFS存储.ppt4.查看文件信息先切换到mongo,在命令行输入mongo,回车切换到gridfsuse gridfsdb.fs.files.find()5.查看块信息db.fs.chunks.find().
2021-04-20 11:42:42
90
原创 MongoDB副本集
**MongoDB副本集**副本集将4.2文件夹复制三份在C盘下面建一个data文件夹在里面创建3个db文件夹 3个log文件夹启动Master1.启动路径：C:\Program Files\MongoDB\Server\master\bin1.启动命令：mongod -port 27111 -dbpath C:\data\masterdb -logpath C:\data\masterlog\mongodb.log -replSet mySet -logappend启动Slave
2021-04-06 12:00:37
47
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人