- 博客(21)
- 收藏
- 关注
RSS订阅原创 Docker安装Redis后无法启动
使用docker安装redis后使用docker run 命令启动redis显示启动成功，但是使用docker ps 命令查看实际上并未启动，但是还没有相关报错，坑死个人； 解决办法：检查一下容器启动命令里是不是使用了 -d 这个参数，如果是那就要检查一下redis.conf里是不是放开了daemonize这个配置，如果是那么这个配置就必须是配置为no，否则就会出现无法启动且无报错的情况！daemonize no...
2022-05-10 11:34:00
3633
6
原创 Gitlab本地备份与远程机备份
Gitlab本地备份与远程机备份我们的需求是：首先将gitlab按照指定时间自动备份至本地机，然后将本地备份定时自动发送至远程机，以此来达到双备份双保险的目的。1.本地机备份：由于我们gitlab安装方式不一样，所以本地备份的具体方式也是有一定的区别的，这里主要介绍两种安装方式的备份：1.1 yum等方式直接安装gitlab：如果是直接安装gitlab，在备份上相对来说是比较简单的，我们可以直接使用定时任务来进行本地备份：使用命令crontab -e；crontab -e按照自己的需求添加
2022-05-07 10:18:08
1249
原创 Spark四大组件
1.SparkStreaming: 众多应用领域对实时数据的流式计算有着强烈的需求，例如网络环境中的网页服务器日志或是由用户提交的状态更新组成的消息队列等，这些都是实时数据流。Spark Streaming是Spark平台上针对实时数据进行流式计算的组件，提供了丰富的处理数据流的API。由于这些API与Spark Core中的基本操作相对应，因此开发者在熟知Spark核心概念与编程...
2020-01-02 10:02:02
5267
原创 状态码
类别：1XX：接受的请求正在处理；2XX：请求正常处理；3XX：重定向；4XX：请求错误；5XX：服务器错误；14种常用状态码:200：请求以正常处理；204：请求处理成功，但没有任何资源可以返回给客户端；206：对资源某一部分的请求；（该状态码表示客户端进行了范围请求，而服务器成功执行了这部分的GET请求）301：永久重定向，被请求的资源已永久移动到新位置...
2019-12-17 09:22:54
202
原创 个人对MR和spark的认知，并不准确，谨慎参考！
hadoop最核心的框架就是HDFS（Hadoop Distributed File System）和MapRuduce，其中HDFS是为海量数据提供存储，而MapReduce是为海量数据提供了计算。 Spark则是由加州大学伯克利分校的AMP实验室开发，由于spark的计算速度远远大于mr的速度，所以在一定程度上spark已经取代了mr，但由于spark并未提供数据存储功能，而h...
2019-12-04 19:53:38
230
1
原创 Hbase和Hive的区别
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 HBase是Hadoop的数据库，一个分布式、可扩展、大数据的存储。单个的从字面意思上或许很难看出二者的区别，别急，下面我们就对二者做个详细的介绍。Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hi...
2019-11-28 13:45:32
150
原创 Spark集群安装配置
1.下载上传并解压压缩包官网下载压缩包：http://spark.apache.org/注：下载压缩包时要注意与hadoop版本对应，否则会出现报错。将压缩包上传至linux解压压缩包tar -zxvf ...2.修改配置文件 修改配置文件conf/spark-env.shexport JAVA_HOME=/root/apps/jdk1.8.0_20...
2019-11-11 18:48:46
167
原创 搭建ElasticSearch集群
1.安装第一台首先在第一台机器安装ElasticSearch，详情见https://blog.csdn.net/Struggle99/article/details/1028972032.将ES传送到第二三台机器中scp -r apps/elasticsearch-6.3.1 hdp-2:appsscp -r apps/elasticsearch-6.3.1 hdp-3:a...
2019-11-05 10:19:29
132
原创 ElasticSearch安装配置
*准备：es默认不允许在root用户启动，所以在启动之前要创建一个普通用户创建方法详见：https://blog.csdn.net/Struggle99/article/details/1028964811.解压将压缩包解压至linux中解压命令tar -zxvf ......2.修改配置文件首先修改/etc下的配置文件：修改/etc/security/li...
2019-11-04 16:00:47
128
原创 启动ElasticSearch报错[1]: max file descriptors [4096] for elasticsearch process is too low
报错信息:[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536][2]: max number of threads [3818] for user [es] is too low, increase to at least [4096][...
2019-11-04 15:19:17
5953
1
原创 启动ElasticSearch报错 uncaugt exception in thread [main]
启动ElasticSearch报此错误是权限问题，注意报错信息第二行，es不能作为root用户启动解决办法：新建一个普通用户新建方法：1.新建zpark用户：useradd zpark2.给zpark用户设置密码：passwd zpark输入密码后弱密码不足八位会有提示，继续进行就可以，不需要必须八位以上。3.修改权限在root用户的根（/）目录...
2019-11-04 15:02:18
1317
原创 Kibana安装配置
1.解压将压缩包解压至虚拟机中解压命令tar -zxvf ...2.修改配置文件（四处）server.host: "192.168.137.131"server.name: "hdp-1"elasticsearch.url: "http://hdp-1:9200"kibana.index: ".kibana"3.启动kibana启动命令（kibana bin...
2019-11-04 14:34:47
195
原创 kafka一键启动脚本
1.首先修改每台机器的kafka bin目录下的kafka-server-stop.sh将里面的kafka.\Kafka改为kafka2.编写启动脚本start-kafka.shfor host in hdp-1 hdp-2 hdp-3do ssh $host "source /etc/profile;/root/apps/kafka_2.12-2.2.0/...
2019-10-23 10:12:23
350
原创 kafka启动几秒种后自动关闭
查看kafka目录下logs/server.log会发现里面有如下报错信息人生建议：今天早点休息了报错原因：zookeeper未启动！
2019-10-22 19:18:37
2237
原创 大数据项目V1（flume采集数据到kafka下沉到hive）
1.将项目打成jar包并上传至linux集群，可通过命令java -jar 运行并通过hdp-1:8383检测是否运行成功。运行成功2.启动nginx（目的是为了产生日志，还有负载均衡和反向代理以后更新）特别注意配置文件#user nobody;worker_processes 1;#error_log logs/error.log;#error_log logs/er...
2019-10-22 19:14:40
913
原创 kafka分布式安装
使用kafka前确保zookeeper安装成功1.上传压缩包并解压tra -zxvf 压缩包名称 -C 目标路径例：tar -zxvf kafka_2.12-2.2.0.tgz -C apps2.修改配置文件（）1).将hdp-1，hdp-2，hdp-3的broker.id分别修改为1,2,3（只要不冲突即可）；2).在Socket Server Settings中修改listener...
2019-10-18 08:18:25
144
1
原创 Flume采集文件到HDFS（跟踪文件内容）
1.配置文件编写（在flume下新建tail-hdfs.conf）pooldir：flume中自带的读取目录的source，只要出现新文件就会被读走#定义三大组件的名称ag1.sources = source1ag1.sinks = sink1ag1.channels = channel1# 配置source组件ag1.sources.source1.type = spooldir...
2019-10-17 18:38:42
282
原创 Flume配置文件（跟踪文件夹）
1.将flume-1.6.0 压缩包上传到apps目录下2.在apps目录下解压压缩包tar -zxvf apache-flume-1.6.0-bin.tar.gz解压完成3.在 /apps/apahce-flume-1.6.0-bin/conf目录下对flume进行配置配置文件内容（dir-hdfs.conf）：````在这里插入代码片`pooldir：flume中自带的读取...
2019-10-17 18:32:34
768
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人