- 博客(16)
- 收藏
- 关注
RSS订阅
原创 Flume学习笔记
从阅读官网上的用户指南来学习Flume看官网的介绍Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible archite...
2019-01-15 22:07:25
975
1
转载 redis笔记（二）redis数据类型与常用命令
一）reids的数据类型redis支持五种数据类型：string（字符串），hash（哈希），list（列表），set（集合），sorted set（zset有序集合）。2) hash 是一个 string 类型的 field 和 value 的映射表3) list就是字符串列表，按照插入顺序排序4) set就是string类型的无序集合，set中没有重复元素5) zset和s...
2019-04-04 14:37:43
141
原创 Redis笔记（1）redis的安装与启动
一、Redis安装1）下载redis源码wget http://download.redis.io/releases/redis-5.0.3.tar.gz2）解压tar zxvf redis-5.0.3.tar.gz3)编译安装 (编译需要先安装gcc yum install gcc-c++)cd redis-5.0.3make #make完之后可以rdis默认安装在src目...
2019-04-04 13:36:14
126
转载 Kafka架构介绍
作者：明翼（XGogo）出处：http://www.cnblogs.com/seaspring/Kafka 架构简介Kafka是一个开源的、分布式的、可分区的、可复制的基于日志提交的发布订阅消息系统。它具备以下特点：·消息持久化： 为了从大数据中获取有价值的信息，任何信息的丢失都是负担不起的。Kafka使用了O(1)的磁盘结构设计，这样做即便是在要存储大体积的数据时也是可以提供稳...
2019-03-29 12:16:06
203
转载 KAFKA OFFSET的存储问题
原文地址：https://www.cnblogs.com/lianxuan1768/p/8127553.html注意：从kafka-0.9版本及以后，kafka的消费者组和offset信息就不存zookeeper了，而是存到broker服务器上，所以，如果你为某个消费者指定了一个消费者组名称（group.id），那么，一旦这个消费者启动，这个消费者组名和它要消费的那个topic的offset信...
2019-03-29 10:56:46
397
原创 大数据Hadoop生态系统各框架概述
一、什么是大数据？顾名思义，就是大量的数据。数据量太大，我们就无法在一定时间内用常规软件去处理这些数据，因此就有了大数据技术。二、Hadoop概述Hadoop框架包含HDFS、Yarn、MapReduce三个核心组件。1）HDFS大量的数据在一台计算机上存不下，就需要用很多计算机来存。多台计算机的存储容量可以存储大数据了，但是多台计算机却不方便管理大数据了，于是就有了Hadoo...
2019-03-05 14:55:20
1651
原创 Flume学习笔记（二）监控日志文件并将内容保存到HDFS上
1）在$FLUME_HOME/conf目录下创建logs-to-hdfs.conf文件并编辑，内容如下# Name the components on this agenta2.sources = r2a2.sinks = k2a2.channels = c2# Describe/configure the sourcea2.sources.r2.type = execa2.s...
2019-02-23 18:25:23
930
原创 Zookeeper学习笔记
一）Zookeeper简介二）Zookeeper常用命令1）启动Zookeeperbin/zkServer.sh start2）关闭Zookeeperbin/zkServer.sh stop3）启动Zookeeper客户端bin/zkCli.sh4）退出客户端quit5）查看状态bin/zkServer.sh status6）查看进程是否启...
2019-02-13 14:55:25
92
原创 HDFS shell常用命令
1）查看hdfs shell 命令帮助，hdfs shell命令hadoop fs和hdfs dfs等价hadoop fs 或者hdfs dfs2）查看hdfs上的文件 ls命令hadoop fs -ls / --查看/（根目录）下的文件hadoop fs -ls -R / --递归查看3）将本地文件上传到hdfs上 put命令或者copyFromLocal命令...
2019-02-03 17:24:39
297
原创 Centos7使用yum方式安装mysql5.7
一、下载rpm包wget https://repo.mysql.com//mysql57-community-release-el7-11.noarch.rpm二、安装rpm包rpm -ivh mysql57-community-release-el7-11.noarch.rpm三、安装之后更新yum源yum clean all;yum repolist;yum ma...
2019-01-23 15:53:04
1501
1
原创 yum方式安装Nginx
一、添加nginx.repo,默认没有，使用vim命令会在目录下创建nginx.repo文件vim /etc/yum.repos.d/nginx.repo二、在nginx.repo中加入以下内容[nginx]name=nginx repobaseurl=http://nginx.org/packages/OS/OSRELEASE/$basearch/ //OS和OSREL...
2018-09-17 15:42:47
511
原创 数据结构基础之栈的应用
简单来说，栈是一种数据后进先出（FILO，First In Last Out）的结构。想象一下羽毛球筒子的结构，羽毛球的放入和取出操作和栈的后进先出相同的。一、栈作为一种后进先出的数据结构，那它都有什么用处呢？1.例如，我们在编写博客时常用的撤销操作，我们写作时每一次操作都会记录在栈中，这个操作成为入栈，最后的操作记录在栈顶，当我们想要撤销操作时，从栈顶取出最后一次操作，这就是站的出栈操作...
2018-09-17 14:57:32
166
转载 linux系统/opt目录和/usr/local目录有什么区别
在学习linux的时候，看到/opt目录和/usr/local目录都是安装软件的目录，那这两个目录有什么区别呢？一、opt目录/opt目录用来安装附加软件包，是用户级的程序目录，可以理解为D:/Software。安装到/opt目录下的程序，它所有的数据、库文件等等都是放在同个目录下面。opt有可选的意思，这里可以用于放置第三方大型软件（或游戏），当你不需要时，直接rm -rf掉即可。在硬盘...
2018-09-09 20:44:54
24074
2
原创 idea常用快捷键
1）实现接口方法的快捷键alt+insert 或alt+shift+p2）搜索类ctrl + shift + R 或者双击shift3）查看接口的实现类ctrl + alt +B（光标放在接口名字后面）或者ctrl+t...
2018-08-22 22:53:07
151
原创 使用idea从github上下载代码
一、版本控制工具选择gitub二、登陆到github三、选择要clone的仓库四、点击no，之后从idea中打开下载的项目
2018-08-21 22:42:52
13513
原创 Git快速入门
之前系统的学习过git，但是一段时间没有使用git之后，当我再次使用git时，发现无从下手。因此我要把我的学习心得记录下来。这也是我第一次写博客。git安装之后，自报家门$ git config --global user.name "Your Name"$ git config --global user.email "email@example.com"如何将本地创建的项目提交...
2018-08-21 21:55:06
117
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人