- 博客(18)
- 收藏
- 关注
RSS订阅原创 Kafka学习笔记
第1章 Kafka概述定义：分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。 消息队列好处： 解耦，允许独立的扩展或修改数据生产者消费者，只需要确保同样的接口约束。 可恢复性，一部分组件失效，不会影响整个系统。消息队列降低进程间的耦合度，即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后处理。 缓冲，有助于控制和优化数据流经过系统的速度，解决生产消息和处理消息速度不一致的情况。 灵活性、峰值处理能力， 异步通信，允许把消息放入队列，并不立即处理，需要
2020-07-25 23:50:53
170
原创 Flume学习笔记
第1章 Flume概述Flume 是Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单 基础架构Agent是一个 JVM 进程，它以 事件 的形式将数据从源头送至目的。主要有三部分组成：Source，Channel，Sink Source负责收集数据到flume，可以处理各种数据类型：TAILDIR、avro、exec、spooldir、netcate TAILDIR：可以同时监控多个动态变化的文件，可以断点续传，不
2020-07-23 23:04:29
327
原创 Hive学习笔记
第1章 Hive基本概念Hive是基于Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL 查询功能。 Hive架构原理：解析器、编译器、优化器、执行器 源数据存在HDFS上，metadata存在数据库上第2章 Hive安装Hive安装解压，修改名为hive 修改conf目录下的hive-env.sh，添加HADOOP_HOME，HIVE_CONF_DIR： export HADOOP_HOME=/opt/module/hadoop 2.7.2 exp
2020-07-21 15:29:58
183
原创 Hadoop - HA学习笔记
Hadoop HA概述工作要点通过双NameNode消除单点故障 元数据管理方式需要改变：内存中各自保存一份元数据；Edits 日志只有 Active 状态的NameNode节点可以做写操作；两个 NameNode都可以读取 Edits；共享的Edits放在一个共享存储中管理（qjournal 和 NFS 两个主流实现）； 需要一个状态管理功能模块：实现了一个zkfailover ，常驻在每一个 NameNode 所在的节点，每一个 zkfailover 负责监 控自己所在NameNode节
2020-07-17 19:49:09
165
原创 Zookeeper学习笔记
第1章 ZooKeeper入门Zookeeper 是一个开源的分布式的，为分布式应用提供协调服务的Apache 项目。ZooKeeper=文件系统+通知机制第2章 ZooKeeper安装安装jdk 解压ZooKeeper 配置修改： 修改/opt/module/zookeeper-3.4.10/conf 这个路径下的zoo_sample.cfg 修改为zoo.cfg 打开zoo.cfg 文件，修改dataDir 路径dataDir=/opt/module/zookeeper-3.4.10
2020-07-16 10:46:56
142
原创 常用Windows命令
Win7截屏工具：snippingtool 画板：mspaint 查看服务：services.msc 查看引导启动服务：msconfig 查看ip：cmd下，ipconfig
2020-07-15 14:21:19
149
原创 vmware启动后虚拟机无法联网
搜索services.msc打开服务确认VMware NAT service和VMware DHCP service服务处于启动状态；开启自动启动，下次就会自动联网了
2020-07-15 14:20:50
211
原创 Hadoop - MapReduce学习笔记（详细）
第1章 MapReduce概述是一个分布式运算程序的编程框架 mapreduce进程，一个完整的mapreduce有三类实例 MrAppMaster，负责整个程序的过程调度及状态协调 MapTask，负责map阶段的数据处理 ReduceTask，负责reduce阶段的数据处理 编程规范 mapper阶段 reducer阶段 driver阶段 第2章 hadoo...
2020-07-15 10:00:09
350
原创 maven配置本地仓库和远程仓库
配置本地仓库maven安装目录：E:\maven\apache-maven-3.5.4\conf下修改settings.xml<localRepository>E:\maven\MavenRepository</localRepository>配置远程仓库在<profiles>添加如下远程仓库 <profile> <id>dev</id> <!-
2020-07-07 16:38:55
431
原创 Hadoop - HDFS学习笔记（详细）
第一章 HDFS概述hdfs背景意义 hdfs是一个分布式文件系统 使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。 优缺点 高容错性，适合处理大数据（数据PB级别，百万规模文件），可部署在廉价机器上 不适合低时延数据访问，无法高效存储大量小文件，不支持并发写入、随机修改（仅追加） hdfs组成架构 namenode，管理hdfs命名空间，配置副本策略，管...
2020-07-07 10:58:10
427
原创 hdfs刷新节点失败，未显示Refresh nodes successful
使用命令：hdfs dfsadmin -refreshNodes没有显示Refresh nodes successful，而是：refreshNodes: /opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude原因：hdfs-site.xml中dfs.hosts.exclude配置路径有换行错误# 错误！<property><name>dfs.hosts.exclude</name><value
2020-07-06 23:19:39
690
原创 hadoop 无法访问50070
windowshosts文件：C:\Windows\System32\drivers\etc centos防火墙 hadoop core-site.xml配置文件中的namenode地址 （yarn-site.xml RM地址）
2020-07-06 12:07:56
231
原创 centos虚拟机开机icmp_seq=1 Destination Host Unreachable
今天打开虚拟机发现无法远程，进入虚拟机后无法ping通VMnet8，发现VMnet8的属性都变成自动的了，设置后依然不通，移除所有配置后重新添加网络后解决解决办法：计算机 - 系统属性 - 设备管理器 - 网络适配器：右键卸载VMnet1和VMnet8打开虚拟机 - 编辑 - 虚拟网络编辑器 - 移除所有网络：重新添加网络和配置...
2020-07-06 11:10:52
1728
原创 idea中maven配置 Unable to import maven project: See logs for details
Help -> show log in Explorer1) No implementation for org.apache.maven.model.path.PathTranslator was bound. while locating org.apache.maven.model.path.PathTranslator for field at org.apache.maven.model.interpolation.AbstractStringBasedModelInter
2020-07-04 20:21:57
351
原创 Hadoop - 入门学习笔记（详细）
Hadoop 运行环境搭建（开发重点）1 虚拟机环境准备：vmware，centos7 创建虚拟机，安装centos7 虚拟机克隆
2020-07-04 13:01:07
491
原创 Hadoop2.7.2源码编译过程
准备工作CentOS可以联网，验证：ping www.baidu.com 是畅通的 jar 包准备(hadoop 源码、JDK8、maven、ant 、protobuf) （1）hadoop-2.7.2-src.tar.gz （2）jdk-8u144-linux-x64.tar.gz （3）apache-ant-1.9.9-bin.tar.gz（build 工具，打包用的） （4）apache-maven-3.0.5-bin.tar.gz （5）protobuf-2.5.0.tar.gz（序
2020-07-04 10:39:46
294
原创 使用lrzsz在windows、Linux之间互传文件
使用lrzsz进行文件互传：xshell远程linux 安装工具：yum install -y lrzsz，检查是否安装成功：rpm -qa |grep lrzsz 上传文件：rz，-y覆盖，就会打开本地选择文件对话框，选择文件，确定就可以上传到当前所在目录。 下载文件：sz file，弹出选择本地保存文件对话框。 Alt + P打开xshell的属性，打开【文件传输】这里可以调整传输的一些属性。...
2020-07-02 10:32:00
256
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人