![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 82
sofency
stay hungry stay foolish
展开
-
Flink学习笔记-基础的概念
定义: Apache Flink 是一个框架和分布式处理引擎,用于对无界和有界数据流进行计算。为什么选择Flink:流数据更真实反应了我们的生活方式传统的数据架构都是基于有限数据集的低延迟,高吞吐,结果的正确性和良好的容错性主要特点:事件驱动,基于流的世界观(离线数据是有界流,实时数据是无界流)部署方式Standalone模式下载flinkfink-conf.yaml的配置文件阅读# JobManager runs.jobmanager.rpc.address: localho原创 2021-09-25 11:21:17 · 231 阅读 · 0 评论 -
大数据安全认证技术Kerberos
对于简单安装的上线的hadoop集群,我们可以认为有如下安全隐患可以人为的添加一个客户端节点,并以此假冒的客户端来获取集群数据,对于假冒的客户端节点,成功加入集群,就能够伪装成datanode 让得到namenode指派的任务和数据.创建hdfs账户,就可以得到hadoop文件系统的最高权限Kerberos主要用来做网络通讯中的身份认证,帮助我们高效,安全的识别访问者...原创 2020-10-16 13:19:58 · 765 阅读 · 0 评论 -
hadoop集群时间校准ntp服务
通过yum install ntp安装通过 cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 设置集群在同一时区通过命令 ntpdate -u 0.cn.pool.ntp.org设置校准的服务器设置开启自启vim /etc/ntp.conf添加 server 0.cn.pool.ntp.org # centos给我们设置了几个时间校准的服务,但是国内对于外网的访问速度很慢chkconfig ntpd on # 设置开机自启启动ntp服务s.原创 2020-10-15 09:09:44 · 246 阅读 · 0 评论 -
MapReduce分布式计算框架
MapReduce是一个分布式运算程序的编程框架,是用户开发"基于Hadoop"的数据分析应用的核心框架核心功能:是将用户编写的业务逻辑代码和自带的默认组件整合成一个完整的分布式运算框架,并发运行在一个hadoop集群上.优点:1. 易于编程,它简单的实现一些接口,就可以完成一个分布式程序,可以分布到大量廉价的pc机器上运行.2. 良好的扩展性 当计算资源不能得到满足的时候,可以通过简单的增加机器来扩展它的计算能力3. 高容错性 其中的一台机器挂了,它可以把上面的计算任务转移到另外一个节点上运行,原创 2020-10-14 16:16:43 · 772 阅读 · 0 评论 -
zookeeper事件监听机制
watcher的概念zookeeper提供了数据的发布订阅功能,多个订阅者可同时监听某一特定主题对象,当该主题对象的自身状态发生变化时(例如节点内容发生变化,节点下的子节点列表发生变化)会实时,主动通知订阅者;zookeeper采用watcher机制实现了发布/订阅功能.该机制在被订阅者对象发生变化的时候会异步的通知客户端,因此客户端不必在watcher注册后轮询阻塞,从而减轻客户端的压力.watcher的架构watcher实现由三部分组成zookeeper服务端zookeeper客户端..原创 2020-09-20 00:44:21 · 808 阅读 · 0 评论 -
Zookeeper知识总结
zookeeper是一个开源的分布式的,为分布式应用提供协调服务的apache项目;工作机制:zookeeper从设计模式来理解:是一个基于观察者模式设计的分布式服务管理框架,她负责存储和管理大家都关心的数据,然后接收观察者的注册,一旦这些数据的状态发生变化zookeeper就将负责通知已经在zookeeper上注册的哪些观察者做出相应的反应;zookeeper = 文件系统+消息通知机制zookeeper应用场景zookeeper是一个经典的分布式数据一致性解决方案,致力于为分布式应用提供一个高原创 2020-09-19 20:51:31 · 362 阅读 · 0 评论 -
sqoop的学习
sqoop是什么?主要用于在hadoop(hive)与传统的数据库间进行数据的传递,可以将一个关系型的数据库中的数据导进到hadoopd的hdfs中,也可以将hdfs的数据导进到关系型的数据库中.sqoop的原理将导入或导出命令翻译成mapreduce程序来实现,主要对inputformat和outputformat进行定制sqoop的安装sqoop的简单使用案例sqoop导入数据到hdfs全部导入bin/sqoop import --connect jdbc:mysql://localho原创 2020-08-20 20:20:10 · 101 阅读 · 0 评论 -
Hive函数练习
NVL(value,default_value)如果value为null,则nvl函数返回default_value的值,否则返回value的值,如果两个参数都为null话返回nullcase when求不同部门男女各多少人数据悟空 A 男大海 A 男宋宋 B 男凤姐 A 女婷姐 B 女婷婷 B 女首先创建表create table emp( name string, id string, sex string) row format delimited fields .原创 2020-08-19 19:57:04 · 203 阅读 · 0 评论 -
Flume的学习
FLume是一个高科用的高可靠的分布式的海量日志采集,聚合和传输的系统.flume最主要的作用就是实时读取服务器本地磁盘的数据,将数据写入到hdfs中.flume的主要架构Source 数据输入端的常见类型有 spooling directory exec ,syslog avro等put事物流程doput 将批数据先写入到缓冲区putlist中,doCommit 检查channel内存队列是否足够合并doRollback channel内存队列空间不足,回滚数据Channel自带两种Ch原创 2020-08-20 19:04:44 · 112 阅读 · 1 评论 -
Hive基础知识点总结-DML
hive的修改表操作alter table table_name rename to new_table_name添加列信息alter table dept_partition add columns(depedesc string);更新列信息alter table dept_partition change column deptdesc desc int;替换列alter table dept_partition replace columns(deptno string,dname s原创 2020-08-19 16:55:21 · 145 阅读 · 0 评论 -
HDFS学习笔记
hdfs是hadoop的分布式文件系统,它是一个高容错性的系统,适合部署在廉价的机器上,hdfs能够提供高吞吐量的数据访问,非常适合大规模数据集的应用.优点:高容错性数据自动保存为多个副本,它是通过增加副本的形式提高容错性的.某一副本丢失以后,它可以自动恢复(即重新再创建副本).适合处理大数据数据规模:能够处理数据规模达到GB,TB,甚至PB级别的数据文件规模:能够处理百万规模以上的文件数量,数量相当之大.可以构建在廉价机器上.缺点:不适合低延迟数据访问,比如毫秒级的存储数据无法原创 2020-08-16 12:28:45 · 276 阅读 · 0 评论 -
kafka基本操作
准备环境启动zookeeperbin/zkServer.sh start启动kafka前先将kafka注册到zookeeper上修改config/server.properties添加zookeeper.connect=localhost:2181当然也可以设置为zookeeper集群 结点用逗号分割开zookeeper.connect=10.2.21.22:2181,10.2.21.23:2181启动kafkabin/kafka-server-start.sh config/server.原创 2020-08-13 19:07:56 · 178 阅读 · 0 评论 -
kafka知识点总结
kafka的架构图见此链接kafka架构理解重要概念partition (分区的概念):消息发送时都被推送到一个topic上,而topic是由分区(partition)构成分区的原因:方便在集群中扩展,每个Partition可以通过调整以适应它所在的机器,而一个topic又可以有多个Partition组成,因此整个集群就可以适应任意大小的数据了;可以提高并发,因为可以以Partition为单位读写.副本(replication)同一个partition可能会有多个replication原创 2020-08-11 09:00:05 · 190 阅读 · 0 评论