大数据
文章平均质量分 66
喜笑延开
这个作者很懒,什么都没留下…
展开
-
[Flink原理]-一文入门Flink中对状态的管理
概述:状态作为流计算的核心属性,Flink针对状态做了很多的处理,即你可以将中间的计算结果进行保存,并提供给后续的计算使用。分类:KeyState:ValueStateListStateReducingStateAggregatingStateFoldingStateMapStateOperatorStateListStateUnionListStateBroad...原创 2020-04-06 08:42:36 · 269 阅读 · 0 评论 -
Hadoop2.X的安装和操作
Hadoop2.X的安装和操作1. Hadoop的安装环境本地模式 伪分布模式 全分布模式2. 虚拟机配置1、准备内容虚拟机系统:linux即可安装包:JDK和hadoop-2.7.3.tar.gz2、关闭防火墙、安装JDK、设置主机名、安装Hadoop关闭防火墙#redhat中防火墙systemctl stop firewalld.service (重启恢复)...原创 2018-09-11 21:31:42 · 187 阅读 · 0 评论 -
SSH、Hadoop、Yarn体系
SSH免密登陆1、生成密钥对#rsa 是加密算法ssh-keygen -t rsa然后一路回车2、查看生成的密钥对id_rsa.pub是公钥,id_rsa是私钥输入ls .ssh输出id_rsa id_rsa.pub known_hosts2、将公钥发送到需要免密登陆的机器ssh-copy-id -i .ssh/id_rsa.pub root@red...原创 2018-09-12 21:35:50 · 163 阅读 · 0 评论 -
Hadoop的RPC,Java实现动态代理
Java的动态代理java的动态对象是编程模式的装饰者模式 可以通过包装的方式,让函数完成不同的功能 原理1.java代码实例1).创建服务端接口MyServer.java,创建方法method1和method2public interface MyServer{ public void method1(); public void method2();}...原创 2018-09-17 22:24:13 · 381 阅读 · 0 评论 -
HDFS高级功能
HDFS高级功能1、回收站2、快照3、配额4、安全5、权限管理1、回收站(*)补充 Oracle的回收站恢复:闪回Oracle 11g中有七种闪回闪回表:flashbcak table 闪回查询:flashback query 闪回删除:flashback drop 闪回版本查询:flashback version query 闪回事务查询:flashback ...原创 2018-09-18 21:37:23 · 248 阅读 · 0 评论 -
HBase体系、HDFS API基本操作
HBase的体系结构1、主从结构: 主节点:HMaster 从节点:RegionServer2、基于HDFS上的NOSQL数据库 HBase HDFS 表 --------> 目录 数据 ---------> 文件主从结构的单点故障问题...原创 2018-09-13 21:19:11 · 297 阅读 · 0 评论 -
HDFS的文件上传和下载
Java API获取HDFS的文件信息1).获取文件属性环境:Windows Java API函数:mkdir、FileStatus[]、listStatus、isDirectory@Testpublic void test1() throws Exception{ //配置HDFS主节点:NameNode Configuration conf = new C...原创 2018-09-14 20:30:59 · 686 阅读 · 0 评论 -
MR的等值连接
MR的等值连接利用MapReduce的功能,v3是相同的k2的v2的集合,这一特性,筛选出对应关系1.程序流程要求:得出相应部门的所有员工根据两个表,部门表和员工表,两个表部门号相同2.Java编程1).Maper要点:取出两个表的部门号作为k2,v2 部门名称+员工姓名,部门姓名加 “*”用作区分package demo.mutiltable;impo...原创 2018-09-25 21:07:55 · 202 阅读 · 0 评论 -
MapReduce高级-合并、分区
分区多个分区,有多个文件分区类型范围分区 列表分区 散列分区 范围-散列 范围-列表散列分区:(Hive 桶表) 避免热库的产生MapReduce实例 使用MR实现一个分区:根据员工的部门号,将相同部门号的员工分到一分区要点:在Mapper的输出创建分区 即对k2 v2进行操作创建一个序列化对象 Employeepackage demo.partition;...原创 2018-09-20 22:27:09 · 266 阅读 · 0 评论