![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
编程
文章平均质量分 66
喜笑延开
这个作者很懒,什么都没留下…
展开
-
网上最火的LeetCode-刷题计划
我的刷题计划参考:https://github.com/CyC2018/CS-Notes/blob/master/notes/Leetcode%20%E9%A2%98%E8%A7%A3%20-%20%E7%9B%AE%E5%BD%95.md 类别 分类 题目名称 难度 ...原创 2020-04-19 09:10:45 · 2006 阅读 · 0 评论 -
SSH、Hadoop、Yarn体系
SSH免密登陆1、生成密钥对#rsa 是加密算法ssh-keygen -t rsa然后一路回车2、查看生成的密钥对id_rsa.pub是公钥,id_rsa是私钥输入ls .ssh输出id_rsa id_rsa.pub known_hosts2、将公钥发送到需要免密登陆的机器ssh-copy-id -i .ssh/id_rsa.pub root@red...原创 2018-09-12 21:35:50 · 155 阅读 · 0 评论 -
Hadoop的RPC,Java实现动态代理
Java的动态代理java的动态对象是编程模式的装饰者模式 可以通过包装的方式,让函数完成不同的功能 原理1.java代码实例1).创建服务端接口MyServer.java,创建方法method1和method2public interface MyServer{ public void method1(); public void method2();}...原创 2018-09-17 22:24:13 · 356 阅读 · 0 评论 -
Java死锁分析
Java死锁分析1、什么叫死锁(性能等待)?答:简单的说,就是线程互 相等待2、范例演示Dead.java的内容如下所示public class DeadLock { final Object lockA = new Object(); final Object lockB = new Object(); public static vo...原创 2018-09-10 19:32:38 · 216 阅读 · 0 评论 -
HDFS高级功能
HDFS高级功能1、回收站2、快照3、配额4、安全5、权限管理1、回收站(*)补充 Oracle的回收站恢复:闪回Oracle 11g中有七种闪回闪回表:flashbcak table 闪回查询:flashback query 闪回删除:flashback drop 闪回版本查询:flashback version query 闪回事务查询:flashback ...原创 2018-09-18 21:37:23 · 216 阅读 · 0 评论 -
HBase体系、HDFS API基本操作
HBase的体系结构1、主从结构: 主节点:HMaster 从节点:RegionServer2、基于HDFS上的NOSQL数据库 HBase HDFS 表 --------> 目录 数据 ---------> 文件主从结构的单点故障问题...原创 2018-09-13 21:19:11 · 269 阅读 · 0 评论 -
HDFS的文件上传和下载
Java API获取HDFS的文件信息1).获取文件属性环境:Windows Java API函数:mkdir、FileStatus[]、listStatus、isDirectory@Testpublic void test1() throws Exception{ //配置HDFS主节点:NameNode Configuration conf = new C...原创 2018-09-14 20:30:59 · 658 阅读 · 0 评论 -
MR的等值连接
MR的等值连接利用MapReduce的功能,v3是相同的k2的v2的集合,这一特性,筛选出对应关系1.程序流程要求:得出相应部门的所有员工根据两个表,部门表和员工表,两个表部门号相同2.Java编程1).Maper要点:取出两个表的部门号作为k2,v2 部门名称+员工姓名,部门姓名加 “*”用作区分package demo.mutiltable;impo...原创 2018-09-25 21:07:55 · 175 阅读 · 0 评论 -
MapReduce高级-合并、分区
分区多个分区,有多个文件分区类型范围分区 列表分区 散列分区 范围-散列 范围-列表散列分区:(Hive 桶表) 避免热库的产生MapReduce实例 使用MR实现一个分区:根据员工的部门号,将相同部门号的员工分到一分区要点:在Mapper的输出创建分区 即对k2 v2进行操作创建一个序列化对象 Employeepackage demo.partition;...原创 2018-09-20 22:27:09 · 257 阅读 · 0 评论