- 博客(5)
- 收藏
- 关注
RSS订阅原创 HBase API+优化+Phenix+索引 笔记
文章目录APIDDLDMLHBase优化预分区1.手动设定预分区2.指明分区个数3.按照文件中设置的规则预分区4.使用javaApi创建预分区rowKey的设计小案例：内存优化基础优化HBase底层原理HBase与Hive集成使用Phoenix安装配置配置环境变量启动Shell操作删除表映射：视图映射创建视图删除视图表映射Phoenix数字问题idea可视化Phoenix JDBC操作Thin 瘦客户端Thick胖客户端索引参数配置全局二级索引本地二级索引 API 创建表 、删除表、表是否存在、 添加依赖
2020-06-28 17:22:06
409
原创 Spark Core笔记
文章目录Spark环境wordcount本地Standalone修改配置文件 关联日志 HA配置历史服务器yarnmac本地模式Spark架构RDDRDD的核心属性RDD创建从集合（内存）中创建RDD从外部存储（文件）创建RDDRDD并行度与分区File的分区RDD转换算子单value型mapmapPartitionsmapPartitionsWithIndexflatmapglomgroupByfiltersampledistinctcoalescerepartitionsortBypipe双Value类
2020-06-28 14:02:43
469
原创 HBase命令行客户端+架构 笔记
文章目录数据类型安装集群配置文件配置环境变量HBase远程发送到其他集群启动查看HBase页面命令行客户端DDL建表查看表详情修改列族删除表DMLputscanget删除清空表命名空间操作查看底层数据查看删除的版本信息删除策略（3种）查看hbase:metaRegionServer架构写流程MemStore Flush刷写时机手动flush读流程StoreFile CompactionRegion SplitRegion Split时机 数据类型 传统：数据库->表->行-> hbase：
2020-06-28 13:49:54
501
原创 Scala模式匹配+异常+隐式转换+泛型+正则 笔记
文章目录模式匹配匹配列表匹配元组匹配对象—样例类模式匹配应用偏函数异常隐式转换隐式参数 隐式变量隐式类隐式转换的查找规则泛型正则表达式分布式案例DriverExcutorMessageResourceCenterTask 模式匹配 package com.vanas.bigdata.java.chapter08; import sun.java2d.pipe.SpanIterator; /** * @author Vanas * @create 2020-05-30 9:05 上午 */ publ
2020-06-21 18:29:31
287
原创 Scala 集合篇笔记（三）
文章目录集合数组不可变数组可变数组foreach & 数组的操作Seq序列Nil可变Seq 增删改Set 数据集可变集合Map 映射可变Map遍历元组Tuple集合常用方法数据操作相关案例wordcountScala的练习作业:自定义排序交差合集 拉链 滑动计算相关简化规约reduce折叠fold扫描scan队列并行练习 集合 Scala都同时提供了可变和不可变的版本 scala.collection.immutable scala.collection.mutable 数组 不可变数组 pac
2020-06-07 22:33:15
261
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人