- 博客(22)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 安全认证--Kerberos
功介绍：Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”，后来沿用作为安全认证的概念，使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。Kerberos的原理架构如图各模块的说明Application Client应用客户端，通常是需要提交任务（或者作业）的应用程序。Appl
2021-04-28 10:57:52
433
原创 HBase-尚硅谷
第 1 章 HBase 简介1.2.1 HBase 逻辑结构类型Mysql，做高表的水平切分:Region；做宽表的垂直切分store不需要指定列的类型，全部是字节码形式存贮。1.2.2 HBase 物理存储结构1.2.3 数据模型1.3 HBase 基本架构第 2 章 HBase 快速入门第 3 章 HBase 进阶...
2021-04-26 21:56:44
504
原创 MapReduce-hadoop-尚硅谷
第1章 MapReduce概述1.3 MapReduce核心思想1.4 MapReduce进程1.6 常用数据序列化类型1.7 MapReduce编程规范用户编写的程序分成三个部分：Mapper、Reducer和Driver。
2021-04-25 17:00:10
276
原创 Azkaban-工作流任务调度器-黑马
Azkabanazkaban是由领英退出的一款开源免费的工作流调度器软件特点功能强大 可以调度几乎所有软件的执行（command）配置简单 job配置文件提供了web页面使用java语言开发 源码清晰可见 可以进行二次开发架构web服务器 ：对外提供web服务 用户在页面上进行项目的相关管理executor服务器：负责具体的工作流的调度提交。数据库：用于保存工作流相关信息（比如：mysql）部署模式单节点模式：web、executor在同一个进程 适用于测
2021-04-24 17:22:04
498
原创 数仓Hive-尚硅谷
第 1 章 Hive 基本概念Hive及数据仓库，存储使用HDFS，计算引擎（Dirve）可以是MR、Spark、Flinkhive应用于离线数据分析，一次写入多次读取，一般不涉及改和删数据1.1 什么是 HiveHive可将写好的HQL语句转换成整MR执行用Hive能解决的问题用MR一定能解决， 用MR能解决的问题，用Hive不一定能解决Hive没有集群概念，因为Hive的角色是客户端，Hdfs和MR的客户。可以部署多台但是都是独立的。Hive本质就是Hadoop的一个客户端，通过客户端
2021-04-24 11:41:18
571
转载 kafka log.dirs配置多个数据目录
kafka运行后添加多个数据目录当然直接停掉kafka然后移动部分partition数据文件夹到新目录做软链也可行，只是当删除该topic的时候也只会删除链接文件
2021-04-22 17:57:52
1814
原创 spark-java+scala 乐字节教育 案例
1.统计PV&UVpv某个网页24小时被点击的次数uv每个网页被不同用户点击的次数数据以制表符隔开"\t"146.1.30.98 河南 2017-10-10 1512012307078 5263761960810313758 www.jd.com Regist146.1.30.98 河南 2017-10-10 1512012307079 5263761960810313758 www.taobao.com Login146.1.30.98 河南 2017-10-10 15120123
2021-04-20 21:48:23
156
1
转载 Jstack线程状态BLOCKED/TIMED_WAITING/WAITING
Jstack线程状态BLOCKED/TIMED_WAITING/WAITING解释
2021-04-16 10:46:16
820
转载 spark map\foreach和mapPartitions\foreachPartition的区别
spark map和mapPartitions的区别
2021-04-12 16:26:21
157
原创 CheckpointWriter: Could not write checkpoint for time 文件写磁盘失败
spark程序对hadoop环境的依赖，导致checkpoint失败问题的解决问题解决方法：在spark程序开始执行的时候，设置hadoop.home.dir程序环境变量，也就是添加如下语句： System.setProperty("hadoop.home.dir", "D:\\hadoop-2.7.1");链接：https://pan.baidu.com/s/1dHYcnf-1Pe2BJRjhff6nPA提取码：dyfo问题原因：虽然checkpoint到本地目录，但是在spark的底层调用
2021-04-12 15:56:04
492
1
原创 Scala 代码中“$“作用
Scala 代码中$ 符具有在String 中直接拼接 字符串 和数字 等类型 。简化了字符串拼接。object Test1 {def main(args:Array[String]):Unit= { name="Tom" age =36 //System.currentTimeMillis()是一个方法需要{} println(s"${System.currentTimeMillis()} $name ’s age is$age") }}...
2021-04-11 17:56:47
1513
原创 SparkStreaming 尚硅谷
第1章 SparkStreaming 概述1.1 Spark Streaming 是什么1.2 Spark Streaming 的特点➢ 易用➢ 容错➢ 易整合到 Spark 体系1.3 Spark Streaming 架构1.3.1 架构图➢ 整体架构图➢ SparkStreaming 架构图1.3.2 背压机制自动调整，接受的多处理的慢。接受的少处理的快的情况。第 2 章 Dstream 入门2.1 WordCount 案例实操➢ 需求：使用 netcat 工具
2021-04-10 18:09:06
349
1
原创 Linux使用tcpdump命令抓包保存pcap文件wireshark分析
1.安装tcpdumpyum install tcpdump2.保存tcpdump抓包结果tcpdump -i eth0 -w dump.pcap-i #是指定要抓取的网卡-w #指定结果保存的位置3.在wireshark中打开下载安转wireshark：链接：https://pan.baidu.com/s/1dU-mYwGHS5BRLKbdjANzlA提取码：b3hp使用wireshark 直接打开dump.pcap文件即可...
2021-04-09 20:12:05
3293
原创 Spark-尚硅谷5-2 数据结构：RDD 行动算子
5.1.4.5 RDD 行动算子 // TODO - 行动算子 // 所谓的行动算子，其实就是触发作业(Job)执行的方法 // 底层代码调用的是环境对象的runJob方法 // 底层代码中会创建ActiveJob，并提交执行。1) reduce2) collect实现wordcount的方法package com.atguigu.bigdata.spark.core.wcimport org.apache.spark.rdd.RDDimport org.
2021-04-05 18:30:29
188
原创 Spark-尚硅谷5- 1数据结构：RDD 转换算子
5.1.4.3 RDD 转换算子RDD 根据数据处理方式的不同将算子整体上分为 Value 类型、双 Value 类型和 Key-Value类型Value 类型1)map 转换map操作只能是来一个计算一个，出去一个map: 转换映射功能，及把一个数据转换成一个新的数据, 把A变成B匿名函数：只关系逻辑不关心方法名，能省则省，参数名可以推断出来及不需要声明参数类型，逻辑只有一句话则不需要{}，入参只一个可以不写()package com.atguigu.bigdata.spark.co
2021-04-01 22:03:42
426
转载 Kafka性能压测
Flink-Kafka性能压测全记录2.1 Producer相关参数 我们在producer涉及到性能的关键因素可能会存在如下几个：thread:我们测试时的单机线程数；bath-size:我们所处理的数据批次大小；ack:主从同步策略我们在生产消息时特别需要注意，是follower收到后返回还是只是leader收到后返回，这对于我们的吞吐量影响颇大；message-size:单条消息的大小，要在producer和broker中设置一个阈值，且它的大小范围对吞吐量也有影响；compress
2021-04-01 15:19:40
296
按钮CButton，代码创建，设置按钮图标，改变按钮颜色，实时改变按钮外观.rar
2019-10-21
MFC控件之编辑框CEdit
2019-10-21
027MFC控件之静态文本CStatic.rar
2019-10-21
距离多普勒成像算法分析
2019-02-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人