自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

蒋含竹的博客

非淡泊无以明志,非宁静无以致远

  • 博客(162)
  • 资源 (2)
  • 收藏
  • 关注

原创 FusionInsight平台——HBase客户端工具封装EveHBase

文章目录FusionInsight平台——EveHBase客户端工具封装简介项目地址ExamplesLICENSEFusionInsight平台——EveHBase客户端工具封装简介针对华为HBase封装的客户端EveHBase支持普通客户端、安全模式客户端,功能包括:建表、预分区、建索引、异步请求、Put、Get、Scan、结果自动解析为JavaBean等项目地址GitHub...

2019-05-09 19:54:01 6858

原创 CDH安装手册

CDH 安装实验手册CDH是Cloudera公司对应Hadoop的一个发行版本,具有易于安装、部署、操作、图形化界面等特点。本手册致力于帮助新手安装、部署CDH集群,绕过各种初期的坑坑洼洼。需要注意的是,本手册基于的是实验环境,并非实际生产环境,具体参数需要根据实际场景修改。Cloudera发行版安装主要分为2个部分: Cloudera Manager (对于集群的管理、部署等)

2017-10-28 14:27:31 6763

原创 Flink示例——Flink-CDC

文章目录Flink示例——State、Checkpoint、Savepoint版本信息Mavan依赖主从同步配置、数据准备使用Flink-CDCFlink示例——State、Checkpoint、Savepoint版本信息产品版本Flink1.11.1flink-cdc-connectors1.1.0Java1.8.0_231Scala2.11.12MySQL5.7.16注意:官方说目前支持MySQL-5.7和8,但笔者还简单测试过maria

2020-09-18 23:28:39 584 7

原创 Flink应用——公交疫情实时流监控

文章目录Flink应用——公交疫情实时流监控前言版本信息Mavan 依赖数据源(刷卡事件信息 + 公交车信息)流数据源Bean对象与数据获取公交车辆最新的状态信息(开窗函数)刷卡事件信息关联车辆状态信息(Join)后续,下游操作Flink应用——公交疫情实时流监控前言此部分是Flink的场景应用示例,本篇主要结合近期的疫情热点做应用需要注意的是,后续的代码主要以版本信息产品版本Flink1.9.1Java1.8.0_231Scala2.11.12M

2020-07-27 14:31:39 161

原创 分布式——缓存一致性(Redis、MySQL)

文章目录分布式——缓存一致性(Redis、MySQL)1. 前言2. 常见方案的问题点2.1 先更新数据库,再更新缓存2.2 先删除缓存,再更新数据库2.3 先更新数据库,再删除缓存3. 维护一致性3.1 设置缓存过期时间3.2 利用消息队列来异步处理3.2 利用Canal监控MySQL,来做异步处理4. 维护一致性——拓展思考4.1 思考4.2 分布式架构4.3 分布式架构(优化)分布式——缓存一致性(Redis、MySQL)1. 前言分布式一致性的问题,既是指“如何保证分布式多个节点的数据一样、

2020-07-20 01:14:05 160

原创 Spark源码剖析——Action操作、runJob流程

文章目录Spark源码剖析——Action操作、runJob流程当前环境与版本前言供分析的代码collect 源码分析DAGScheduler中的处理TaskScheduler中的处理CoarseGrainedSchedulerBackend、DriverEndpoint中的处理Executor中的处理Spark源码剖析——Action操作、runJob流程当前环境与版本环境版本JDKjava version “1.8.0_231” (HotSpot)ScalaScala

2020-07-09 13:52:50 128

原创 opencv + face_recognition —— 人脸识别案例

![@TOC]opencv + face_racognition —— 人脸识别小案例0. 版本信息版本信息产品版本python3.7anaconda4.8.3jupyter6.0.3opencv3.4.2dlib19.17.99face_recognition1.3.0安装 face_recognition 的方法打开Anaconda Prompt,进入命令行pip install cmake -i "https:/

2020-06-27 11:08:08 572 2

原创 OpenCV学习——图像特效

文章目录OpenCV学习——图像特效0. 版本信息1. 导包2. 灰度图3. 颜色反转4. 马赛克效果5. 毛玻璃效果6. 图片融合7. 边缘检测8. 浮雕效果9. 油画效果OpenCV学习——图像特效0. 版本信息产品版本Python3.7Anaconda4.8.3Jupyter6.0.3OpenCV3.4.21. 导包import cv2import numpy as npimport randomimport math2. 灰度图

2020-06-25 23:05:49 231

原创 OpenCV学习——图像基础与几何变换

文章目录OpenCV学习——图像基础0. 版本信息1. 导包2. 图像基础2.1 图片的读取、展示、保存2.2 图片的基本信息2.3 修改图片像素点的颜色信息2.3 拆分与合并颜色三通道3. 图像的几何变化3.1 图像截取3.2 图像缩放3.3 图像移动3.4 图像镜像3.5 图像旋转OpenCV学习——图像基础0. 版本信息产品版本Python3.7Anaconda4.8.3Jupyter6.0.3OpenCV3.4.21. 导包import c

2020-06-23 23:06:43 115

原创 Spark代码可读性与性能优化——示例十一(SQL与代码-蚂蚁森林示例)

文章目录Spark代码可读性与性能优化——示例十一(SQL与代码-蚂蚁森林示例)前言业务描述使用SQL解决业务问题 - 方案1使用SQL解决业务问题 - 方案2使用代码带来更高的性能Spark代码可读性与性能优化——示例十一(SQL与代码-蚂蚁森林示例)前言编写SQL处理业务问题,通常有简单易用、便捷、适用人群广泛等优点,是数据分析师的不二之选。但是,SQL易用的同时也带来了性能的问题,当为了解决某些复杂的业务时,你不得不编写几十至几百行很复杂的SQL来处理。由于为了实现复杂的业务,SQL中会存在

2020-05-31 00:08:36 445 2

原创 Docker——部署(tomcat、nginx、负载均衡、常见问题)

文章目录Docker——部署(tomcat、nginx、文档服务、负载均衡)Docker + Tomcat (基础)Docker + Nginx (基础)Docker + Nginx 文档服务Docker + Nginx + Tomcat (负载均衡、动静分离)常见问题Docker——部署(tomcat、nginx、文档服务、负载均衡)Docker + Tomcat (基础)# 拉取tomc...

2020-04-18 17:00:27 597

原创 Docker——安装、常用命令、生成镜像(Dockerfile)

文章目录Docker——安装、常用命令、生成镜像1. Docker 安装2. Docker 常用命令2.1 基础信息类2.2 镜像-基础命令2.3 容器-基础命令2.4 容器与宿主机(拷贝、端口映射、路径映射)3. 生成镜像3.1 Commit 方式3.2 Dockerfile 方式Docker——安装、常用命令、生成镜像1. Docker 安装切换到root用户 $ su - root...

2020-04-18 16:41:51 650

原创 基于阿里云的数据仓库架构设计

文章目录基于阿里云的数据仓库架构(未完)产品对比离线数仓实时数仓基于阿里云的数据仓库架构(未完)产品对比阿里云产品同类产品简介RDSMySQL、PostgreSQL关系型数据库服务,是阿里提供的云数据库,有各种版本,例如MySQL版、PostgreSQL版、SQLServer版等DTSCanal、DataX、Sqoop、Flume数据传输服务,功能丰富,包...

2020-03-27 14:16:18 3359 1

原创 Spark源码剖析——SparkContext实例化

文章目录Spark源码剖析——SparkContext实例化当前环境与版本前言SparkContext实例化的主要逻辑LiveListenerBus的作用createSparkEnv的过程创建不同的SchedulerBackend、TaskSchedulerDAGSchedulerSpark源码剖析——SparkContext实例化当前环境与版本环境版本JDKjava ...

2020-03-21 22:52:03 1080

原创 TensorFlow2 学习——RNN生成古诗词

文章目录TensorFlow2 学习——RNN生成古诗词0. 前言1. 导包2. 数据预处理2.1 原始数据2.2 数据预处理2.3 构建Tokenizer2.4 构建PoetryDataSet3. 模型的构建与训练3.1 构建模型3.2 训练模型4. 预测4.1 预测单个词4.2 随机生成一首诗、自动续写诗词4.2 生成一首藏头诗5. 其他TensorFlow2 学习——RNN生成古诗词0....

2020-03-14 22:00:36 2343 11

原创 Spark源码剖析——SparkSubmit提交流程

文章目录Spark源码剖析——SparkSubmit提交流程当前环境与版本前言Shell命令部分参数解析 MainSparkSubmitSpark源码剖析——SparkSubmit提交流程当前环境与版本环境版本JDKjava version “1.8.0_231” (HotSpot)SaclaScala-2.11.12Sparkspark-2.4.4...

2020-03-11 21:30:33 1779

原创 TensorFlow2 学习——CNN图像分类

文章目录TensorFlow2 学习——CNN图像分类1. 导包2. 图像分类 fashion_mnist3. 图像分类 cat_vs_dog3.1 原始数据3.2 利用Dataset加载图片3.3 构建CNN模型,并训练TensorFlow2 学习——CNN图像分类1. 导包import matplotlib.pyplot as pltimport numpy as npimport ...

2020-03-11 13:10:31 1996

原创 TensorFlow2 学习——MLP图像分类

文章目录TensorFlow2学习——图像分类导包原始数据数据作图数据划分与标准化构建模型并训练模型评估与预测其他:回调Callback的使用TensorFlow2学习——图像分类导包import matplotlib.pyplot as pltimport numpy as npimport pandas as pdimport tensorflow as tffrom sklea...

2020-03-03 16:27:37 1738 4

原创 Spark源码剖析——Master、Worker启动流程

文章目录Spark源码剖析——Master、Worker启动流程当前环境与版本1. 前言2. Master启动流程2.1 Master的伴生对象2.2 Master3. Worker启动流程3.1 Worker的伴生对象3.2 Worker4. Master与Worker的初步交互(注册)Spark源码剖析——Master、Worker启动流程当前环境与版本环境版本JDK...

2020-02-29 18:05:04 942

原创 Spark源码剖析——RpcEndpoint、RpcEnv

文章目录Spark源码剖析——RpcEndpoint、RpcEnv当前环境与版本1. 前言2. RpcEndpoint2.1 核心UML图2.2 RpcEndpoint源码分析3. RpcEndpointRef3.1 RpcEndpointRef3.2 NettyRpcEndpointRef4. RpcEnvSpark源码剖析——RpcEndpoint、RpcEnv当前环境与版本环境...

2020-02-26 00:39:37 788

原创 推荐算法——ALS模型算法分析、LFM算法

文章目录推荐算法——ALS模型算法分析(隐语义分析)简介算法流程分析-示例推荐算法——ALS模型算法分析(隐语义分析)简介ALS(Alternating Least Squares),即交替最小二乘法,因利用两个矩阵进行交替优化而得名。求解大致步骤如下:定义原始矩阵 Am,n=Um,k∗Vk,nA_{m,n} = U_{m,k} * V_{k,n}Am,n​=Um,k​∗Vk,n​...

2020-02-13 21:29:36 1527

原创 HBase之Rowkey设计

HBase之Rowkey设计Rowkey基础Rowkey按自然顺序存储的,且具有唯一性,示例如下a_022a_101b_123f_031f_051f_131z_121当数据是有序的时候,通常利用二分查找的方式进行点查询、范围查询是最有效的(hash只能进行点查)。HBase的Rowkey查询正是遵循这种规律。Rowkey的查询可以分为两大类Get 点查询,给定一个ro...

2020-02-13 16:34:06 657

原创 Flink示例——Table、SQL

文章目录Flink示例——Table、SQL版本信息Mavan依赖自定义SourceFunctionTableAPI、SQL 简单示例TableAPI、SQL 窗口聚合示例Flink示例——Table、SQL版本信息产品版本Flink1.7.2Java1.8.0_231Scala2.11.12Mavan依赖pom.xml 依赖部分<dep...

2020-02-12 18:07:20 567

原创 Flink示例——State、Checkpoint、Savepoint

文章目录Flink示例——State、Checkpoint、Savepoint版本信息状态后端 State Backend (管理State、Checkpoint)State 示例CheckpointSavepointFlink示例——State、Checkpoint、Savepoint版本信息产品版本Flink1.7.2Java1.8.0_231Scal...

2020-02-11 22:48:17 538

原创 Flink示例——Window、EventTime、WaterMark

文章目录Flink示例——Window、EventTime、WaterMark版本信息自定义SourceFunctionWindow 示例EventTime、WaterMarkFlink示例——Window、EventTime、WaterMark版本信息产品版本Flink1.7.2Java1.8.0_231Scala2.11.12自定义Source...

2020-02-10 21:51:50 580

原创 Flink示例——Connect、CoMapFunction、Split、Select

文章目录Flink示例——Connect、CoMapFunction、Split、Select版本信息自定义SourceFunctionConnect、CoMapFunction 示例Split、Select 示例Flink示例——Connect、CoMapFunction、Split、Select版本信息产品版本Flink1.7.2Java1.8.0_231...

2020-02-10 14:50:03 819

原创 Flink示例——Sink

文章目录Flink示例——Sink版本信息自定义SourceFunctionPrint Sink 示例Kafka Sink 示例ElasticSearch Sink 示例Redis Sink 示例自定义 Sink 示例 (JDBC)Flink示例——Sink版本信息产品版本Flink1.7.2Java1.8.0_231Scala2.11.12自定义...

2020-02-10 14:29:01 663

原创 Flink示例——Source

文章目录Flink示例——Source版本信息Collection/Elements Source 示例Text Source 示例Socket Source 示例Kafka Source 示例自定义 Source 示例Flink示例——Source版本信息产品版本Flink1.7.2Java1.8.0_231Scala2.11.12Collect...

2020-02-10 14:11:40 636

原创 Akka事件驱动——模拟Spark注册、心跳

文章目录Akka事件驱动——模拟Spark心跳Akka简介事件驱动示意图Akka事件驱动——模拟Spark心跳Akka简介对于Netty封装的网络通信框架基于事件驱动模型:异步、非阻塞、高性能Actor的并发模型,单个线程内可以共存多个Actor,不需要为每个连接维护一个线程由Scala编写事件驱动示意图...

2020-01-31 15:53:28 659

原创 MPC多方安全计算——比较算法示意

文章目录MPC多方安全计算——比较算法示意1. 简介与经典例子1.1 简介2.1 经典例子2. 比较算法流程示意2.1 描述2.2 比较算法的流程2.3 算法优势、劣势分析3. 可供参考的项目MPC多方安全计算——比较算法示意1. 简介与经典例子1.1 简介MPC即多方安全计算,主要目的是通过加密手段使得多方节点在互不知数据的情况下完成协同计算,例如多节点之间的比较、加法、聚合等等。...

2020-01-27 22:03:10 1469

原创 分布式一致性算法(Paxos、Raft、ZAB)

分布式一致性算法(Paxos、Raft、ZAB)仅用作自己记录CAP理论一般来说,对于一个分布式系统,不能同时满足以下三点:Consistency (一致性)Availability (可用性)Partition Tolerance (分区容错性)典型例子一致性可用性分区容错性DataBase高高低RDBMS(MySQL、PostgreSQ...

2020-01-22 23:01:13 1116

原创 Spark源码编译

Spark源码编译当前环境System: CentOS Linux release 7.6.1810 (Core)JDK: java version “1.8.0_231” (HotSpot)Sacla: Scala-2.11.12Maven: Apache Maven 3.6.3Spark: spark-2.4.4官方源码编译文档: http://spark.apache.org...

2020-01-14 07:17:46 966

原创 实现一个具有Stream的链式、惰性特点的容器

文章目录如何实现一个类似JavaStream惰性运行的容器?1. Stream 示例2. ChainCollection 链式-非惰性2.1 定义function接口2.2 容器抽象接口2.3 实现容器2.4 Test3. LazyChainCollection 链式-非惰性3.1 惰性节点3.2 实现容器3.3 Test如何实现一个类似JavaStream惰性运行的容器?1. Stream ...

2020-01-11 23:41:54 912

原创 volatile在JVM内存交互中的操作

文章目录volatile在JVM内存交互中的操作JMMJVM内存交互操作volatile在其中的操作示例-非volatile修饰的变量赋值操作示例-volatile修饰的变量赋值操作(lock/unlock)volatile在JVM内存交互中的操作只是做一个简单的记录 ^_^JMM主内存(共享): 本地方法区 + 堆工作区(线程私有): 栈 + 寄存器(程序计数器 + CPU高速缓存区...

2020-01-11 02:49:41 1081

原创 Spark优化总结(四)——业务与架构设计

文章目录Spark优化总结(四)——业务与架构设计1. 前言2. 需求:实时订阅监控系统3. 数据采集、缓冲层、实时计算层的选择3.1 数据采集3.2 缓冲层3.3 实时计算层3.4 目前的架构图4. 怎样将订阅消息推送到实时计算集群?4.1 分析4.2 为所有的用户名设计一个Topic?4.3 将订阅消息存到数据库?4.4 在计算节点开启Socket连接,Web服务发送订阅消息过来?4.5 使用...

2020-01-07 23:13:15 1318

原创 消息队列——RocketMQ示例

文章目录消息队列——RocketMQ示例1. 简介2. 集群架构与工作流程3. 简单示例4. 有序消息示例5. 事务示例消息队列——RocketMQ示例1. 简介定位:分布式消息中间件、消息队列语言:Java性能:10万级吞吐量,ms级时效性可靠性:分布式架构,可靠性非常高其他:由阿里在2016年贡献至Apache基金会,已成为顶级项目。历经双十一考验,能够处理万亿级别的消息。...

2020-01-06 20:50:02 1294

原创 Spark优化总结(三)——调参

文章目录Spark优化总结(三)——调参前言简单示例常用参数JVM调参Spark优化总结(三)——调参前言不要期待修改一个参数能够像魔法一样立马得到神奇的好效果!(某些时候效果确实很棒^_^)你应当把参数看作一道菜中的调味品,能够丰富味道,但主要还是得靠原材料的质量与炒菜的技艺。开发Spark应用时,应当先优化好你的应用代码,再来思考调参优化(必要的参数的除外)。调参是一个比较复杂的主...

2020-01-04 21:50:40 1518

原创 Spark优化总结(二)——代码编写

文章目录Spark优化总结(二)——代码编写1. 前言2. 选择合理的数据结构3. Java容器与Scala容器互转4. 关注经常执行的代码块5. Spark API6. 广播的问题7. 数据传输与解析8. 设计一个合宜的项目结构Spark优化总结(二)——代码编写1. 前言编写一个性能较高的Spark应,需要有良好的代码编写功底。一块不好的代码,通常会导致BUG、效率缓慢等问题,而经常需...

2020-01-03 16:00:37 1757

原创 Spark代码可读性与性能优化——示例十(项目结构)

文章目录Spark代码可读性与性能优化——示例十(项目结构)前言安排好每个包下的类为Spark应用设计一个模板基类Spark代码可读性与性能优化——示例十(项目结构)前言安排好每个包下的类安排好各个包的功能,可以方便查看项目代码结构,明确功能,有利降低开发的混乱度在这里,举一个可供参考的示例,如下解释app 用于存放开发的Spark应用common 用于存放通用的配置,或者某...

2020-01-02 19:34:36 1708

原创 Spark代码可读性与性能优化——示例九(数据传输与解析)

文章目录Spark代码可读性与性能优化——示例九(数据传输与解析)1. 前言2. Kyro序列化3. csv解析4. json解析5. 其他Spark代码可读性与性能优化——示例九(数据传输与解析)1. 前言通常数据传输与解析是开发人员不常关心的一个方面,会直接使用最便利的方式处理。但是,无论是数据在网络中的传输还是数据的解析方式都会对性能产生影响。下面就举几个例子来说明该如何处理数据。...

2020-01-02 16:32:57 1534

ProtobufForJavaAndWindows.zip

Protobuf相关工具包,用于Java和Windows平台。包括Java依赖包protobuf-java-3.9.1.jar,.porto协议文件解析程序protoc-3.9.1-win64.zip

2019-08-22

KryoForJavaAndScala.zip

kryo使用相关的jar包 For java and scala,包括: - kryo核心包,以及其相关依赖的lib - twitter/chill 包: chill_2.11-0.8.0.jar, chill-java-0.8.0.jar - twitter/bijection包: bijection-core_2.11-0.9.1.jar, chill-bijection_2.11-0.9.1.jar

2019-08-22

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除