自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

点点的博客

我的呆萌你醒了, 还认识早晨吗? 昨夜你曾经说, 愿夜幕永不开启。 初吻吻别的那个季节, 不是已经哭过了吗? 你的香腮边轻轻滑落的, 是你的泪,还是我的泪。 我的指尖还记忆著, 你慌乱的心跳。...

原创 Pytorch安装入门

一、什么是Pytorch Pytorch的官网:https://pytorch.org/ PyTorch是一个较新的深度学习框架。从名字可以看出,其和Torch不同之处在于PyTorch使用了Python作为开发语言,所谓“Python first”。一方面,使用者可以将其作为加入了GPU支持的n...

2019-03-24 12:46:14 832 0

原创 TensorFlow+python Flask进行手写识别

1.首先进行环境搭建: 请参看:https://blog.csdn.net/qq_32447301/article/details/79485374 2.分享: 手写数字识别、基于TensorFlow框架、采用mnist数据集、python flask框架整合。 3.首先看实现效果与dem...

2018-06-06 22:14:30 4572 1

原创 TensorFlow机器学习小案例(五)

1、损失函数: 表示用来预测值与已知答案进行比较差距,在神经训练网络时,通过不断改变神经所有参数,使损失函数不断减少。从而提高准确率的神经网络模型。 2、学习率: 进行更新参数,学习率大了,优化的参数不怎么改变,学习率小,优化参数变化大,影响误差。 3、滑动平均: ...

2018-04-05 11:22:50 430 1

原创 TensorFlow机器学习小案例(四)

简单demo1 #coding:utf-8 #0 导入模块 生成模拟数据 import tensorflow as tf import numpy as np BATCH_SIZE=8 seed=23455 #基于seed 生产随机数 rng=np.random.RandomState(seed...

2018-03-28 22:59:34 421 1

原创 TensorFlow机器学习小案例(三)

利用TensorFlow实现线性回归模型demo import numpy as np import tensorflow as tf import matplotlib.pyplot as plt # 随机生成1000个点,围绕在y=0.1x+0.3的直线周围 num_points = 10...

2018-03-11 22:18:49 467 0

翻译 TensorFlow机器学习安装与配置(二)

TensorFlow是Google开源的一款人工智能学习系统。为什么叫这个名字呢?Tensor的意思是张量,代表N维数组;Flow的意思是流,代表基于数据流图的计算。把N维数字从流图的一端流动到另一端的过程,就是人工智能神经网络进行分析和处理的过程。 话说在Android占领了移动端后,Goog...

2018-03-08 15:44:10 1204 0

原创 TensorFlow机器学习安装与配置

1、安装Anaconda3(内含python3.5.2环境) Anaconda是一个集成的python环境,继承了许多python科学计算的第三方库,在使用TensorFlow时经常用到。好处是一键安装非常方便。在下使用的版本是Anaconda3-4.2.0-Windows-x86_64...

2018-03-07 16:18:05 337 0

原创 机器学习开源库

以下是根据不同语言类型和应用领域收集的各类工具库,持续更新中。 C 通用机器学习 Recommender- 一个产品推荐的C语言库,利用了协同过滤. 计算机视觉 CCV -C-based/Cached/Core Computer Vision Library ,是一个现代化的计算机视觉库...

2018-03-06 16:33:36 730 0

翻译 RSocket与springboot整合

一、依赖: <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent<...

2020-06-01 23:01:11 14 0

翻译 压缩算法

六种无损数据压缩算法 1. LZ77 LZ77算法发布于1977年。作为很多其他无损压缩算法的基础,它使用了“滑动窗口”的概念。在这个概念中,LZ77管理了一个字典。该字典使用三元组的方式: 偏移量(Offset):短语起始处于文件开头之间的距离 行程长度(Run length):组成短语的字符数...

2020-05-31 19:39:29 22 0

原创 双缓存队列和异步工具类

一、双缓存队列 import java.util.LinkedList; import java.util.Queue; /** * 双缓存队列 * @param <T> */ public class DoubleBlockingQueue<T> { ...

2020-05-29 17:25:08 28 0

原创 vertx和springboot整合案例

项目结构: 依赖: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi...

2020-05-27 23:07:43 40 0

原创 springboot集成prometheus的2种方式

第一种:micrometer核心包 桥接Prometheus 依赖: <!--web模块--> <dependency> <groupId>org.springframework.boot</groupId>...

2020-05-24 22:36:21 49 0

原创 并行for循环

流式for循环 private static void test1() { ArrayList<String> arrayList = new ArrayList<>(); for (int i = 0; i < 100; i+...

2020-05-23 12:24:09 53 0

翻译 开源分布式追踪系统

一、OpenTracing 用于分布式跟踪的工具与API进行结合使用。 依赖 <dependency> <groupId>io.opentracing</groupId> <artifactId>opentracing-api<...

2020-05-19 22:35:18 57 0

原创 开源运维平台

一、openspug 介绍: 系统包含代码发布部署,主机管理,主机批量执行,环境管理,配置管理,任务计划管理等。后续还有监控报警等。 开源地址: https://github.com/openspug/spug 二、CoDo开源一站式DevOps平台 介绍: CODO是一款为用户提供企业多混合云、...

2020-05-17 23:15:34 77 0

原创 Spring Boot 和Dataway实现
原力计划

一、介绍   依托 DataQL 服务聚合能力,为应用提供一个 UI 界面。并以 jar 包的方式集成到应用中。 通过 Dataway 可以直接在界面上配置和发布接口。 这种模式的革新使得开发一个接口不必在编写任何形式的代码,只需要配置一条 DataQL 查询即可完成满足前端对接口的需求。 从而避...

2020-05-17 22:21:04 122 0

翻译 延时队列方式

一、(定期轮询或者无限循环)实现延迟任务(数据库、缓存、Map、List、线程、线程池等) 待续… import java.time.Instant; import java.time.LocalDateTime; import java.util.HashMap; import java.uti...

2020-05-12 23:06:36 57 0

原创 Apache Beam

一、介绍: Apache Beam 实施可在任何执行引擎上运行的批处理和流数据处理作业, 提供了一套统一的 API 来处理两种数据处理模式(批和流),让我们只需要将注意力专注于数据处理的算法上,而不用再花时间去维护两种数据处理模式上的差异。 二、架构: 三、开源社区 文档地址:https://b...

2020-05-11 23:47:00 170 0

原创 分布式定时任务

一、开源框架 1、elastic-job 介绍: Elastic-Job是一个分布式计划解决方案,由两个独立的项目Lite和Cloud组成。 Elastic-Job-Lite是一种轻量级的分散式解决方案,可提供分布式任务分片服务。Elastic-Job-Cloud是一个Mesos框架,它提供其他资...

2020-05-11 22:53:41 86 0

翻译 全链路追踪与微服务网关

一、Tracing Analysis 介绍: 链路追踪(TracingAnalysis)为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具。能够帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈,提高微服务时代下的开发诊断效率。 使用地址:https://w...

2020-05-10 22:50:45 86 0

原创 实现操作日志2中方式

一、基于AOP(切面)或者拦截器 传统的实现方案 优点:实现思路简单; 缺点:增加数据库的负担,强依赖前端的传参,不方便拓展,不支持批量操作,不支持多表关联; 优化缺点: 但是这个缺点可以换成Elasticsearch进行存储与查询 实现方式:AOP切面实现操作日志 AOP实现返回值与请求参数:...

2020-05-10 21:11:16 64 0

翻译 前端脚手架与策略者模式

一、策略者模式 package com.citydo.faceadd.decoratormode; public abstract class Attack implements GameRoleInterface { public GameRoleInterface gr; ...

2020-04-22 21:22:07 56 0

翻译 Apache kylin WEB界面操作说明

一、题记 Apache kylin 提供了一个非常好用的 Web 界面,通过 web 界面可以将 hive 表里面的数据同步到 kylin 中。基于 Hive 表构建 model(模型)、cube(多维立方体)。通过配置 Mandatory Dimensions(必要维度)、Hierarchy D...

2020-04-19 21:10:07 118 0

原创 Spring AOP 操作日志实现

Apache Kylin

2020-04-19 19:53:52 57 0

翻译 Apache Flink API

Apache Flink API http://www.imooc.com/read/64/article/1443

2020-04-18 22:44:47 60 0

原创 Apache Spark Streaming 实战

Streamming 原理:

2020-04-18 21:18:29 51 0

翻译 阿里开源人脸识别API

一、项目 二、jar包导入 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns...

2020-04-18 19:17:54 145 0

翻译 软电话与视频会议

一、软电话(freeswitch+webrtc+sipjs+jssip) 0、官网:https://freeswitch.com/ 1、开源地址:https://github.com/signalwire/freeswitch 2、简介: FreeSWITCH是一个软件定义的电信堆栈,能够实现从专...

2020-04-13 23:22:28 94 0

原创 网关

一、什么是网关 1、网关:Gateway又称网间连接器、协议转换器。网关在传输层上以实现网络互连,是最复杂的网络互连设备,仅用于两个高层协议不同的网络互连。 大家都知道,从一个房间走到另一个房间,必然要经过一扇门。同样,从一个网络向另一个网络发送信息,也必须经过一道“关口”,这道关口就是网关。顾名...

2020-03-30 22:39:09 57 0

转载 华为AI开发平台

一、Mind studio Mind Studio的是一套基于华为自研昇腾AI处理器开发的AI全栈开发工具平台,包括网络模型移植、应用开发、推理运行及自定义算子开发,通过Mind Studio能够进行工程管理、编译、性能分析等全流程开发,提高开发效率。 模型管理工具-OMG/OME 业务编排工...

2020-03-29 11:23:40 135 0

原创 Doris是什么?

一、什么是Doris Doris 是一个 MPP 的 OLAP 系统,主要整合了 Google Mesa(数据模型),Apache Impala(MPP Query Engine) 和 Apache ORCFile (存储格式,编码和压缩) 的技术。 ...

2020-03-28 19:48:02 399 0

翻译 Kylin作用是什么?

题记:想了解Kylin、首先需要了解一下什么是OLAP、OLTP 一、OLAP:( OnLine Analytical Processing ) 一般查询延迟在秒级或者毫秒级,可以实现交互式查询、OLAP的查询一般需要Scan大量数据,大多时候只访问部分列,聚合的需求(Sum、Count、Max、...

2020-03-23 22:27:18 177 0

原创 Flume采集数据利器

一、什么是Flume Apache Flume 是一个分布式、高可靠、高可用的用来收集、聚合、转移不同来源的大量日志数据到中央数据仓库的工具。Flume 可以做离线也可以做实时分析。 二、Flume架构 如图所示: Agent就是Flume的一个部署实例,一个完整的Agent中包含了三个组件So...

2020-03-22 19:18:15 119 0

翻译 阿里一键生成代码工具

一、题外话 推荐阿里自动生成demo的网站:https://start.aliyun.com/ 很强大直接勾选就可以生成、亲测、适合初学者与尝鲜,开箱即用。 参考:阿里云

2020-03-20 19:40:00 330 0

翻译 Hive安装部署

一、环境准备 Hive的安装是需要一些前置环境的,在安装Hive之前,我们需要安装Java环境,安装mysql环境,安装hadoop环境,并且保证我们的Hadoop环境是可用的。 下载Hive安装包: https://mirrors.tuna.tsinghua.edu.cn/apache/hive...

2020-03-20 19:33:29 53 0

原创 数据隔离与数仓分层

一、数据隔离 二、数据隔离方法 三、数仓分层 四、数仓优缺点 五、数仓怎么优化分层

2020-03-17 11:34:47 128 0

翻译 Cloudera Manager平台

一、Cloudera Manager平台 0、简介: 通过Cloudera Manager,可以轻松管理生产中任何规模的Cloudera部署。通过直观的UI快速部署,配置和监视群集-包括滚动升级,备份和灾难恢复以及可自定义的警报。 官网:https://www.cloudera.com/ 1、架构...

2020-03-15 21:07:23 36 0

原创 客户端负载均衡、中间件对比

一、目前用最多的项目 作用 用得最多 成功的替代项目 正在推进替代项目 服务发现 Eureka Consul、Zookeeper Alibaba Nacos 负载均衡器 Ribbon SOFARPC Hoxton M3才会有替代品 断路器 Hystrix - Resilie...

2020-03-15 17:16:00 61 0

翻译 Yarn与Zookeeper(Eureka)对比

一、解决问题: Yarn Zookeeper(Eureka) 1、可扩展性:下一代计算平台应该可以平滑地扩展到数万个节点和并发的应用。 1、配置管理:统一配置文件分发并且及时让worker生效。 2、可维护性:下一代计算平台应该保证集群升级与用户应用程序的完全解耦。 2、 集群...

2020-03-10 23:14:19 74 0

提示
确定要删除当前文章?
取消 删除