omnispace的博客

专注AI,物联网,区块链,安卓以及相关安全技术

如何在TensorFlow中训练Boosted Trees模型

在使用结构化数据时,诸如梯度提升决策树和随机森林之类的树集合方法是最流行和最有效的机器学习工具之一。 树集合方法训练速度快,无需大量调整即可正常工作,并且不需要大型数据集进行训练。 在TensorFlow中,梯度增强树可以使用tf.estimator API,它还支持深度神经网络,广泛和深度模型...

2019-04-27 15:49:18

阅读数 194

评论数 0

标准化Keras:TensorFlow 2.0中的高级API指南

TensorFlow正准备发布2.0版本 。 在本文中,我们希望预览TensorFlow的高级API标题的方向,并回答一些常见问题。 Keras是一个非常受欢迎的高级API,用于构建和培训深度学习模型。 它用于快速原型设计,最先进的研究和生产。 虽然TensorFlow今天支持Keras,但是我...

2019-04-27 15:47:24

阅读数 143

评论数 0

新浪是如何分析处理32亿条实时日志的?

服务介绍 随着实时分析技术的发展及成本的降低,用户已经不仅仅满足于离线分析。目前我们服务的用户包括微博,微盘,云存储,弹性计算平台等十多个部门的多个产品的日志搜索分析业务,每天处理约32亿条(2TB)日志。 技术架构 简单介绍一下服务的技术架构: 这是一个再常见不过的架构了: (1)...

2019-04-18 18:20:25

阅读数 129

评论数 0

互联网亿级日志实时分析平台,一个码农半小时就可以搞定,只因ELK

一,前言 人们常常说数据如金,可是,能被利用起的数据,才是“金”。而互联网的数据,常常以日志的媒介的形式存在,并需要从中提取其中的"数据"。 从这些数据中,我们可以做用户画像(每个用户都点了什么广告,对哪些开源技术感兴趣),安全审计,安全防护(如果1小时内登录请求数到达一定...

2019-04-18 18:16:18

阅读数 181

评论数 0

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」 废话不多说,老司机们座好了,我们准备发车了~~~ 整体架构 整体架构主要分为 4 个模块,分别提供不同的功能 Fi...

2019-04-18 18:14:37

阅读数 50

评论数 0

深入理解 Java 锁与线程阻塞

相信大家对线程锁和线程阻塞都很了解,无非就是 synchronized, wait/notify 等, 但是你有仔细想过 Java 虚拟机是如何实现锁和阻塞的呢?它们之间又有哪些联系呢?如果感兴趣的话请接着往下看。 为保障多线程下处理共享数据的安全性,Java 语言给我们提供了线程锁,保证同一...

2019-04-18 18:05:01

阅读数 104

评论数 0

微信终端跨平台组件 Mars 系列(三)连接超时与IP&Port排序

前言 Mars 是微信官方的终端基础组件,是一个使用 C++ 编写的业务无关、跨平台的基础组件。目前在微信 Android、iOS、Windows、Mac、WP 等多个平台中使用。Mars 主要包括以下几个独立的部分: COMM:基础库,包括socket、线程、消息队列、协程等基础工具; ...

2019-04-18 17:51:52

阅读数 135

评论数 0

微信终端跨平台组件 mars 系列(二) - 信令传输超时设计

前言 mars 是微信官方使用 C++ 编写的业务性无关、平台性无关的终端基础组件,目前在微信 Android、iOS、Windows、Mac、Windows Phone 等多个平台中使用,并正在筹备开源,它主要包含以下几个独立的部分: COMM:基础库,包括 socket、线程、消息队列...

2019-04-18 17:50:34

阅读数 98

评论数 0

微信终端跨平台组件 mars 系列(一) - 高性能日志模块xlog

前言 mars 是微信官方的终端基础组件,是一个使用 C++ 编写的业务性无关,平台性无关的基础组件。目前已接入微信 Android、iOS、Mac、Windows、WP 等客户端。现正在筹备开源中,它主要包括以下几个部分: comm:可以独立使用的公共库,包括 socket、线程、消息队...

2019-04-18 17:48:49

阅读数 133

评论数 0

Android微信智能心跳方案

前言: 在13年11月中旬时,因为基础组件组人手紧张,Leo安排我和春哥去广州轮岗支援。刚到广州的时候,Ray让我和春哥对Line和WhatsApp的心跳机制进行分析。我和春哥抓包测试了差不多两个多礼拜,在我们基本上摸清了Line和WhatsApp的心跳机制后,Ray才告诉我们真正的任务——对微...

2019-04-18 17:31:27

阅读数 160

评论数 0

高性能日志框架 Log4a 原理分析

Log4a 是一个基于 mmap, 高性能、高可用的 Android 日志收集框架 WHY Log4a: 如果觉得还不错,欢迎 start,fork。 Log4a 使用 mmap 文件映射内存作为缓存,可以在不牺牲性能的前提下最大化的保证日志的完整性。 日志首先会写入到 mmap 文件映射内...

2019-04-18 17:28:08

阅读数 35

评论数 0

基于 ELK Stack 和 Spark Streaming 的日志处理平台设计与实现

概述 大数据时代,随着数据量不断增长,存储与计算集群的规模也逐渐扩大,几百上千台的云计算环境已不鲜见。现在的集群所需要解决的问题不仅仅是高性能、高可靠性、高可扩展性,还需要面对易维护性以及数据平台内部的数据共享性等诸多挑战。优秀的系统运维平台既能实现数据平台各组件的集中式管理、方便系统运维人员日...

2019-04-18 12:53:21

阅读数 116

评论数 0

【学习笔记】分布式Tensorflow

https://www.cnblogs.com/zhangfengxian/p/10690218.html 目录 分布式原理 单机多卡 多机多卡(分布式) 分布式的架构 节点之间的关系 分布式的模式 数据并行 同步更新和异步更新 分布式API 分布式案例 T...

2019-04-12 18:12:25

阅读数 30

评论数 0

NLP热门词汇解读

01Transformer Transformer在2017年由Google在题为《Attention Is All You Need》的论文中提出。Transformer是一个完全基于注意力机制的编解码器模型,它抛弃了之前其它模型引入注意力机制后仍然保留的循环与卷积结构,而采用了自注意力(...

2019-04-12 18:01:01

阅读数 118

评论数 0

volatile关键字到底做了什么?

话不多说,直接贴代码 class Singleton { private static volatile Singleton instance; private Singleton(){} //双重判空 public static Singleto...

2019-04-12 17:57:31

阅读数 59

评论数 0

2018汇总数据结构算法篇

看图轻松理解数据结构和算法系列(数组) 看图轻松理解数据结构与算法系列(单向链表) 看图轻松理解数据结构与算法系列(双向链表) 看图轻松理解数据结构与算法系列(基于数组的栈) 看图轻松理解数据结构与算法系列(二叉搜索树) 看图轻松理解数据结构与算法系列(AVL树) ...

2019-04-12 17:35:24

阅读数 189

评论数 0

如何用TensorFlow训练聊天机器人(附github)

前言 实际工程中很少有直接用深度学习实现端对端的聊天机器人,但这里我们来看看怎么用深度学习的seq2seq模型来实现一个简易的聊天机器人。这篇文章将尝试使用TensorFlow来训练一个基于seq2seq的聊天机器人,实现根据语料库的训练让机器人回答问题。 seq2seq 关于seq2seq...

2019-04-12 17:32:51

阅读数 175

评论数 0

时间序列分类算法简介及其在能耗数据分类上的应用

本文首先简要介绍最近几年来时间序列分类算法的最新研究成果,包括dynamic time warping的各种改进技术和相关研究,以及最新的聚合式算法(ensemble algorithm)。其次以根据能耗数据来监测服务器运行程序的研究为实例,介绍如何对实际应用中的时间序列数据进行更准确的分类。 ...

2019-04-11 15:07:33

阅读数 95

评论数 0

[Leetcode] 91. Decode Ways 解码方法(动态规划,字符串处理)

A message containing letters fromA-Zis being encoded to numbers using the following mapping: 'A' -> 1 'B' -> 2 ... 'Z' -> 26 ...

2019-04-09 17:14:13

阅读数 40

评论数 0

c/c++反混淆方法

deobfuscation 记需要反混淆的函数为output=obf-function(input)。 反混淆的思路,首先标记输入的变量记为input-symbol,通过Taint跟踪改变量的流向,并提取与该输入变量input-symbol和输出变量output-symbol有关的所有表达...

2019-04-08 15:24:42

阅读数 147

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭