- 博客(345)
- 资源 (35)
- 收藏
- 关注
RSS订阅原创 WebSocket 测试
默认情况下，Tomcat的WebSocket最大连接数为200。WebSocket后台代码package com.chat.demo;/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE ...
2019-07-11 09:07:46
612
转载 前后端分离
传统的管理系统通常将前端页面显示与后端接口开发放在一起，后端开发需要花很大精力在页面调试上。术业有专攻，前后端分离可以让开发人员对前后端的优化达到最好的状态，现在大部分通过nginx+nodejs+tomcat进行分开部署，这为后续的分布式架构、弹性计算架构、多端化服务（PC浏览器、手机浏览器、车载终端、移动端）打下服务解耦的坚实基础，其核心思想就是前端通过ajax调用后端API进行交互，涉及一些...
2019-07-10 12:03:28
356
原创 Python高性能编程
Python语言是一种脚本语言，其应用领域非常广泛，包括数据分析、自然语言处理、机器学习、科学计算、推荐系统构建等。 本书共有12章，围绕如何行代码优化和加快实际应用的运行速度行详细讲解。本书主要包含以下主题：计算机内部结构的背景知识、列表和元组、字典和集合、迭代器和生成器、矩阵和矢量计算、并发、集群和工作队列等。*后，通过一系列真实案例展现了在应用场景中需要注意的问题。 本书适合初级和中级Pyt...
2019-06-17 10:52:29
529
转载 for update引发了血案
公司的某些业务用到了数据库的悲观锁 for update，但有些同事没有把 for update 放在 Spring 事务中执行，在并发场景下发生了严重的线程阻塞问题，为了把这个问题吃透，秉承着老司机的职业素养，我决定要给同事们一个交代。案发现场最近公司的某些 Dubbo 服务之间的 RPC 调用过程中，偶然性地发生了若干起严重的超时问题，导致了某些模块不能正常提供服务。我们的数据库用的是...
2019-06-09 17:12:00
1074
转载 postgresql-窗口函数使用
背景PostgreSQL作为世界上功能最强大的开源数据库，窗口函数作为业务过程中进行数据统计必不可少的功能，对PG自然是不在话下，PG内置了大量的窗口函数。本文就是和大家一起在实际业务场景下如何使用窗口函数进行一探究竟。。。一、os环境及postgresql版本os环境os：centos 6.4[postgres@ test ~]$ uname -aLinux db 2....
2019-06-06 11:22:08
1025
转载 python多线程和多进程
1 概念梳理：1.1 线程1.1.1 什么是线程线程是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。一个线程是一个execution context（执行上下文），即一个cpu执行时所需要的一串指令。1.1.2 线程的工作方式假设你正在读一本书，没...
2019-06-05 17:08:30
224
转载 《统计学习方法》(李航)读书笔记
阅读目录知识点 感知机 k近邻法 朴素贝叶斯 决策树 logistic回归和最大熵模型 支持向量机 提升方法 EM算法 隐马尔可夫模型(HMM) 统计学习方法总结 神经网络 K-Means Bagging Apriori 降维方法 引用因为要准备面试,本文以李航的《统计学习方法》为主,结合西瓜书等其他资料对机器学习知识做一个整理.回到顶部知识点进程...
2019-05-29 21:12:35
609
转载 JupyterHub与OpenLDAP集成
原文1.文档编写目的Fayson在前面文章《如何在非安全的CDH集群中部署Jupyter并集成Spark2》及《如何在非安全的CDH集群中部署多用户JupyterHub服务并集成Spark2》中介绍了Jupyter与JupyterHub的部署与Spark2集成。JupyterHub的用户默认是基于OS系统用户，对于用户的管理和维护都需要在服务器上进行操作不便于管理。本篇文章Fayson主要...
2019-05-28 19:42:05
1312
转载 使用MySQL中的对象数组查询JSON列
我有一个带有follow数组的json列：[ { "id": "24276e4b-de81-4c2c-84e7-eed9c3582a31", "key": "id", "type": "input", }, { "id": "e0ca5aa1-359f-4460-80ad-70445be49644", "key": "name"...
2019-05-28 17:05:58
6799
转载 服务器配置规划
https://www.kancloud.cn/javamall/scbssmsc/710067服务器配置规划使用背景本文档硬件是采用的阿里云ECS服务器 图片存储采用的是阿里云的OSS部署拓扑图1000并发服务器配置服务器 硬件配置 台数 部署内容 负载均衡 CPU：4核，内存：8G 1台 Nginx 静态页 CPU：...
2019-05-28 17:05:14
1656
转载 PostgreSQL与MySQL的区别收集
特性 MySQL PostgreSQL 实例 通过执行 MySQL 命令（mysqld）启动实例。一个实例可以管理一个或多个数据库。一台服务器可以运行多个 mysqld 实例。一个实例管理器可以监视 mysqld 的各个实例。 通过执行 Postmaster 进程（pg_ctl）启动实例。一个实例可以管理一个或多个数据库，这些数据库组成一个集群。集群是磁盘...
2019-05-28 16:46:13
194
转载 Python 从协议到抽象基类
1. 前言本篇讨论Python中接口的实现问题，主要内容如下：补充用鸭子协议实现部分接口的一种重要方法：猴子补丁； 说明抽象基类的常见用途，即，实现接口时作为超类使用； 说明抽象基类如何检查具体子类是否符合接口定义，以及如何使用注册机制声明一个类实现了某个接口； 说明如何不通过子类化或注册，也能让抽象基类自动“识别”任何符合接口的类。补充在正文之前：在Python中，“X类对象...
2019-05-26 21:12:14
175
转载 xgboost算模型输出的解释
1. 问题描述 近来, 在python环境下使用xgboost算法作若干的机器学习任务, 在这个过程中也使用了其内置的函数来可视化树的结果, 但对leaf value的值一知半解; 同时, 也遇到过使用xgboost内置的predict对测试集进行打分预测, 发现若干样本集的输出分值是一样的. 这个问题该怎么解释呢? 通过翻阅Stack Overflow上的相关问题, 以及搜索到的gi...
2019-05-24 15:15:54
15397
2
转载 数据仓库分层
背景下面的内容是基于参考中的文档进行的二次读书笔记。数据分层传统行业传统行业的数据仓库工程师, 开始尝试架构工程领域比较流行的ER模型+维度模型方式，构建出一个四层的模型架构ODL(数据操作层, ODS层): 与源系统一致 BDL(基础数据层, DWD层): 引入ER模型，加强数据的整合，构建一致的基础数据模型 IDL(接口数据层, DWA/DWI层): 基于维度模型方法构...
2019-05-20 16:40:56
5617
转载 最常见30种NLP任务练手项目汇总
1.分词 Word Segmentationchqiwang/convseg ，基于CNN做中文分词，提供数据和代码。2.词预测 Word PredictionKyubyong/word_prediction ，基于CNN做词预测，提供数据和代码。3. 文本蕴涵 Textual EntailmentSteven-Hewitt/Entailment-with-Tens...
2019-05-18 20:19:40
1988
转载 PyTorch internals
This post is a long form essay version of a talk about PyTorch internals, that I gave at the PyTorch NYC meetup on May 14, 2019.Hi everyone! Today I want to talk about the internals ofPyTorch....
2019-05-18 19:56:49
617
转载 10 种最流行的 Web 挖掘工具
互联网有数不清的网页，且不断在以指数级速度产生新内容。到 2022 年，整个互联网创建和复制的数据将达到 44 ZB，也就是 44 万亿 GB。这么大体量内容的背后也带来了丰富信息源，唯一的问题是怎么在这浩如烟海的信息中检索到你想要的信息并带来价值。直接解决方案就是使用 Web 挖掘工具 。Web 挖掘是应用数据挖掘技术，从 Web 数据中提取知识。这个 web 数据可以是 Web 文档，文档...
2019-05-18 19:36:43
236
转载 Phoenix=HBase+SQL,让HBase插上了翅膀
原文本次分享来源于阿里多模型数据库专家张赟的分享，关于如何使用Phoenix来查询Hbase以及Phoenix的应用场景。...
2019-05-18 19:13:21
109
转载 Python 标准库
Python 语言参考描述了 Python 语言的具体语法和语义，这份库参考则介绍了与 Python 一同发行的标准库。它还描述了通常包含在 Python 发行版中的一些可选组件。Python 标准库非常庞大，所提供的组件涉及范围十分广泛，正如以下内容目录所显示的。这个库包含了多个内置模块 (以 C 编写)，Python 程序员必须依靠它们来实现系统级功能，例如文件 I/O，此外还有大量以 ...
2019-05-15 16:11:12
189
转载 Python 正则表达式模块 - re
Python 正则表达式语法正则表达式可以包含普通字符和特殊字符，普通字符（比如数字或者字母）可以直接对目标字符串进行匹配，在本文中我们主要讨论利用特殊字符来模糊匹配某一些字符串的方法，比如'|'或者'('，使用这些特殊字符，正则表达式可以表示某一类的普通字符，或者是改变其周围的正则表达式的含义。具体如表 2-1 所示：表 1. 正则表达式语法符号 意义 例子 . ...
2019-05-15 16:09:37
345
翻译 Python调试器
原文多年来，我一直非常高兴地使用jupyternotebook，主要是使用Python，而且在学术界和业界，它们的流行程度都在不断增长，这是确定无疑的。不过，我确实有些恼火，这就是缺少类似于Eclipse、IntelliJ或VisualStudio代码等其他IDE中提供的一流的可视化调试器。有些人会正确地指出，木星已经支持PDB进行简单的调试，您可以手动和顺序地输入命令来执行诸如检查...
2019-05-14 08:34:42
1418
转载 禅道的数据库结构
禅道的数据库命名都比较简明扼要，从字面意思应该都可以猜出来表的用途。如果还不是很清楚的话，可以到每个表对应的模块下面的语言文件里面查找。 最新版本可以在 禅道后台---二次开发---数据库中查看相应的表介绍。一、我的地盘相关的表zt_todo，待办事宜表。二、产品相关的表zt_product，记录了产品相关的信息。 zt_productplan，记录了产品的...
2019-05-13 09:38:22
2832
转载 Java 内存、HashMap、Hashtable面试题
01Android 内存泄漏的原因以及解决方案1、内存泄漏指对象不再使用，本该被回收，却因为有其他正在使用的对象持有该对象的引用，而无法被JVM回收2、内存泄漏的影响： 应用可用内存减少，增加堆内存压力 频繁触发GC，会降低了应用的性能 到一定程序会导致内存溢出错误 3、Android开发中常见内存泄漏及解决办法 静态变量生命周期...
2019-05-12 20:29:46
207
翻译 数据管理与数据治理的区别
(来源：DAMS，原作者：Jelani Harper，翻译：新炬网络-梁铭图， 整理：DAMS) 数据管理与数据治理的区别 (来源：DAMS，原作者：Jelani Harper，翻译：新炬网络-梁铭图， 整理：DAMS) 数据管理和数据治理有很多地方是互相重叠的，它们都围绕数据 这个领域展开，因此这两个术语经常被混为一谈。此外，每当人们提 起数据管理和数据治理的时候，还有一对类似...
2019-05-12 16:25:41
4046
原创 在anaconda环境下搭建python3.5 + jupyter sparkR，scala，pyspark
在anaconda环境下搭建python3.5 + jupyter sparkR，scala，pyspark多用户jupyterhub+kubernetes 认证：https://my.oschina.net/u/2306127/blog/1837196https://ojerk.cn/Ubuntu%E4%B8%8B%E5%A4%9A%E7%94%A8%E6%88%B7%E7%89%88j...
2019-05-11 17:58:59
2544
2
原创 HadoopLearning
HadoopLearning centos Centos系统安装 linux常用命令 shell脚本编写 maven 安装部署基础概念 依赖聚合与继承 搭建管理与应用 hdfs 内部结构与读写原理 故障读写容错与备份机制 HA高可用与Federation联邦 使用api操作hdfs yarn 框架组件流程调度 ...
2019-05-08 22:34:03
109
转载 Kafka总结
原文一 Kafka概述1.1 Kafka是什么在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2）Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目...
2019-05-08 22:26:07
184
转载 Spark streaming消费Kafka的正确姿势
Spark streaming消费Kafka的正确姿势前言在游戏项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了spark streaming从kafka中不断拉取数据进行词频统计。本文首先对spark streaming嵌入kafka的方式进行归纳总结，之后简单阐述Spark streaming...
2019-05-08 12:12:56
738
转载 主题模型LDA理解与应用
本文主要用于理解主题模型LDA（Latent Dirichlet Allocation）其背后的数学原理及其推导过程。本菇力求用简单的推理来论证LDA背后复杂的数学知识，苦于自身数学基础不够，因此文中还是大量引用了各方大神的数学推导细节，既是为了方便自己以后回顾，也方便读者追本溯源，当然喜欢直接看应用的读者可直接翻到第二章~基本目录如下： LDA的原理 1.1 先导数学知识准备 1....
2019-05-07 23:09:06
1116
1
转载 一种增加先验知识库的贝叶斯网络推理模型
瞿锡垚1 ，刘学军 1 ，张礼 2（1.南京航空航天大学，计算机科学与技术学院，江苏 南京 211106；2.南京林业大学，信息科学技术学院，江苏 南京 210037）摘 要 ：贝叶斯网络作为一种不确定知识表示网络，由网络结构和各节点的条件概率表组成，在解决系统决策问题方面具有先天的理论优势。目前在大多数贝叶斯网络的应用中，各节点条件概率表的产生均是以人工输入的方式完成，这在一些拥...
2019-05-06 11:07:29
2109
翻译 构建贝叶斯深度学习分类器
原文介绍在这篇博客，我会教你如何培养使用贝叶斯深学习分类Keras和tensorflow。在深入了解具体的培训示例之前，我将介绍几个重要的高级概念：什么是贝叶斯深度学习？ 什么是不确定性？ 为什么不确定性很重要然后，我将介绍两种在深度学习模型中包含不确定性的技术，并将使用Keras在cifar10数据集上通过冻结的ResNet50编码器训练完全连接的层。通过这个例子，我还将讨论探...
2019-05-04 17:05:17
2525
1
原创 概率图模型-贝叶斯网络
概率图模型使用图的方法来表示概率分布，在该模型中，结点表示变量，节点之间的边表示变量之间的概略关系。概率图的分类概率图依据边的属性不同主要分为两大类：第一类是有向图无环图，表示依赖关系，称为有向图模型或贝叶斯网。第二类是使用无向图，表示变量之间的关系，称为无向图模型或马尔科夫网。当变量间存在显著地因果关系时，常使用贝叶斯网；当难以获得显式的因果关系，则常使用马尔科夫网。根据图模型...
2019-05-04 16:58:41
5273
1
转载 如何将知识图谱特征学习应用到推荐系统？
编者按：在上周发表的“推荐算法不够精准？让知识图谱来解决”一文中，我们为大家介绍了日常生活中几乎每天都会用到的推荐系统，以及用来提高推荐系统精准性、多样性和可解释性的推荐算法辅助信息——知识图谱。今天，我们将进一步为大家讲解将知识图谱特征学习引入到推荐系统的各种思路与实现方法。原文将知识图谱作为辅助信息引入到推荐系统中可以有效地解决传统推荐系统存在的稀疏性和冷启动问题，近几年有很多...
2019-05-01 23:47:09
610
原创 数据挖据基础
RSS订阅原数据挖掘学习笔记之人工神经网络（二）多层网络和反向传播算法 我们知道单个感知器仅能表示线性决策面。然而我们可以将许多的类似感知器的模型按照层次结构连接起来，这样就能表现出非线性决策的边界了，这也叫做多层感知器，重要的是怎么样学习多层感知器，这个问题有两个方面： 1、 要学习网络结构； 2、 要学习连接权值 对于一...2014-03-27 21:04:51阅...
2019-05-01 21:33:53
268
转载 五款中文分词工具在线PK: Jieba, SnowNLP, PkuSeg, THULAC, HanLP
最近玩公众号会话停不下来：玩转腾讯词向量：Game of Words（词语的加减游戏），准备把NLP相关的模块搬到线上，准确的说，搬到AINLP公众号后台对话，所以，趁着劳动节假期，给AINLP公众号后台聊天机器人添加了一项新技能：中文分词线上PK，例如在AINLP公众号后台对话输入：中文分词 我爱自然语言处理，就可以得到五款分词工具的分词结果：现在的开源中文分词工具或者模块已经很丰富了，...
2019-05-01 21:00:02
5661
原创 TensorFlow中的优化算法
APIclass AdadeltaOptimizer：实现Adadelta算法的优化器。class AdagradDAOptimizer：用于稀疏线性模型的Adagrad Dual Averaging算法。class AdagradOptimizer：实现Adagrad算法的优化器。class AdamOptimizer：实现Adam算法的优化器。class BytesList...
2019-04-27 16:17:44
1649
转载 主题模型综述
基础入门 中英文博客以及基础文章 Topic model 介绍 简介：简要了解主题模型是什么意思，最基本的概念https://en.wikipedia.org/wiki/Topic_model 概率主题模型简介 Introduction to Probabilistic Topic Models 简介：一步让你知道什么是lda，翻译了提出主题模型大神对概率主题模型的描述。中...
2019-04-27 16:00:28
2004
转载 深度学习最常用的算法:Adam优化算法
https://juejin.im/entry/5983115f6fb9a03c50227fd4Adam优化算法是随机梯度下降算法的扩展式，近来其广泛用于深度学习应用中，尤其是计算机视觉和自然语言处理等任务。本文分为两部分，前一部分简要介绍了Adam优化算法的特性和其在深度学习中的应用，后一部分从Adam优化算法的原论文出发，详细解释和推导了它的算法过程和更新规则。我们希望读者在读完...
2019-04-23 22:25:51
3704
1
转载 深度学习——优化器算法Optimizer详解（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）
https://link.jianshu.com/?t=https://arxiv.org/pdf/1609.04747.pdf在机器学习、深度学习中使用的优化算法除了常见的梯度下降，还有 Adadelta，Adagrad，RMSProp 等几种优化器，都是什么呢，又该怎么选择呢？在 Sebastian Ruder 的这篇论文中给出了常用优化器的比较，今天来学习一下：https://arx...
2019-04-23 22:17:00
403
转载 神经网络进行自然语言处理最佳实践
原文简介本文是一系列关于如何使用神经网络进行自然语言处理（NLP）的最佳实践汇集，将随着新观点的出现定期进行更新，从而不断提升我们对用于 NLP 的深度学习的理解。NLP 社区中有这样一句说法：带有注意力的 LSTM 能在所有任务上实现当前最佳的表现。尽管在过去的两年这确实是真的，NLP 社区却在慢慢偏离带有注意力的 LSTM，而去发现更有趣的模型。但是，NLP 社区并非想再花费...
2019-04-22 23:40:37
781
gephi 教程all-中文版
2018-04-19
基于J2EE的公交查询系统的设计与实现
2016-05-31
Android实现悬浮式顶部和底部标题栏效果仿百度贴吧
2015-12-20
android_AIDL
2015-10-15
Android基于蓝牙的计步器
2015-05-14
自定自定义音乐播放器项
2014-04-09
Android NDK开发（1）----- Java与C互相调用实例详解
2014-04-09
Android NDK中使用OpenGL
2014-04-09
方立勋《30天轻松掌握JavaWeb视频》笔记+源码
2014-03-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人