2019年01月_lusic01

转载主从原理,一主多从架构

主从原理,一主多从架构2018年08月14日 11:52:28 宸小浩属牛阅读数：457主从架构总结主从原理用binlog做主从，redolog只支持innodb过程①start slave后从库启动io线程连接主库，请求读日志②dump线程根据请求信息读取指定位置后的日志③完成后就响应成功，没有确认机制④IO线程收到信息，将受到的日志依次写入relay...

2019-01-30 17:33:16 1428

转载浅谈JDK并发包下面的分治思想及分治思想在高并发场景的运用

浅谈JDK并发包下面的分治思想及分治思想在高并发场景的运用原创：叶易洞悉源码 5天前提到分治思想，大家比较容易想起其在归并排序与快速排序中的运用。今天先给大家分享一下JDK并发包下面分治思想的运用，再和大家分享一下如何利用分治思想解决高并发场景下面的一些问题。本文说的分治思想是广义范围的分治。可能和大家之前理解的分治不太一样。我理解的分治思想是并行处理、分开处理。关键在于并行与分开，并...

2019-01-30 17:29:50 403

转载 java内存管理机制剖析

java内存管理机制剖析（一）百遇·发表于 2019.01.30Java2019新春支付宝红包技术大揭秘在线峰会将于03-07日开始，点击这里报名届时即可参与大牛互动。最近利用工作之余学习研究了一下java的内存管理机制，在这里记录总结一下。1.1 java内存区域当java程序运行时，java虚拟机会将内存划分为若干个不同的数据区域，这些内存区域创建和销毁的时间各不相同，...

2019-01-30 17:23:10 123

转载语义分析

一：文本基本处理：1.1中文分词a:基于字符串匹配的分词方法，扫描方式可分为：正向最大匹配，反向最大匹配，双向最大匹配，最小切分（最短路径）b:全切分方法：词条检索（一般用trie存储）,以词网络(word lattices)形式表示，接着做路径搜索，基于统计语言模型(例如n-gram[马尔科夫])找到最优路径，最后可能还需要命名实体识别。c:由字构词的分词方法。可以理解为字的分类，也就是...

2019-01-30 16:29:55 1255

转载文本表示模型中涉及的知识点整理(词袋模型，TF-IDF，主题模型，词嵌入模型)

2019-01-25 18:39:26 925

转载 C++ 删除字符串的两种实现方式

C++实现删除给定字符串的给定字符串思路主要有这么几种实现方式：1.KMP算法2.用STL的string的 find,然后用erase3.用C的strstr找到字串位置,然后用strncpy写到新串中4.用boost库,用正则表达式测试过的完整代码：第一种方法： 1 2 3 4 5 6 7 8 ...

2019-01-24 16:26:02 2903

转载 pause

linux下如何实现windows的system(“pause”) 本文主要介绍在Linux系统中实现Windows系统中system("pause");语句的方法。（作者：周金山）大家都知道windows语句system("pause"); 这个可以用来做断点，其实他的原理很简单，就是先将stdin的缓存清空然后接收一个字符，当然接收函数应该是使用getch()，这样才可以达到不回显...

2019-01-23 09:44:00 1406

转载 CPU、GPU、CUDA，CuDNN 简介

转载 https://blog.csdn.net/fangjin_kl/article/details/53906874一、CPU和GPU的区别CPU (Central Processing Unit) 即中央处理器 GPU (Graphics Processing Unit) 即图形处理器 GPGPU全称General Purpose GPU，即通用计算图形处理器。其中第一个“GP”...

2019-01-18 20:03:59 1241

转载 IF-IDF

TF-IDF与余弦相似性的应用（一）：自动提取关键词一篇很长的文章，我要用计算机提取它的关键词（Automatic Keyphrase extraction），完全不加以人工干预，请问怎样才能正确做到？这个问题涉及到数据挖掘、文本处理、信息检索等很多计算机前沿领域，但是出乎意料的是，有一个非常简单的经典算法，可以给出令人相当满意的结果。它简单到都不需要高等数学，普通人只用10分钟就可...

2019-01-16 11:18:46 4082

转载【转】使用sklearn优雅地进行数据挖掘

这里是原文目录使用sklearn进行数据挖掘 1.1 数据挖掘的步骤 1.2 数据初貌 1.3 关键技术并行处理并行处理 2.1 整体并行处理 2.2 部分并行处理流水线处理自动化调参持久化回顾总结参考资料使用sklearn进行数据挖掘 1 使用sklearn进行数据挖掘1.1 数据挖掘的步骤　　数据挖掘通常包括数据采集，数据分析，特征工程，训练...

2019-01-16 10:59:15 391

转载字符串匹配

字符串匹配算法字符串匹配问题的形式定义：文本（Text）是一个长度为 n 的数组 T[1..n]；模式（Pattern）是一个长度为 m 且 m≤n 的数组 P[1..m]； T 和 P 中的元素都属于有限的字母表 Σ 表；如果 0≤s≤n-m，并且 T[s+1..s+m] = P[1..m]，即对 1≤j≤m，有 T[s+j] = P[j]，则说模式 P 在文本 T 中出现且位...

2019-01-15 20:01:21 170

转载 C++11 bind和function用法

泛型2(lambda表达式/参数绑定)lambda 表达式：Lambda表达式完整的声明格式如下：[capture list] (params list) mutable exception-> return type { function body }各项具体含义如下：capture list：捕获外部变量列表 params list：形参列表 mutable 指...

2019-01-14 20:16:39 920 1

转载 some suanfa

BF算法：O（MN）RK算法：O（MN）KMP算法：O（N）BM算法：O(N)============================================================================================================================================================...

2019-01-14 16:57:56 222

转载多线程三种设计模式-

Future、Master-Worker和生产者-消费者模型2018年03月06日 22:32:08 努力做最好的自己阅读数：391并行设计模式属于设计优化的一部分，它是对一些常用的多线程结构的总结和抽象。与串行结构相比，并行程序的结构通常更为复杂。因此合理的使用并行模式在多线程开发中更具有意义，在这里主要介绍Future、Master-Worker和生产者-消费者模型。Future...

2019-01-11 16:43:08 2399

转载 vc++ 编码

多字节编码与Unicode码的区别2017年04月21日 10:53:58 youxishaonian 阅读数：3441 多字节字符与宽字节字符 char与wchar_t我们知道C++基本数据类型中表示字符的有两种：char、wchar_t。 char叫多字节字符，一个char占一个字节，之所以叫多字节字符是因为它表示一个字时可能是一个字节也可能是多个字节。一个英文字符(如’s’...

2019-01-11 09:28:44 1027

转载做一些字符的处理

　Windows下的测试以VC2010最为典型，以此为例来讲解。　　在编译过程中，处理字符串时会涉及下面两种字符集——源码字符集(the source character set)：源码文件是使用何种编码保存的。执行字符集(the execution character set)：可执行程序内保存的是何种编码。　　要想使程序不会乱码，必须满足——1) 编译器准确识别了源码字符集，从而...

2019-01-10 20:31:54 830

转载 scikit-learn随机森林调参小结

sklearn学习笔记之开始简介自2007年发布以来，scikit-learn已经成为Python重要的机器学习库了。scikit-learn简称sklearn，支持包括分类、回归、降维和聚类四大机器学习算法。还包含了特征提取、数据处理和模型评估三大模块。 sklearn是Scipy的扩展，建立在NumPy和matplotlib库的基础上。利用这几大模块的优势，可以大大提高机器学习...

2019-01-10 15:04:41 1901

转载 gcForest+++xgboost的树木的个数++train和fit的区别

xgboost 逻辑回归：objective参数（reg:logistic,binary:logistic,binary:logitraw,）对比分析置顶 2018年07月11日 22:26:53 phyllisyuell 阅读数：1755一、问题熟悉xgboost的小伙伴都知道，它在训练模型时，有train（）方法和fit（）方法，两种方法都是用于构建模型的，然而在使用过程中有什么不...

2019-01-10 14:17:01 19144

转载多棵树

gcforest的官方代码详解 2018.05.14 18:37 字数 539 阅读 810评论 0喜欢 1本文采用的是v1.1版本，github地址https://github.com/kingfengji/gcForest代码主要分为两部分：examples文件夹下是主代码.py和配置文件.json；libs文件夹下是代码中用到的库主代码的实现from gcforest...

2019-01-10 14:01:18 321

转载计算机领域有哪些精妙绝伦的设计

no.1FFT算法快速离散傅立叶变换算法，用很快的速度把离散傅立叶变换在计算机中实现，在语音，图像，传感器，信号与系统中有广泛的应用。例如歼20刚出来时，不知道用的什么发动机，有人用歼20的声音做一下FFT变换，频谱和俄罗斯发动机类似，就知道了歼20用的是俄罗斯发动机。no.2不对称加密算法生成不对等的密钥，用于互联网加密，IC卡加密，各种数字证书,VPN,HTTPS。是互联网...

2019-01-09 20:08:26 339

转载特征选择+++分裂大法好

1，xgboost分布式预测2，xgboost特征选取代码 ====================================================================================================================================================================...

2019-01-09 16:20:29 14045

转载 pkg-config

Centos安装protobuf-c方法(2016-04-01 20:50:34)转载▼标签： centos proto ptorobuf-c protobuf 安装分类：资料安装protobufprotobuf-c 1.2.1版本支持Protobuf 2.6.0以上，笔者安装的是Protobuf2.6.1 w...

2019-01-07 17:25:04 5614

转载 string的写时拷贝 + cow写时拷贝

先修改str1，再修改str2： /************************************************************************* > File Name: string_copy_on_write.cpp > Author: > Mail: > C...

2019-01-07 17:00:27 164

转载内存模板

根据用于分配内存的方法，c++有3种内存管理方式：自动存储，静态存储和动态存储其中静态存储用于存储一些整个应用程序执行期间都存在的静态变量，动态存储用于存储上一节讲述的通过new分配的内存单元。而对于在函数内部定义的常规变量则使用自动存储空间，其对应的变量称为自动变量。自动变量在所属的函数被调用时自动产生，在该函数结束时消亡。实际上，自动变量是一个局部变量，其作用域为包含它的代码块。自动变...

2019-01-07 16:45:54 186

转载 kafka消息阻塞

1,processor组件2,Proactor模式 hi all：大家都很关心kafka消息阻塞的情况（感谢RoctetMQ给我们的教训）。Kafka上线也有一段时间了，确实有出现过消息阻塞的情况，虽然不影响业务而且用临时办法解决了，但是我觉得可以跟大家总结一下。为了不引起大家的恐慌，我决定先把结论写出来：comsumer 非正常的rebalancing（重新分配分...

2019-01-07 16:33:09 11863 1

转载函数指针 ++++函数对象+++++智能指针++++++++++

(*fq)(12)显式的解引用fq(12)隐式的解引用，结果相同函数具有可赋值给指针的物理内存地址，一个函数的函数名就是一个指针，它指向函数的代码。一个函数的地址是该函数的进入点，也是调用函数的地址。函数的调用可以通过函数名，也可以通过指向函数的指针来调用。函数指针还允许将函数作为变元传递给其他函数。不带括号和变量列表的函数名，这可以表示函数的...

2019-01-07 09:31:32 511

一、TPS：Transactions Per Second（每秒传输的事物处理个数），即服务器每秒处理的事务数。TPS包括一条消息入和一条消息出，加上一次用户数据库访问。（业务TPS = CAPS × 每个呼叫平均TPS）TPS是软件测试结果的测量单位。一个事务是指一个客户机向服务器发送请求然后服务器做出反应的过程。客户机在发送请求时开始计时，收到服务器响应后结束计时，以此来计算使用的时间和完...

2019-01-04 19:33:20 132

转载关于boost::function与boost::bind函数的使用心得

最近开始写一个线程池，期间想用一个通用的函数模板来使得各个线程执行不同的任务，找到了Boost库中的function函数。Boost::function是一个函数包装器，也即一个函数模板，可以用来代替拥有相同返回类型，相同参数类型，以及相同参数个数的各个不同的函数。 1 #include<boost/function.hpp> 2 #include<iostrea...

2019-01-04 09:45:26 120

转载 setsockopt用法详解

2017年03月23日 10:34:16 a493203176 阅读数：6781最近做的一个程序用到了IOCP通信模型，里面用到了setsockopt对套接字进行设置，看源代码的时候最setsockopt函数很不理解，看了msdn以后还是不太明白这个函数的用法，于是就到网上找了一个这个函数的用法，找到了下面的这篇文章，我觉得对setsockopt这个函数讲解的特别号，就转过来了，方便以后...

2019-01-03 15:43:15 8361 4

转载 setsockopt()函数功能介绍

功能描述：获取或者设置与某个套接字关联的选项。选项可能存在于多层协议中，它们总会出现在最上面的套接字层。当操作套接字选项时，选项位于的层和选项的名称必须给出。为了操作套接字层的选项，应该将层的值指定为SOL_SOCKET。为了操作其它层的选项，控制选项的合适协议号必须给出。例如，为了表示一个选项由TCP协议解析，层应该设定为协议号TCP。用法：#incl...

2019-01-03 11:41:35 2925

转载 redis cluster百万QPS的挑战

redis cluster百万QPS的挑战最近在做redis cluster性能测试过程中，发现当集群吞吐量到达一定程度后（4台12core的redis服务器，80wQPS左右），集群整体性能不能线性增长。也就是说，通过加机器不能提升集群的整体吞吐。以下是详细记录了一下这个case的排查并最终解决的过程。先来看一个压测图：上图中每一条线代表一个起压端进程的压测QPS（一台起压机上开...

2019-01-03 10:01:51 4093

转载 Google gflags使用说明

转自: https://blog.csdn.net/lezardfu/article/details/23753741gflags是什么：gflags是google的一个开源的处理命令行参数的库，使用c++开发，具备python接口，可以替代getopt。gflags使用起来比getopt方便，但是不支持参数的简写（例如getopt支持--list缩写成-l，gflags不支持）。...

2019-01-02 16:30:06 129

转载 C语言中"#"和"##"的用法

1. 前言使用#把宏参数变为一个字符串,用##把两个宏参数贴合在一起.2. 一般用法＃include<cstdio>＃include<climits>using namespace std;#define STR(s) #s#define CONS(a,b) int(a##e##b)int main(){ printf(STR(vc...

2019-01-02 14:57:41 632

转载 sem

sem_init sem_post sem_destroy信号量介绍2017年11月17日 15:15:31 ab6326795 阅读数：2614信号量的数据类型为结构sem_t，它本质上是一个长整型的数。函数sem_init（）用来初始化一个信号量。它的原型为：　　extern int sem_init __P ((sem_t *__sem, int __pshared, unsig...

2019-01-02 14:39:10 290

转载 test 下的kafka并没有连接成功 refuse

2019-01-02 14:13:42 1210

lusic01的专栏