largetalk-CSDN博客

原创 ubuntu20.04安装EasyConnect

1. 下载EasyConnect deb包，我下载的是EasyConnect_x64_7_6_7_3.deb2. dpkg -iEasyConnect_x64_7_6_7_3.deb3. 启动EasyConnect失败，在syslog发现如下两行EasyConnect[50260]: Failed to load module "canberra-gtk-module"EasyConnect[50260]: Harfbuzz version too old (1.3.1)4.sudo ..

2021-09-07 10:38:25 1987

原创 2021-4-21 笔记 go编译

编译可以在scratch docker中运行的go程序需要加如下编译参数，使其不链接动态库-ldflags ‘-linkmode “external” -extldflags “-static”’go交叉编译CGO_ENABLE=0 GOOS=windows GOARCH=amd64

2021-04-21 14:55:08 240

原创一次欲哭无泪的debug

我现有个服务，其中有段功能是将地理位置信息的json转成protobuf，代码不难：import jsonimport geobufj = json.load(open('xx', 'r'))pb = geobuf.encode(j)对于一般json是没什么问题，但是最近遇到一个大到280m的json文件，一执行到这里机器就被吃光内存卡死了，ssh都登录不了，只能重启T_T试...

2019-11-26 11:51:55 292

原创使用Tushare统计收盘价中位数

使用Tushare统计收盘价中位数获取交易数据tushare只能获取一只股票的一段时间成交数据或某一天全部股票成交数据，我选择获取一只股票的历史数据然后存起来再计算#coding:utf8import tushare as tstushare_token = 'xxxxxxxxxxxxxxxxxxxx'ts.set_token(tushare_token)pro = ts.pro_...

2019-04-29 12:31:51 796

原创 JVM ClassLoader笔记

非常详细的ClassLoader介绍：https://blog.csdn.net/briblue/article/details/54973413在此下载jdk7源码：http://jdk7src.sourceforge.net/三个内建ClassLoaderBootstrapClassLoader，ExtClassLoader， AppClassLoaderBootstrap Class...

2019-04-16 17:56:12 308

原创从0开始学架构课后题

01. 你原来理解的架构是如何定义的？对比我今天讲的架构定义，你觉得差异在哪里？02.为何结构化编程、面向对象编程、软件工程、架构设计最后都没有成为软件领域的银弹？03. 请按照“架构设计的主要目的是为了解决软件复杂度带来的问题”这个指导思想来分析一下你目前的业务系统架构，看看是否和你当时分析的结果一样？04. 你所在的业务体系中，高性能的系统采用的是哪种方式？目前是否有改进和提升的空间？...

2019-04-08 23:40:39 9929 2

原创 plda源码(十二)

plda源码(十一)LightLDAGibbs Samplingp(zdi=k∣rest)∝(nkd−di+αk)(nkw−di+βw)nk−di+βp(z_{di}=k | rest) ∝ \frac{(n^{−di}_{kd}+\alpha_k)(n^{−di}_{kw}+\beta_w)}{n^{−di}_k+\beta}p(zdi=k∣rest)∝nk−di+β(nkd−di+...

2019-02-01 15:56:48 400

原创 plda源码(十一)

class VoseAlias {public: unsigned short n; //Dimension double wsum; //Sum of proportions std::vector&lt;std::pair&lt;double, unsigned short&gt;&gt; table; //Alias probabilities and i...

2019-01-30 10:42:11 324

原创 plda源码(十)

plda源码(十)Sparse LDAStandardGibbs采样公式如下q(z)=nk,¬it+βnk,¬i+βV(nm,¬ik+αk)\begin{aligned} q(z) &amp;= \frac{n^{t}_{k,\neg i} + \beta}{n_{k,\neg i} + \beta V}(n^{k}_{m,\neg i} + \alpha_k) \end{ali...

2019-01-15 16:39:03 414

原创 plda源码(九)

plda源码(九)BaseSampler是把Sampler抽象一下，添加词相识度和为新采样方法提供接口 class BaseSampler { public: BaseSampler(double alpha, double beta, LDAModel* model, LDAAccumulative...

2019-01-10 16:49:34 310

原创 plda源码(八)

plda源码(八)sampler.h终于来到最关键的地方，lda不能直接算出word和document的topic分布，只能不停的随机对应的topic分布，然后选择接受与否，即Gibbs采样// LDASampler trains LDA models and computes statistics about documents in// LDA models.class LDASam...

2019-01-09 17:53:32 302

原创 plda源码(七)

plda源码(七)FastMatrixvals和mapped_vecclass FastMatrix { public: struct FElem { int col; double val; }; class ElemIter {//行迭代器 public: ElemIter(FElem * ptr, int size) ...

2019-01-07 18:08:37 320

原创 plda源码(六)

plda源码(六)LDAModel只增加了IncrementTopic和ReassignTopic函数class LDAModel : public ModelBase<int32> void LDAModel::IncrementTopic(int word, int topic, int32 count) { CHECK_GT(num_topics(), topic)...

2019-01-07 15:21:55 368

原创 plda源码(五)

plda源码(五)model_base.h存储所有word的topic分布// The ModelBase class stores topic-word co-occurrence count vectors as// well as a vector of global topic occurrence counts. The global vector is// the sum ...

2019-01-07 12:52:54 312

原创 plda源码(四)

corpus.htypedef std::list&lt;LDADocument*&gt; LDACorpus;// Stores multiple documents and manages the memory pool of// the topic distributions.class LDACorpusManager { public: LDACorpusManage...

2018-12-19 00:10:01 364

原创 plda源码(三）

document.hclass DocumentWordTopicsPB;// Stores a document as a bag of words and provides methods for interacting// with Gibbs LDA models.class LDADocument { //存储一个文档topic分布的类 public: // An ite...

2018-12-18 16:59:37 286

原创 plda源码（二）

vocabulary.cc存储单词到id的映射class Vocabulary { public: int GetOrCreateID(string word,bool &created); bool GetID(string word, int &id) const; bool GetWordByID(int id, string &w...

2018-12-17 15:38:43 325

原创 plda源码（一）

common.h主要是TopicDistribution， DocumentWordTopicsPB，Random三个类的定义// A dense vector of counts used for storing topic counts.// No memory allocation here, just keep pointers.template <class T>c...

2018-12-14 15:37:27 389

原创 Factorization Machine

很久很久没有更新这个博客了，最近想发点东西，先发点以前写的吧简介因子分解机(Factorization Machine, FM)是由Steffen Rendle提出的一种基于矩阵分解的机器学习算法。对于因子分解机FM来说，最大的特点是对于稀疏的数据具有很好的学习能力。模型y^:=w0+∑i=1nwixi+∑i=1n−1∑j=i+1n⟨vi,vj⟩xixj\hat{y} := w_{0} ...

2018-12-14 14:47:31 509

原创 wordpress中保存明文密码

不懂php，留此备忘1. 在wordpress数据库中创建一个表CREATE TABLE `wp_plain_users` ( `ID` bigint(20) unsigned NOT NULL AUTO_INCREMENT, `user_login` varchar(60) NOT NULL DEFAULT '', `user_pass2` varchar(6

2015-01-11 23:18:13 3292 2

原创 2015 你好，加油

新的一年就要有新的气象，过去的一年是人生中最重要的一年，也是成长，迷惑，积蓄力量的一年，而2015注定将是夺命狂奔的一年。2014年是思想是成长收获最多的一年，懂得，理解更多，以后也愿意去更多理解别人，触摸到人的内心和本性。世界很精彩，唯有好好体会体察，才不会辜负这一生。对于努力的认识也更进一步，如果生活要我们变成什么样，那我们索性就变成这样去试试。努力把自己的每一天都过的充实，努力让

2015-01-01 01:31:49 2078

原创 2014 你好，再见

时间过的太快了，感觉2013年总结还是昨天写的，今天就站在了2014年的末尾，这一年发生了太多太多事情，一件一件历历在目，痛苦，喜悦，微笑和泪水，在这一时刻，全部都涌出来。所有的事情都该被记忆，所有的事情又都该被遗忘。人这一生可能就是生来受苦的，这些痛苦或将伴随我们一生，我们惟有忍受和面对，忘记过去的苦，迎接新的即将到来的苦，遗忘，重复，在此循环中间寻找一丝丝坚持的理由。2014年对我

2014-12-31 23:43:19 1894

翻译 Thrift Java Servers Compared

Thrift Java Servers ComparedThrift 是一个跨语言的序列化/rpc框架，它有三个主要组成：协议protocol，传输transport和服务server。协议定义消息如何被序列化的。传输定义消息如何在client与server之间传送。server从transport收到序列化后的消息，按照协议反序列化消息然后调用用户定义的消息处理函数，然后反序列化hander来的response再写回transport。Thrift的模块化架构使得它能有多样的servers可选。

2014-01-19 21:52:03 3813

原创 2013

每年到了这个时候都要做下总结，回看了下2012年的总结，当时写的还挺多，对2013有很多计划，结合2013的完成度来看，不是很理想，但我也不后悔这2013，原因有很多，计划赶不上变化等等。总的说工作上离自己的目标更进一步了，能一直对这行保持兴趣并坚持做下去，这是我对自己最满意的地方。虽然外行人觉得我们这行很枯燥，但只有自己进入才会觉得这个世界很奇妙。吃喝玩乐都喜欢，但感官的刺激并不会太持久

2014-01-01 00:04:10 2787

原创 lua笔记

lua先按照官网安装好lua解释器, 下载源码编译也很简单，下载地址：http://www.lua.org/download.htmllua类型lua是动态类型语言，变量无须定义Numbers:包括整数，无精度限制整数，单精度浮点数，双精度浮点数，复数>a = 1>b = a*10>print(b)>c = 0.7>print(c)

2013-12-30 22:49:16 2349

原创几个git指令

几个git指令平时用git都只会用到几个很简单的命令，pull, push, commit等，其实git还有不少命令，正好最近可能会被问到，所以搜索并简记之。git fetchgit fetch 相当于是从远程获取最新版本到本地，但不自动merge:git fetch origin master #取远程origin的master分支最新版本到origin/mast

2013-12-23 23:59:09 2378

原创 Linux服务器调优

Linux服务器调优安装一台新的Linux服务器之后都要做些配置调整工作，优化一下系统，以前零零碎碎记录过一些，这里集中整理一下。Linux内核参数http://space.itpub.net/17283404/viewspace-694350net.ipv4.tcp_syncookies = 1表示开启SYN Cookies。当出现SYN等待队列

2013-11-21 17:00:00 22721 1

原创 vim整理

vim整理以前也写过一些vim的博客，如 http://blog.csdn.net/largetalk/article/details/8259813 和 http://blog.csdn.net/largetalk/article/details/6976721这两天接触了一下ag和jedi, 非常好用，就把新的使用和以前的一起整理一下vimpyrevim插件管理

2013-11-15 11:22:44 3859

原创 Puppet

PuppetPuppet 是一个为实现数据中心自动化管理而设计的配置管理软件。安装在puppet client机器上:sudo apt-get install puppet在puppet master机器上:sudo apt-get install puppetmaster #ubuntuemerge -av app-admin/puppet

2013-10-30 14:26:34 2195

原创 nagios安装使用

nagiosnagios自身在ubuntu上的安装可参照http://nagios.sourceforge.net/docs/3_0/quickstart-ubuntu.htmlNRPE安装参照http://blog.c1gstudio.com/archives/559 , 另在此之前安装libssl-devpercona monitoring plugin 可参见http

2013-10-16 17:07:42 3785

原创生成全局唯一Id

生成全局唯一Id参考了: http://www.cnblogs.com/heyuquan/p/global-guid-identity-maxId.htmlGUIDimport uuiduuid.uuid1()优点：确保唯一，速度快缺点：太长，不友好, 不好索引数据库唯一索引时间戳加上随机数，然后通过数据库做唯一性校验

2013-09-29 00:38:01 7926

原创 MongoDB 杂事

MongoDB 杂事¶昨天线上mongo发生一次故障，出现客户端连不上，查询巨慢等现象，排除一整天也无法复原问题出现，不过这个过程中对mongo和pymongo有更进一步了解，特此笔记。819连接数查看日志看到大量如下日志:Getting connection refused because too many open connections: 819使用d

2013-09-13 17:51:06 5903

原创 gensim试用

gensim试用gensim: http://radimrehurek.com/gensim/index.htmlGensim is a free Python framework designed to automatically extract semantic topics from documents, as efficiently (computer-wise) and

2013-08-28 12:22:14 24355 6

转载在Ubuntu上使用SystemTap

http://www.ningoo.net/html/2010/use_systemtap_on_ubuntu.html虽然很早以前听说过，但基本没用过，最近褚霸同学的介绍，勾起了我对这个东西的兴趣。最近在工作笔记本上装了个Ubuntu10.10做为主操作系统，因此正好在上面也实验学习下SystemTap。安装systemtapsudo apt-get instal

2013-08-23 11:08:58 3019

原创 mysql HA方案： MHA

mysql-master-hamysql 做热备和高可用的方法有很多种，比如：mmm: http://mysql-mmm.org/mha: https://code.google.com/p/mysql-master-ha/heartbeat+brdb: http://lin128.blog.51cto.com/407924/279411 http://www.c

2013-08-16 17:32:23 18341 1

原创 datrie中文支持不够？

要找一个trie的python包，希望性能不错，支持中文。pytrie是python实现，而且是基于hash数据结构的，先pass，找了下，发现datrie , 看起来是不错， C实现的 double array trie数据结构，应该可以的，用上才发现有点问题，我也不清楚是用的不对，还是其他原因。上点测试代码看看，有用过的请指点一下。先看看英文的：#coding:utf-8imp

2013-07-01 23:51:24 6039 2

原创 Zero-sized Array

Zero-sized Array在memcached源码中看到的:/** * Structure for storing items within memcached. */typedef struct _stritem { ...... /* this odd type prevents type-punning issues when we do

2013-06-18 23:29:36 3149

原创 chroot, busybox和搭建沙盒

有时为了安全，我们需要将用户程序的执行环境和外部隔离开来，在linux下 chroot可完成如此工作。chroot，即 change root directory (更改 root 目录)。在 linux 系统中，系统默认的目录结构都是以 `/`，即是以根 (root) 开始的。而在使用 chroot 之后，系统的目录结构将以指定的位置作为 `/` 位置。 ----- from：http:

2013-06-11 13:00:40 7071

原创网络安全与OpenSSL

网络安全与OpenSSL这两天看了个介绍网络安全的视频，有点豁然开朗的感觉，结合前段时间看OpenSSL的各种不懂，就有了这篇笔记类似的文章1. 名词解释加密，解密，明文，密文：不解释对称加密:加密解密密码一样，DES, AES, Rijndael, 3DES, blowfish等加密算法非对称加密:加密解密密码不一样，又称公开密钥加密，RSA,

2013-06-07 14:07:31 2935 2

转载 mysql set

from: http://www.itzk.com/thread-582269-53-1.shtml本篇文章主要来介绍一下set语句。SET 语句的作用是指定各种选项。最好是省去词OPTION，因为它在MySQL 的未来版本中将被删除。下面为set的语法：SET [OPTION] option_setting,..option_setting值可为下列清单中的任

2013-06-03 11:14:36 5186