汪雨田的专栏----c语言，算法设计，php,linux,mysql

原创 c语言char和wchar_t 转换

       最近遇到一个在C语言当中处理中文的问题，因为汉字和ascii不同，汉字是多字节编码方式，ascii只用一个字节表示，所以在用c语言提供的strlen函数得到的长度是字节长度;  以下都是utf-8编码方式，为了得到一个字符(汉字和ascii)有几种处理方式：         1.  自己写程序判断是否为汉字，通过第一个字节判断，以下是我写的一部分代码;

原创 中药学习笔记

1. 独活： 祛风，痛疼，风寒湿痹，腰膝疼痛2. 车前子：甘寒，虚弱体质，或老人不能用，容易耗伤肾气，治疗湿热的3. 木香： 辛、苦，温，治疗寒湿的，中下焦，理气顺气

原创 活动度量管理

原创 mybatis-generator逆向工程

1. 在pom.xml文件中引用依赖，和mybatis-generator插件<dependencies> <dependency> <groupId>org.mybatis</groupId> <artifactId>mybatis</artifactId&gt...

原创 sparkstreaming开发kafka实战（二）

第一部分对sparkstreaming向kafka写数据和读取数据进行简单的测试和开发，本部分主要是从kafka消费数据的时候，防止意外情况sparkstreaming程序终止运行，导致数据丢失情况发生，需要对kafka的offset 进行记录，在这里我用的是直接读取kafka的方式（createDirectStream），没有经过zookeep，所以这个读取的偏移量需要自己去维护。消费者代码...

转载 SparkTask未序列化(Tasknotserializable)问题分析

问题描述及原因分析在编写Spark程序中，由于在map等算子内部使用了外部定义的变量和函数，从而引发Task未序列化问题。然而，Spark算子在计算过程中使用外部变量在许多情形下确实在所难免，比如在filter算子根据外部指定的条件进行过滤，map根据相应的配置进行变换等。为了解决上述Task未序列化问题，这里对其进行了研究和总结。　　出现“org.apache.spark.Spark...

原创 sparkstreaming开发kafka实战（一）

由于公司需要对用户的访问行为实时计算，推荐出用户喜欢的影片，所以采用当下最流行的工具sparkstreaming对log日志的数据进行及时分析送给算法部门进行推荐数据，同时本人对sparkstreaming好奇，看了一些关于sparkstreaming方面的书籍，通过网上的streaming对kafka写入和读取数据代码在idea进行测试，代码比较简单，但第一次接触scala语言以及第一次接触id...

原创 riserdb存储介绍(二)主从复制

汪雨田,现就职于暴风影音，负责后端的研发工作，平时专注于nosql，分布式的研究，热爱传统文化以及中医学, 热爱工作在代码的田间地头。主从复制 对于一个存储系统来说，数据存在多个副本的功能应该是必须提供的，数据的安全性，扩展性，读写分离都是有好处。riser主从复制简述 在2015年6月份的时候我就已经开发完成了riser的主从主体功能，但是没经过大量的数据实践和验证，还不成熟...

原创 riserdb存储介绍(一)

汪雨田,现就职于暴风影音，负责后端的研发工作，平时专注于nosql，分布式的研究，热爱传统文化以及中医学, 热爱工作在代码的田间地头。riser概述 基于leveldb的开发的key/value存储服务，实现了redis部分协议，分别包括 set,setex,get,mget,mset,delete,keys,exists,close,ttl,auth,randomkey. ...

原创 ffmpeg开发笔记

1. 测试代码:#include #include #include #include int main (int argc, char **argv){ AVFormatContext *fmt_ctx = NULL; AVDictionaryEntry *tag = NULL; int ret; if (argc != 2) {

原创 macbook开机启动nginx和php

1. 开机启动nginx：

原创 levelque持久化队列

为了给我的riser

原创 键树的改进算法--双数组实现

问题：  给我们一篇文章中，在此文章中找出一些词，这些词都存在于一个成千上万个词的词库中。解决1：通过循环遍历这成千上万个词，在我们这篇文章中搜索，这个效率肯定很低下；解决2：通过这成千上万个词建立一个键树，然后通过遍历文章中的词，然后从这个键树中进行查找，这个效率是根据文章的长度而改变。我们都应该知道，键树中存在一个问题，如果孩子节点的数目比较多，会影响查找的性能，需要在孩子节点当中遍历。双

原创 riser服务key/value服务介绍-基于leveldb

一直太懒，没有把riser介绍给大家。这次终于下了决心和大家分享一下我的riser。写得有问题的地方，大家可以提出来，互相探讨一下。概述riser 是一个基于leveldb存储引擎的key/value服务，以及可以提供队列服务。性能测试：  在      Intel(R) Pentium(R) CPU G620 @ 2.60GHz     memory： 1GHz

原创 macbook系统下gcc安装

前几天用苹果系统的时候，我想安装一个ports软件管理器，来管理软件相当于apt或yun工具，当我下载下来后，安装时，竟然mac系统默认没有gcc和g++，在网上找了半天，终于有发现，需要安装command line tools， 后来在苹果网站找到需要的东西：   https://developer.apple.com/downloads/index.action，在这网站上搜索command

原创 leveldb的compact条件

先看一段代码：Compaction* VersionSet::PickCompaction() { Compaction* c; int level; // We prefer compactions triggered by too much data in a level over // the compactions triggered by seeks. co

原创 jsoncpp安装及对中文支持很好

安装步骤$tar -zxf scons-2.1.0.tar.gz $cd scons-2.1.0 $python setup.py install $tar -zxf jsoncpp-src-0.5.0.tar.gz $cd jsoncpp-src-0.5.0 $scons platform=linux-gcc $mv libs/linux-gcc-4.1.2/libjson_li

转载 病同人异论

摘要: 或气体有强弱，质性有阴阳，生长有南北，性情有刚柔，筋骨有坚脆，肢体有劳逸，年力有老少，奉养有膏梁藜藿之殊，心境有忧劳和乐之别。更加天时有寒暖之不同，受病有深浅之各异。一概施治，则病情虽中，而于人之气体迥乎相反，则利害亦相反矣。故医者必细审其人之种种不同，而后轻重缓急大小先后之法因之而定。天下有同此一病，而治此则效，治彼则不效，且不惟无效，而反有大害者，何也？则以病同而人异也。夫

转载 草木各得一太极论

古来着本草者，皆逐论其气味性情，未尝总论夫形体之大纲，生长化收藏之运用，兹特补之。盖芦主生，干与枝叶主长，花主化，子主收，根主藏，木也；草则收藏皆在子。凡干皆升，芦胜于干；凡叶皆散，花胜于叶；凡枝皆走络，须胜于枝；凡根皆降，子胜于根；由芦之升而长而化而收，子则复降而升而化而收矣。此草木各得一太极之理也。愚之学，实不足以着书，是编之作，补苴罅漏而已。末附二卷，解儿难、解产难，简之又简，只摘其吃紧

原创 计算程序运行时间

#include #include #include #include #include #include #include #include #include #include #include #include #include #include #include using namespace std;int main(int argc, char** arg

原创 通过svn来向服务器传输文件

当本地更改了好多文件后，需要传到服务器上去，按照平时的方式需要一个一个的记录下来传上去。这个脚本是一次性传所有更改过的文件。 #!/bin/ship=$IPcd /home/wyt/workspace/mg#服务器目录despath="/home/wangyt"tmpfile=/tmp/svnfileif [ -f "$tmpfile" ]; the

原创 c++当中strtotime函数

把字符串转换为时间戳unsigned long strtotime(char *date){ struct tm t; unsigned long time; sscanf(date,"%d-%d-%d",&t.tm_year,&t.tm_mon,&t.tm_mday); t.tm_year-=1900;

原创 安装gcc问题总结

编译了一段时间后出错，其错误信息如下：WARNING: `makeinfo' is missing on your system. You should only need it ifyou modified a `.texi' or `.texinfo' file, or any other fileindirectly affecting the aspect of the man

原创 apache_1.3.28在ubuntu下安装

在ubuntu下，安装 apache_1.3.28 的时候，遇到一个奇怪问题。Configuring for Apache, Version 1.3.28 + Warning: Your 'echo' command is slightly broken. + It interprets escape sequences per default. We already + trie

原创 /usr/bin/ld: /usr/lib/debug/usr/lib/crt1.o(.debug_info): relocation 0 has invalid symbol index 12

在我写一个makefile文件后，make一下，发现此问题，其实是链接的时候出现的错误。$(OBJNAME):$(objects)$(CC) -o $(OBJNAME) $(obj)   $(LIB_PATHS) $(LDFLAGS)此时的$(obj) 是没有定义，所以就找不到.o文件，呵呵，改成 $(objects)就好。

原创 linker input file unused because linking not done

在我编译一个c++程序的时候，发现这个错误，     $(OUTPUTNAME):$(OBJ)$(CXX) $(CPPFLAGS) -c $     改成：       %.o:%.cpp$(CXX) $(CPPFLAGS) -c $  就好了，因为编译的时候是 -c 参数 生成目标文件，不是生成最终链接文件。

转载 故事启发

这个故事很有启发，与您共享！在美国得克萨斯州的一个风雪交加的夜晚，一位名叫克雷斯的年轻人因为汽车“抛锚”被困在郊外。正当他万分焦急的时候，有一位骑马的男子正巧经过这里。见此情景，这位男子二话没说便用马帮助克雷斯把汽车拉到了小镇上。 事后，当感激不尽的克雷斯拿出不菲的美钞对他表示酬谢时，这位男子说：“这不需要回报，但我要你给我一个承诺，当别人有困难的时候，你也要尽力帮助他人。”于是，在后来的日子

转载 23种设计模式

创建型模式　　1、ABSTRACT FACTORY—追MM少不了请吃饭了，麦当劳的套餐和肯德基的套餐都是MM爱吃的东西，虽然口味有所不同，但不管你带MM去麦当劳或肯德基，只管向服务员说“两个B套餐”就行了。麦当劳和肯德基就是B套餐的Absctract Factory, B套餐里含有汉堡, 鸡翅和饮料. 麦当劳或肯德基会根据B套餐的规格, 让汉堡Factory, 鸡翅Factory, 饮料Fac

转载 孔子学琴

在《史记·孔子世家》中讲述了孔子学会首曲子的故事。 在老师教授了一个曲子后，孔子专心致志地反复演习了十天，并不要求再添加学习新的曲子。老师很奇怪地问他原因,孔子说：“我虽然已经熟悉了这部乐曲，但是还没有熟练地掌握弹奏这一曲的所有技法，还需要继续练习。”当孔子熟练掌握了弹奏这一曲的所有技法后.孔子又说：“我还没有领会乐曲中所表达的情感和意蕴，我还需要继续在弹奏中深入地体悟。”

转载 Linux下使用RTX腾讯通

在公司为了使用RTX，专门安装了一个XP的虚拟机，但是这个也不方便，每天得开个虚拟机，并且别人给你发的消息你很多时候不能立马看到。所以准备在Linux搞个RTX，这样就能解决我的问题。下面说一下安装的步骤，以及一些问题的解决方法：1、安装windows的软件，第一件事当然是安装个wine如果是Ubuntu，直接：$sudo apt-get install wine

转载 使用expect自动登录

使用expect实现自动登录的脚本，网上有很多，可是都没有一个明白的说明，初学者一般都是照抄、收藏。可是为什么要这么写却不知其然。本文用一个最短的例子说明脚本的原理。　　脚本代码如下： 　　#######################################

转载 三魂七魄

给大家举一个每个人都有经历的现象。比如，你晚上做梦，经常会梦到自己以前碰到的人，甚至不认识的人，或者一些奇奇怪怪的东西，包括怪物、鬼神等等。在梦境中的世界要比我们白天感知的世界丰富多彩得多，这本身就说明了在梦境中的时空和我们白天醒时的时空是两个不同的时空，两个不同的时空又很和谐地

原创 use: device not found, try 'modprobe fuse' first

这是由于fuse-2.8.4.tar.gz包并不支持fuse模块的原因，采用fuse-2.7.4.tar.gz即可解决问题，其下载地址为http://ncu.dl.sourceforge.net/project/fuse/fuse-2.X/2.7.4/fuse-2.7.4.tar.gz

原创 shell判断表达式

 if [ -f  file]   如果文件存在if [ -d...  ]   如果目录存在if [ -s file ]   如果文件存在且非空 if [ -r file ]   如果文件存在且可读if [ -w file  ]   如果文件存在且可写if [ -x file  ]   如果文件存在且可

转载 小柴胡灵活加减治杂病

<br /> 小柴胡灵活加减治杂病<br />【方意新解】<br />小柴胡汤由柴胡、黄芩、人参、半夏、甘草、生姜、大枣等组成。方中7味药，可分为两组：一为柴胡、黄芩，是肝胆药，柴胡轻扬疏肝解郁，黄芩苦降，清泄胆热，一升一降疏泄肝胆；一为人参、半夏、甘草、姜、枣，是脾胃药，’人参、甘草甘味益脾，半夏和胃降逆，祛痰止呕，姜、枣养胃和营，其功效犹如桂枝汤中的姜、枣，调和营卫是其主要功能。全方组合后，疏肝利胆，调和营卫，健运脾胃，成为和解剂的首远方。本方去柴胡，加黄连、干姜即半夏泻心汤。可见小柴胡汤与半夏泻心汤的

原创 svn传输文件

每次开发项目完后，要测试代码，代码总会出现bug，bug改好后需要传文件到正式服务器上去：方法1：    在服务器端设置svn自动更新；    需要共用一台svn服务器方法2：    每一次改一个文件ftp传到服务器上去。  在linux我选择了第二种（繁琐），后来我写了一个shell脚本来处理当前目录下更改的文件：    path=${PWD}cd $path#服务器www目录despath="/server/www/"echo $despathtmpfile=/tmp/svnfile

原创 linux shell脚本获得当前文件路径

<br />在php当中获得当前文件路径用：<br />       dirname(__FILE__)<br />在shell当中没有直接的变量和函数，<br />$(cd "$(dirname "$0")"; pwd)<br /> <br />但是把他用在嵌套脚本时就会发生问题。例如我在脚本a里面调用脚本b。<br />脚本b:<br />selfpath=$(cd "$(dirname "$0")"; pwd)<br />echo $selfpath<br />脚本

原创 活跃度队列

pre (..(next=>c),c=>array(null))  ne (head=>d,d=>array('next'=>c,'previous'=>'head'),c=>array(),e=>array()....)  (.....)ne => preif(len>100){pre[lastid2]['next']=uid;pre[uid] = array('time'=>time(),'next'=>null);ne[lastid] = pre[lastid];ne[lastid]['next']=

翻译 innodb内部结构分析

<br />Because InnoDB is a multi-versioned storage engine, it must keep information about old versions of rows in the tablespace. This information is stored in a data structure called a rollback segment (after an analogous data structure in Oracle).<br />

原创 vsftpd服务虚拟用户配置

所谓虚拟用户就是没有使用真实的帐户，但ftp登录需要一个用户身份，这个时候我们可以给它创建一个用户，专门来给这些虚拟的用户用ok拉。建立虚拟用户：         useradd -d /home/ftpsite virtual         chown virtual.virtual /home/ftpsite修改/etc/vsftpd.conf文件：                  local_enable=YES     设定本地用户可以访问。注：如使用虚拟宿主用户，在该项目设定为NO的情况下所有