自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(27)
  • 资源 (7)
  • 收藏
  • 关注

原创 spark 执行时报错 InvalidClassException: no valid constructor

首先,这是一个序列化方式问题描述详情:代码中存在一个类继承了一个抽象类,其中抽象类存在有参数的构造方法(scala中可以不用写构造方法),子类使用case class关键字修饰所以子类是可以序列化的,但是一执行就报错(错误内容大概是找不到子类的构造器方法)解决方式:抽象父类继承scala的序列话类理解:父类存在带参数的构造器但是并不是序列化的,结果反序列时找不到父类的构造器所以...

2018-09-04 17:58:43 2086

原创 scala柯里化封装例子

def tryWithSafeFinally[T](block: => T)(finallyBlock: => Unit): T = {    // It would be nice to find a method on Try that did this    var originalThrowable: Throwable = null    try {      block

2016-06-24 11:35:58 654

原创 spark从kafka获取数据很慢

环境:spark 1.4 + kafka 0.9  3台相同配置主机 每台主机一个broker、standalone方式运行spark集群,每台机器2个workerTOPIC分布Topic: MessageBodyPartition: 0 Leader: 0Replicas: 0 Isr: 0Topic: MessageBodyPartition: 1 Leader: 1

2016-06-23 16:30:12 3810

原创 scala 反射生成对象方法

【来自spark源码-kafkaRDD】本文只是记录一下val keyDecoder = classTag[U].runtimeClass.getConstructor(classOf[VerifiableProperties])      .newInstance(kc.config.props)      .asInstanceOf[Decoder[K]]

2016-06-23 11:01:18 1867

原创 linux下的windows文件替换^M方法

1\在linux下显示的^M其实是windows下的回车换行;2、sed -i 's/^M/\r\n/g' Makefile

2014-09-22 16:49:17 401

原创 编写Makefile简单文件

本例子不适合工程项目使用,适合自己写的小例子

2014-08-25 10:01:51 309

原创 leader/follower 中工作线程竞争解决方法

socket fd在加入epoll时用EPOLLONESHOT标志。当正在进行操作的socket是不会被激活的。一个socket具备了IO条件只被激活一次,然后被一个线程拿去它直接变成work线程。它可以任意处理这个socket,在重新EPOLL_CTL_MOD之前,是不会再一次激活的即,不会有另外的线程同时处理这个socket。如果是服务器的话,得注意区分服务器监听的

2014-08-22 18:02:49 375

转载 mtu设置

MTU设置 MTU,即Maximum Transmission Unit(最大传输单元),此值设定TCP/IP协议传输数据报时的最大传输单元。设置合适的MTU值可以解决“部分网站打不开”、“上网速度慢”等问题,并且可以适当提升上网速度。设置多大的MTU值取决于你的上网方式,不同的上网方式支持不同的MTU,下面列出了一些上网方式的MTU值:EtherNet(一般上网方式,默认值):1500

2014-06-26 10:02:44 376

原创 udp一次发送多少字节合适呢,1472 ? 548 ?

在进行UDP编程的时候,我们最容易想到的问题就是,一次发送多少bytes好?    当然,这个没有唯一答案,相对于不同的系统,不同的要求,其得到的答案是不一样的,我这里仅对    像ICQ一类的发送聊天消息的情况作分析,对于其他情况,你或许也能得到一点帮助:    首先,我们知道,TCP/IP通常被认为是一个四层协议系统,包括链路层,网络层,运输层,应用层.    UDP属于运输层

2014-06-26 10:01:00 3727 1

原创 protobuf-c学习笔记

1、先安装protobuf

2014-06-25 11:00:27 855

原创 shell小例

#! /bin/shpath=("/etc/rc.local" "/etc/rc.d/rc.local")for data in ${path[@]}do        echo ${data}        sed -i '/\/usr\/local\/imcore\/bin\/im-monitor start & \/usr\/local\/imcore\/bin\

2014-05-29 13:03:46 501

原创 shell创建mysql表

#!/bin/bashUSERNAME="l"PASSWORD="voicesystem"DBNAME="imdb"TABLENAME="imposition"#create databasecreate_db_sql="create database IF NOT EXISTS ${DBNAME}"mysql -u${USERNAME} -p${PAS

2014-05-29 09:58:28 1168

原创 mysql执行多条语句建表

set @suffix=date_format(now(),'%Y%m');set @sqlstr = concat('create table IF NOT EXISTS POS_',cast(@suffix as char),'(loginnum int NOT NULL ,time int NOT NULL ,longitude varchar(12) NOT NUL

2014-05-19 17:48:34 720

原创 常用网络名词记录

互动式连接建立 Interactive Connectivity Establishment ——ICE

2014-05-06 13:48:09 374

原创 学习getaddrinfo

getaddrinfo函数允许将一个主机名字和服务名字映射到一个地址。

2014-04-21 19:12:28 441

原创 perl笔记

Perl语言擅长做文本处理,文本其实就是程序中的字符串,一下是关于perl处理字符串的总结. 【注意事项】1、if()时,在终端输入,数据不会自动存储在$_中;while()时,在终端输入,数据会自动存储在$_中。【perl查看字符串ASCII值】#! /usr/bin/perl -w#my $str;print "$#ARGV,$ARGV[0]\n";if($

2014-04-04 18:46:35 340

原创 mysql创建一个定时器创建日期表

DELIMITER | CREATE EVENT eON SCHEDULE EVERY 1 MONTH DO BEGINset @suffix=date_format(now(),'%Y%m');set @sqlstr = concat('create table IF NOT EXISTS P_',cast(@suffix as char),'(login

2014-04-04 18:35:14 854

原创 c实现gps查找指定距离内的点

#include #include #define PI                      3.1415926#define EARTH_RADIUS            6378.137        //地球近似半径double radian(double d);double get_distance(double lat1, double lng

2014-04-04 18:31:24 455

原创 回调函数

/*回调函数*/#include typedef int (*CALL_FUNCTION)(void *data);/*  简单封装一下  */typedef struct _A{int value;}A;typedef struct _B{int value;}B;int print(void *da

2014-03-26 13:41:01 331

原创 用define封装结构体简化代码

#include #include struct A{ int a; char *p; };struct B{ int b; char *p; };#define TYPE(type) \struct { \ struct type *content; \ }#define MY(type) \ struct type int main(){ TYPE(A) x; x.content = (str

2014-03-17 17:49:24 726

转载 debug

#include#undef PDEBUG             /* undef it, just in case */#ifdef SCULL_DEBUG#   define PDEBUG(fmt, args...) printf("[%s-%s:%d]-[Debug] " fmt "\n", __FILE__, __func__, __LINE__, ## args)#

2014-01-03 16:13:15 341

原创 mysql入门

运行环境:虚拟机ubuntu11.10(server端)    windows7(客户端)1、UBUNTU下执行 sudo apt-get install mysqld mysql_client;2、windows7下载并安装Navicat软件;3、修改服务器端配置文件 vim /etc/mysql/my.cnf ,在[mysqld]下面屏蔽这句话bind-address

2013-12-12 13:36:49 369

原创 const修饰的区域可以修改了

//内存拷贝函数void mymemcpy(const void *src,void *dst,size_t size){ assert(src != NULL && dst != NULL); char *tmp_dst = (char *)(dst); const char *tmp_src = (const char *)(src);

2013-08-06 21:29:42 364

原创 ubuntu 11.04安装vim

今天装了个虚拟机,装完后就准备sudo apt-get install vim,结果你猜怎么着,出现源无此软件项,fuck,着我不理解了,然后这种查网站,终于弄好了,总结如下:1、首先查看自己的虚拟机能否上网,具体:用ping命令ping路由或者ping自己的windows下的系统的IP,若能ping通再ping下外网如ping www.baidu.com若能ping通就说明虚拟机网络没问

2013-08-05 22:53:33 929 1

原创 理解基础strcpy

strcpy经常用却没想过,今天遇到一题,如下:

2013-08-04 18:11:59 476

原创 QApplication notify学习

重构QApplication的notify方法bool MyApp::notify(QObject *reciver, QEvent *e){    if(e->type() == QEvent::MouseButtonPress)    {        QApplication::postEvent(GlobalData::title_widget,new MY_EVENT

2013-01-26 17:20:03 2833

转载 QT中文显示

QT是跨平台的,我的工作环境,有三个qmake,分别是X11,qtopia-core,qtopia-core-arm。X11用来编译PC可执行的QT程序,qtopia-core编译的程序可在电脑的qvfb中仿真ARM上显示效果,qtopia-core-arm只可以在arm开发板上运行。    正常显示中文总是遇到问题,花了一阵子搞明白了。    有两种方法正常显示中文,其实都不难。

2012-11-19 11:15:30 352

protobuf-c入门例子

http://blog.csdn.net/gongkongrs/article/details/34420947,在http://blog.csdn.net/menggucaoyuan/article/details/16107201的例子修改了Makefile以适应自己的环境

2014-06-25

亲测的uuid库和接口,拿来直接用

亲测的uuid库和接口,拿来直接用,亲测的uuid库和接口,拿来直接用

2014-05-30

Qt网络编程

史上最好的Qt网络学习资料,有详细的解释文档加代码,保证你看了就会了。

2012-12-31

wifi源码程序

wifi源码资源 wifi驱动 具体自己看吧

2012-12-24

sqlite_qt_

Qt下sqlite简单语句使用,注意编码形式,以防在不同linux下乱码。

2012-12-24

QT ftp客户端

Qt ftp_client源码,希望你能有兴趣

2012-08-27

linux_2.6.28.6下Qt wifi通信

linux_2.6.28.6下Qt wifi通信,包含源码和编译生成的程序,ARM11开发板已测试通过

2012-08-27

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除