gorocks-CSDN博客

原创 Spark整合Hbase遇到"java.lang.IllegalStateException: unread block data"错误

问题描述：spark程序读取hbase数据库，standalone模式提交后出现如下错误，异常栈如下：2018-02-24 10:05:32,012 INFO [dag-scheduler-event-loop] scheduler.DAGScheduler: ResultStage 0 (count at HbaseApiDemo.scala:22) failed in 1.099...

2018-02-24 11:21:54 8187

原创 Master yarn-cluster is deprecated since 2.0. Please use master "yarn" with specified deploy mode

使用下面命令,bin/spark-submit --class SimpleApp --master yarn-cluster /home/zzhan/workspace/jobs/sparkdemo_2.11-0.1.jar会产生下面的告警信息:Master yarn-cluster is deprecated since 2.0. Please use master "yarn...

2018-02-12 15:50:21 5728

原创 idea配置sbt使用国内maven源

说明: idea版本2017.3.4 系统Linux使用idea新建sbt工程此时会生成~/.sbt目录, 如下图: 在 ~/.sbt/ 目录下添加一个 repositories 文件，文件内容如下:[repositories]localosc: http://maven.aliyun.com/nexus/content/groups/publictype...

2018-02-12 14:39:01 7279

原创 Centos7使用firewalld配置端口

1. 开放端口firewall-cmd --zone=public --add-port=80/tcp --permanent–permanent表示永久开放，不添加的话重启后会失效！2. 删除端口firewall-cmd --zone=public --remove-port=80/tcp --permanent3. 查看开放的端口firewall-cmd...

2018-02-10 20:06:50 873

原创 Centos7虚拟机配置固定IP

Centos7虚拟机安装后，默认采用DHCP方式分配IP地址，很多时候我们需要虚拟机有固定的IP地址。通过以下步骤可以实现。说明：虚拟软件使用VirtualBox，虚拟机使用桥接方式和宿主机进行网络通信。1. 查看网卡信息ip addr如下图，可知本机目前使用的网卡是enp0s3。 2. 修改配置cd /etc/sysconfig/network-...

2018-02-09 14:53:29 933

原创 Centos7安装Redis

1. 下载安装包、解压、建软链wget http://download.redis.io/releases/redis-4.0.8.tar.gztar zxvf redis-4.0.8.tar.gz -C /optcd /optln -sv redis-4.0.8/ redis此时/opt目录下会有redis和redis-4.0.8两个文件夹。2. 编译cd r...

2018-02-09 09:14:01 249

转载 Linux下动态链接库和静态链接库

推荐两篇文章http://blog.csdn.net/ddreaming/article/details/53096411http://blog.csdn.net/shreck66/article/details/49583057

2017-09-25 16:25:25 222

转自：http://www.cnblogs.com/benio/archive/2010/10/25/1860394.html -l参数-l参数就是用来指定程序要链接的库，-l参数紧接着就是库名，那么库名跟真正的库文件名有什么关系呢？就拿数学库来说，他的库名是m，他的库文件名是libm.so，很容易看出，把库文件名的头lib和尾.so去掉就是库名了。好了现在我们知道怎么得到库名，当我们自已要用到一个

2017-09-15 09:02:52 304

转载 linux下.a/.so/.la目标库区别

转自：http://www.metsky.com/archives/604.html在linux平台上编译时，常会遇到目标库的疑问，有静态库也有动态库，单个理解都不太难，但是对复杂的工程而言，一旦混合到一起去，对整个工程的理解和调用，将会造成很大困扰，本文就汇总这几种常见编译结果文件的区别。一、格式说明linux下编译，常会遇到后缀为：.o .so .a .la .ko等格式文件，尽管linux并不

2017-09-12 11:00:47 5509

原创 Centos下git push提示“error: The requested URL returned error: 403 Forbidden while accessing”

Centos下git push提示“error: The requested URL returned error: 403 Forbidden while accessing”解决办法：切换到当前git仓库 vim .git/config 将注释的url替换成新的url[remote "origin"] # url = https://github.com/naughtybear

2017-09-11 09:19:58 472

原创 Centos6.9编译安装FFmpeg

Centos6.9编译安装ffmpeg安装步骤：参考 https://trac.ffmpeg.org/wiki/CompilationGuide/Centos注意点：1. 如果出现错误：”Requires: libc.so.6(GLIBC_2.14)(64bit)”参考http://www.cnblogs.com/yaoz/p/6944942.html，安装nasm2. 安装libvpx时候，使用

2017-09-07 11:45:04 3198

gorocks的博客