自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(14)
  • 收藏
  • 关注

原创 SEAL同态加密库docker镜像创建和使用

SEAL同态加密库docker镜像创建和使用SEAL是微软开发的支持同态密码库,支持CKKS和BFV同态密码算法,这里基于ubuntu 18.04和SEAL 3.4版本创建docker镜像,镜像已经上传至dockerhub,可以直接pull使用docker pull xueyumusic/seal:3.4Dockerfile:FROM ubuntu:18.04COPY ./ /roo...

2020-04-04 14:44:40 802 1

原创 linux上安装新版本gcc和ntl库

最近想在CentOS release 6.10 (Final)上安装helib库,但是gcc版本太低并且没有cmake,而helib要求gcc版本>= 5.4.0,需要安装新版本gcc1. 下载安装适配版本的gmp, mpfr, mpc基本都是./configure --prefix=/usr/local/gmpmakemake install一定注意版本mpfr安...

2020-01-26 15:39:46 1606 1

转载 Spring Security Filter Chain Registration Using WebApplicationInitializer for Servlet 3.x

Starting from Servlet 3.x Specification some code saving features have been introduced such as XML less annotation based Servlet and Filter registration. In conjunction with this Spring has introduced

2015-05-05 14:05:13 863

转载 kafka producer的serializer

今天遇到问题,kafka的producer是的类型,却始终报错,[2015-01-14 15:10:22,837] ERROR Error serializing message for topic haidafu (kafka.producer.async.DefaultEventHandler)java.lang.ClassCastException: java.lang.String

2015-01-14 16:04:09 17598

原创 storm-kafka 学习

最近几天学习用storm-kafka,被一个问题困扰了一阵,发现是版本的问题。storm的官方文档中的storm-contrib中推荐的storm-kafka和kafka 0.7.0匹配,而我用的是kafka 0.8.2-beta,当时发现不能用,想着这是一个常见需求,偶然间发现storm的release的external下storm-kafka-0.9.3包,可以和kafka 0.8匹配,用之问

2015-01-03 12:18:46 689

原创 用maven管理hadoop开发项目

使用maven工具,创建简单的WordCount项目用hadoop map-reduce做分析首先创建目录结构 src/main/java/com/xueyu/MyWordCount.java 存放JAVA源文件然后创建maven配置文件pom .xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xs

2014-12-19 16:05:24 1336

原创 自定义的flume-ng的postgresql数据库sink

flume-ng本身支持的sink没有postgresql数据库的,正好现在有这样的需求,将日志记录按字段分隔存储到数据库中,所以自定义这样一个sink,用JAVA开发使用flume-ng提供的一些sdk和jar包,数据库映射相关采用mybatis,直接上程序该实例程序用tail -F 监听文件,对新输入的每一行日志记录,用空格切分,取第一个字符串在控制台输出并存入数据库

2014-12-11 14:31:26 3195 1

原创 postgresql数据库改变data目录

原来的默认数据目录/var/lib/postgresql/[version]/data/

2014-11-25 10:10:28 20082 2

原创 scala编程语言使用slick进行数据库操作

以postgresql为例,使用slick orm工具进行scala

2014-05-09 16:35:27 3690 1

原创 使用flume搜集服务器log到hdfs

将多个lo多个logs服务上的flume-sink和hdfs

2014-04-30 10:25:38 1302

原创 spark 框架分析 (一)

spark代码中主要的一个基础组件是akka (

2014-04-18 14:11:48 1202

原创 在standalone-cluster模式上运行spark应用程序(用sbt打包)

在同一台机器上启动一个master和一个slave,启动master使用.

2014-04-14 15:38:45 1644

原创 使用CGROUP限制mongd的disk io

使用cgroup做磁盘IO的资源隔离,用到blkio子系统先测试blkio限制dd的情况,很重要的一点是只能限制direct io, dd if=/dev/zero of=/mongodb/dd1 bs=4K count=10240 oflag=direct在测试mongod的时候,直接限制mongod的进程不起作用,猜测可能是mongod是先往内存里写,不是direct io,后来直接限

2014-03-28 15:52:18 1632

原创 cgroup实践---使用cgroup限制mongodb进程内存

多个业务需要共享mongodb集群资源,采用cgroup做资源隔离,限制mongod进程的内存1.  mkdir /cgroup,  mount -t cgroup -o memory mongomemcg /cgroup , 创建cgroup环境2.  mkdir /cgroup/groupMongo3.  启动mongod进程, mongod --dbpath /var/l

2014-03-26 16:37:06 2079

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除