- 博客(11)
- 收藏
- 关注
RSS订阅原创 linux安装tailf 命令
1.复制如下代码到一个新建的tailf.c文件里。/* tailf.c -- tail a log file and then follow it * Created: Tue Jan 9 15:49:21 1996 by faith@acm.org * Copyright 1996, 2003 Rickard E. Faith (faith@acm.org) * * Permission is hereby granted, free of charge, to any perso
2021-09-01 11:38:50
1077
1
原创 0基础超详细 ubuntu系统 opencv3.4.10 编译安装
方式1：简易安装pip install opencv-python简易安装方式是从库中安装编译好了的Opencv，这种安装方式简单方便，缺点是容易在使用中出现未知bug，比如不能imshow图像，不能读视频文件等（opencv3好像好一点）。推荐使用源码编译安装。方式2：源码编译安装下载链接：https://opencv.org/ 读者下载的是opencv3.4.9下载源码自己编译；第一步：安装必备库apt-get install build-essentialapt-.
2020-08-11 18:59:28
840
1
原创 docker安装——解压即用版
最近在使用docker部署服务，但是应用的环境没有外网，需要重新安装docker，之前尝试过rpm版本安装，感觉不如这种二进制版本整洁。网上搜了挺多博客，自己也总结一篇。官网介绍：https://docs.docker.com/install/linux/docker-ce/binaries/#install-daemon-and-client-binaries-on-linux（以后有问题还...
2019-11-28 16:35:14
1706
原创 离线环境安装docker
测试环境为封闭环境，不能连通外网，但是又需要用到docker，只能在离线环境下安装了。官方有相关文档https://docs.docker.com/install/linux/docker-ce/centos/#install-from-a-package奉上教程,我是root安装 1.下载docker相关rpm包 官方下载地址：https://download.docker...
2019-08-01 10:15:47
537
转载 kafka如何读取__consumer_offsets的内容
https://www.cnblogs.com/huxi2b/p/6061110.html
2019-05-19 13:24:36
1125
原创 简单程序用EventBus实现订阅发布者模式
订阅发布者模式是工作中经常用到的。比如我在工作中就遇到了配置文件定时更新的需求，当然可以起定时线程进行强制更新，但是强制更新势必会造成资源的消耗，共享变量的等待等，因此可以采用订阅发布者模式，当有需要时进行更新操作。有很多实现方式，这里是在研究flume源码的时候碰到的一种方式，感觉非常简单好用。写个demo如下：package com.xx.testSubPub;/** * fu...
2019-05-17 16:23:52
545
原创 用CombineFileInputFormat解决小文件问题
使用Hadoop API(抽象类CombineFileInputFormat)来解决小文件的问题。抽象类CombineFileInputFormat的基本思想是通过使用一个定制的InputFormat允许将小文件合并到Hadoop的分片(split)或块(chunk)中。要使用抽象类CombineFileInputFormat，需要事项2个定制类。1、 CombineSmallfile...
2019-05-15 16:46:41
1592
原创 hadoop 分片机制
hadoop mr 的map端输入默认切片算法：首先明确几个概念：最小切片大小: minSplitSize=1最大切片大小: maxSplitSize=Long.MAX块大小:blockSize切片的大小范围值：minSize=max(1,minSplitSize) maxSize=maxSplitSizes...
2019-05-15 15:00:39
937
原创 spring cloud dataflow 自定义source探索
首先贴几个源码中的source类型。syslog:jdbcSource1jdbcSource-sample:tcp server/client source:rabbit source:在总结多类source的基础上总结如下：分为两类source，一类是监听source，一类时定时拉取source.实现监听Source以u...
2019-05-15 14:02:47
677
原创 spark word count
环境: spark版本是2.2.2, scala版本是2.12.6,hadoop版本是2.7.3,idea 2016.3使用spark写wordcount报错:1>异常:NoClassDefFoundError: scala/Product$class原因: scala版本原因,以前是2.12.6,改为2.11.8,异常解决.2>ERROR ...
2018-11-08 11:38:53
123
原创 ambari单节点安装过程中的一些问题
在安装ambari时，执行到这一步，遇到这个问题。Error Summary-------------Repository base is listed more than once in the configurationRepository updates is listed more than once in the configurationRepository extras i...
2018-05-24 10:07:28
614
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人