Pallas_Cat-CSDN博客

原创 devmem读写物理内存

devmem源码很短，网上可以下载到，有devmem和devmem2两个版本devmem源码地址：https://www.cnblogs.com/sky-heaven/p/13597581.htmldevmem2源码地址：http://sources.buildroot.net/devmem2.cbusybox中的devmembusybox是Linux一个调试工具箱，里面包含了devmem及其他工具，可以以命令行的方式调用工具下载及使用方法如链接及下文https://www.icode9.com/

2021-11-04 16:43:30 7338

原创解决重装系统后有磁盘被ceph占用问题

一、问题说明有一个集群原理装过ceph，后来应为系统崩溃，重装了系统，所以ceph已经不存在了。我查看了/var/lib目录，/etc目录，确实没用ceph的文件（重装了当然没有）。现在的问题是查看块设备 lsblk 发现有磁盘被占用，和正常装ceph时候一样，要重新使用这块硬盘需解决此问题。lsblk -f命令可以查看块设备的文件系统，如图，被占用的sdb没用文件系统。lsblk -l可以查看块设备的类型。NAME：块设备名MAJ:MIN：本栏显示主要和次要设备号RM：显示可移动设备。0表

2021-06-10 17:02:41 1834

原创解决ceph 100.000% pgs not active

这里写自定义目录标题欢迎使用Markdown编辑器欢迎使用Markdown编辑器虚拟机单节点安装完ceph后，只创建了两个OSD，导致状态是100.000% pgs not active，用python rados往pool存数据一直卡着，存不了。root@controller ceph-test]# ceph -s cluster: id: c5544727-e047-47e3-85fc-6cc5dab8b314 health: HEALTH_WARN

2021-06-10 16:49:35 2755 2

原创 flink学习笔记1—基础和架构

datastream的keyby是按当前key的hashcode对数据重新分区stream输出前面的4>代表当前并行执行的线程编号，也可以认为是真分布式时对应的分区编号可以用flink自带的ParameterTool提取配置项bin目录里的flink文件功能是：启动集群后，所有命令行操作都能用它...

2021-03-02 18:12:30 160

原创 S3对象存储上传文件夹

背景：Amazon S3提供了方便易用的对象存储接口，在对象存储中数据是以key-value的形式存放，对象之间默认没什么关联。在实际应用场景中，我们可能需要将一个文件夹上传到S3中，而不是一个一个文件地上传，并且期望保留文件夹里文件的层级关系。本文介绍三种方法，第三种用代码是重点。1.使用S3Browser在S3的客户端S3Browser中，我们发现可以upload floder,我将本地 H:\video\test 文件夹上传，test文件夹里有1.txt,2.txt两个文件和一个名为test2的

2020-12-10 16:11:48 6798

原创基于thrift的简单Java RPC框架

背景：RPC是一种常用的技术，比如游戏服务器，算法服务等都会用到。有时我们想使用一个简单的RPC框架；或者客户端服务端程序是由不用语言编写，但是要使用RPC技术，这时thrift是一种很好的选择。thrift是一种跨语言的RCP框架（不跨语言也可以），下面讲解如何用thrift编写一个简单的客户端服务端均为Java语言的RPC框架。定义接口，生成代码创建一个helloworld.thrift文件，内容如下service Hello {string helloString(1:string wor

2020-12-09 10:12:24 481

原创 Java调用cmd命令复制文件到指定目录

背景：有时我们想把一个文件复制多份，而且存放在指定目录，并且复制得到的文件命名按照我们的需要来，而不是 XX–（副本）。手动复制太慢，尤其是要切换文件夹，这时候我们可以借助脚本或者代码完成工作。受到这篇博客的启发，使用JavaIO流复制可能较慢，我也调用cmd里的命令，复制文件到指定路径，对原博客的代码做了一些修改，更好用。import java.io.File;public class CopyFile { public static void main(String[] arg

2020-12-03 15:51:10 1065

原创 ceph使用RBD块设备

创建名为image1 的rbd块设备查看它的信息映射块设备，失败sudo rbd map data/image1第一个错是权限不够，第二个错rbd: sysfs write failedRBD image feature set mismatch. You can disable features unsupported by the kernel with “rbd feature disable data/image1 object-map fast-diff deep-flatt.

2020-11-29 22:02:56 572

原创用Nexus3部署本地(python)pypi仓库

1.安装和启动Nexus3官网下载nexus3，解压，CMD窗口进入安装目录，cd H:\work\nexus-3.28.1-01-win64\nexus-3.28.1-01\binnexus.exe /run等待启动完，然后浏览器进入localhost:80默认端口是80，可以修改IP和端口，后面有详细介绍2.建立仓库点上面的设置按钮，进入如下页面，点击create repository在repositories中找到下面三个。他们的区别是：proxy – 远程仓库的代理，当

2020-11-26 11:35:01 3022

原创 S3Browser配置、使用与允许跨域设置

背景：ceph+S3是一套常用的对象存储方式，S3提供的接口比ceph底层的librados用起来更方便，而且支持Windows使用，尤其是S3做了存储服务的客户端S3Browse，可以十分方便的使用和管理你的bucket。1.S3Browser配置下载安装好S3Browser以后，点击左上角account，add或者manage account，在下图页面进行配置，配置对了就能连接上。如果是与ceph对接，那么中间的access_key和secret_key就填你创建radosgw-admin u

2020-11-23 17:58:06 11307 1

原创 Java创建/删除文件及文件夹

背景：有时我们想批量地创建一些小文件，用于其他功能的测试，比如测试存储性能，人工地在操作系统创建文件及文件夹显然很费时，我们就需要自动化地对文件和文件夹操作。1.创建空文件夹输入是文件夹目的地点，比如想在D盘创建名为smallfile的文件夹，输入参数则应该是 “D:\\smallfile”。 public static String createDirectory(String dir){ /*如果sPath不以文件分隔符结尾，自动添加文件分隔符,对于创建文件夹可以不加这几句

2020-11-19 22:25:15 654 3

原创 flink datastream读取csv数据集并处理

从csv格式的数据集中读取数据，创建我自定义的GeoMessage对象，把对象放在集合里，通过flink的fromCollection()方法把集合作为数据源，然后通过实现map接口转换数据。需要注意的是GeoMessage类必须继承实现序列化接口，即public class GeoMessage implements Serializableimport org.apache.flink.api.java.DataSet;import org.apache.flink.streaming.api.d

2020-11-05 19:28:15 2881 1

原创 MongoDB全文索引优先级设置

在test中创建两个文档，命令如下db.test.insert( [{ Sysno:1111, Productname:"Rose", Weight:123, Productmode:"aaa", }, { Sysno:2222, Productname:"flower", Weight:345, Productmode:"aaa", } ] )在要test这个集合里所有文档里（全文范围）查找包含关键词为rose的文档，分别给productname和productmode字段设置了优先级，没设置优先

2020-10-30 15:40:48 827 6

原创 Java实现简单的倒排索引

背景：一个Subscription里包含ID和关键词，现有多个Subscription，他们的关键词会有重复，通常是索引表是以Subscription的ID为key，keywords为value，那么检索哪些Subscription包含了指定的keywords，就要遍历所有的Subscription。这么做效率比较低。为了提高检索效率，建立倒排索引，以keywords为key，Subscription为value，这样检索包含指定keykeywords的Subscription时候，遍历索引表的key即可

2020-10-28 21:04:12 2381 3

原创 Java opencv用mat还原视频文件

从本地视频文件或者网络摄像头读取视频流，并用opencv获取视频帧，然后用mat还原为视频。代码原理是连接摄像头，读取到mat，创建一个视频文件；把收到的每个一mat写入视频文件中，另外也单独生成图片（检验用）。private void record() throws IOException {System.load("E:\\opencv\\opencv\\build\\x64\\vc15\\bin\\opencv_world420.dll");System.load("E:\\opencv\

2020-10-27 10:49:29 703 7

原创 Java opencv把mat还原成图片

背景：代码的原理是opencv连接摄像头，捕获到帧数据mat（矩阵），将其转成byte数组然后进行base64编码，把数据与帧的其他信息（宽、高、通道数、时间戳）写入到json对象中，Kafka把json对象以字符串是方式发送出去；消费者（接收方）是ceph集群，拿到json对象后从中提取出帧的编码数据，作为对象内容存进去。要播放视频，就要把数据读出来，然后还原。1.遇到的问题及解决思路从ceph读取数据的方法已经掌握了，现在问题是还原。为了运行方便，我在生产者获取数据之后做了一些实验，尝试把帧的数据

2020-10-27 10:39:50 3702

原创 Kafka参数调优，解决The request included a message larger than the max message size the server will accept.

背景：我用opencv获取摄像头的rtsp流，捕获到每帧，把帧进行base64编码，然后通过Kafka把编码后的帧发送出去最初Kafka发视频文件和发摄像头的帧是没问题的，生产者可以一直发送，消费者可以一直接收。后来为了模拟不同清晰度的视频流，让视频流代码使用不同清晰度的视频文件发送和存储，于是修改了Kafka一些参数，现在的参数导致生产者连续发送几十帧或者一百多帧时会报错。org.apache.kafka.common.errors.RecordTooLargeException: The req

2020-10-27 10:12:39 5956

原创客户端通过librados远程连接ceph集群

一、背景介绍ceph集群作为存储服务器，自然需要有客户端连接服务器，把客户端的数据上传到服务器。如果你选择用S3 API进行存储，那么客户端就是S3browser，与服务器连接的配置里，endpoint的格式是host:port，填好access_key和secret_key，下面选SSL，就可以连接服务器了。S3 API是基于HTTP协议的，它的底层是librados，有时我们需要用底层的librados进行开发或者实验，或者需要速度更快地存储，这时就需要librados远程连接ceph集群。二、

2020-10-26 21:42:59 1387 2

原创 Kafka2.3.1+zookeeper3.4.14集群模式配置

1.zookeeper配置我的集群共有三台机器，分别叫做ceph10,ceph20,ceph30。在进行zk和Kafka配置前，先确保修改过了它们的hosts文件，通过主机名可以ping通。下载和解压Kafka和zookeeper，把/zookeeper/conf里的zoosample.cfg，重命名为zoo.cfg。在zoo.cfg里改动如下：#zookeeper数据目录，根据自己习惯设置dataDir=/home/ceph-admin/tmp/zkdata#server.X=host:port

2020-10-23 15:46:10 256 1

原创 flink消费Kafka消息进行word count

1.简单讲解对于这个简短的程序，逻辑还是非常简单的。首先创建一个流处理环境env;然后往这个环境添加数据源，比如env.socketTextStream，和env.addSource(kafkaSource);自定义算子，算子的作用是对传输过来的每一条数据进行处理，是数据处理的核心部分。在下面的程序里，我们重写了flatMap()方法，flatMap+keyBy+sum就完成了一条消息的word count。env.execute()执行任务。实际上前面的部分是我们定义了这个任务的执行规则，到这

2020-10-19 21:16:02 492 4

原创 rados以及s3api测试和使用ceph

1. 使用Java-rados库往进存数据1.1 准备工作如果使用RGW下层的librados操作ceph，Java代码必须要用到rados.jar这个库，并且要安装jna，sudo yum install jna -y。在Linux里，复制该JAR文件到公共目录 (例如 /usr/share/java) ，设置这两个 JAR 链接 JVM Class path，连接操作如下：#安装rados-java，或者直接把编译好的rados.jar拷贝过来sudo yum install jnagit

2020-10-05 20:51:37 752

原创 ceph常用命令行操作

1.s3cmd常用命令#Make buckets3cmd mb s3://BUCKET#Remove buckets3cmd rb s3://BUCKET#List objects or bucketss3cmd ls [s3://BUCKET[/PREFIX]]#List all object in all bucketss3cmd la#Put file into buckets3cmd put FILE [FILE...] s3://BUCKET[/PREFIX]#Ge

2020-10-05 20:31:27 623

原创 centos7.8安装ceph-13.2.10-mimic （非常详细）

1.安装文档#创建虚拟机，每台机器3块硬盘#集群规划，写在/etc/hosts文件里192.168.244.101 ceph1 #ceph-deploy,mgr,mon192.168.244.102 ceph2 #mgr,mon192.168.244.103 ceph3 #mgr,mon#换阿里yum和expl源,每台机器执行cd /etc/yum.repos.d#备份之前的配置mv ./CentOS-Base.repo ./CentOS-Base.repo.bak#下载wget -

2020-10-05 20:26:50 1431

原创 ceph存储接口-S3API和rados

ceph常用的接口有librados和s3api，s3api与ceph对象网关RGW连接，往ceph集群存储数据，librados是对象网关RGW的下层，运行效率更高，性能更好。1. librados使用librados可以操作ceph集群，它提供了存储，读取，删除，列出所有对象等功能。在存储前，需要连接集群： Rados cluster = new Rados("admin"); File f = new File("/etc/ceph/ceph.conf");

2020-10-05 20:14:44 2414

原创 windows10磁盘分区管理

1.新增分区如下图所示，我的电脑里有5个磁盘分区，本文讲解增加、删除、合并分区的操作鼠标右键点击此电脑，点击管理在出现的窗口里点击磁盘管理，看到图中界面可以看到我的磁盘2是E盘，磁盘2只有一个分区我现在要把磁盘2分成两个分区，右键点击E盘，点压缩卷出现如下窗口，意思是要从E盘分出来多少MB空间，比如我想分20G=20*1024=20480，输入后点击压缩即可压缩后看到磁盘2有E盘和一块未使用的空间，右键点击未分配的空间，点新建简单卷新建..

2020-09-11 21:38:40 711

原创 centos7 rpm方式安装mongoDB

centos7安装mongoDB#下载三个rpm包wget https://mirrors.tuna.tsinghua.edu.cn/mongodb/yum/el7-4.2/RPMS/mongodb-org-tools-4.2.8-1.el7.x86_64.rpmwget https://mirrors.tuna.tsinghua.edu.cn/mongodb/yum/el7-4.2/RPMS/mongodb-org-server-4.2.8-1.el7.x86_64.rpmwget https:/

2020-08-19 20:28:06 2057 1

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

s3browser-9-2-1.exe

ThriftClient&Server.zip

rados-0.7.0.jar

分形维数MATLAB程序

各种sabe模型的搭建，希望可以帮助大家

空空如也