大模型的艺术-CSDN博客

原创【RAG问答相关】复杂知识库问答综述（上）

本次带来的东南大学发表的一篇关于KBQA相关的论文综述。详细介绍了复杂事实性问题的处理框架。我分为上中下三个部分详解这篇论文中关于KBQA相关的内容。洞悉用户问题才是大模型落地应用的第一步！本篇为上篇，欢迎关注我们，大模型的艺术，持续更新！

2023-11-04 13:17:38 393

原创 kafka部分属性配置字段详解

broker配置常规配置broker.id默认值是0，可以被设置成任意整数，但是在kafka集群中必须是唯一的。建议设置成与机器名具有相关性的整数prot kafka默认监听9092端口zookeeper.connect 目的是保存broker的元数据该配置参数是用冒号分隔的一组hostname:port/path列表。每一部分的含义如下：hostname是Zookeeper服...

2018-11-11 16:24:22 1869

kafka的消费者从属于消费者群组，一个群组里的消费者订阅的是同一个主题，每个消费者接受主题一部分分区的消息。分区的所有权从一个消费者转移到另一个消费者，这样的行为被称为再均衡。消费者通过向被指派为群组协调器的broker（不同的群组可以有不同的协调器）发送心跳来维持它们和群组的从属关系以及它们对分区的所有权关系。分配分区，它使用了一个实现了PartitionAssigor接口的类来决定哪些...

2018-11-11 16:23:22 3104

原创向Kakfa写入数据

ProducerRecord对象需要包含目标主题和要发送的内容。我们还可以指定键或者分区。在发送ProducerRecord对象时，生产者要先把键值对象序列化成字节数组。创建kafka生产者有三个必选的属性bootstrap.servers 指定broker的地址清单，地址的格式为host:port。key.serializer 必须被设置为一个实现了org.apache.kafka.c...

2018-11-10 17:18:38 212

原创 IDEA使用java代码连接单节点Kafka连接失败问题解决

2018-11-10 17:03:06,060] WARN [Producer clientId=producer-1] Connection to node -1 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)[2018-11-10 17:03:06,...

2018-11-10 17:16:27 3574 2

原创 sqoop导入到hdfs时内存不足的错误情况

使用sqoop将postgresql的数据导入到hdfs，运行mapreduce job时出现错误情况。报错信息如下： 18/08/02 21:54:49 INFO mapreduce.Job: Job job_1533215502568_0002 running in uber mode : false 18/08/02 21:54:49 INFO mapreduce.Job: map...

2018-08-02 22:20:57 3194

原创 Hadoop Error Could not find or load main class XXX

今天在初次导出jar文件放到hadoop集群上遇到了一个错误， 1. 首先将类文件打包成jar文件，传到hadoop集群上 2. 将类文件导出（此处也可以选择导出一个文件夹）export HADOOP_CLASSPATH = XXX 3. 运行类文件 hadoop URLCat hdfs://localhost/data/123.txt 4. 报错Error: Could not fin...

2018-06-23 13:39:58 2225 2

原创访问HDFS遇到无法访问8020端口的问题，访问被拒绝

今天运行了一个简单的从Hadoop URL读取数据的程序hadoop jar test.jar test.URLcat hdfs://localhost/data/123.txt结果显示这个错误Exception in thread "main" java.net.ConnectException: Call From hadoop/192.168.1.190 to hadoo...

2018-06-23 13:37:59 12480

原创监听鼠标移动和点击事件并且通过发送广播的形式发出这个绝对坐标

刚拿到这个任务的时候还是有点手足无措的，首先想到的是这个点击事件从哪里来，怎么传递过来的，记得之前看到的一本书是深入理解android卷一中有写到底层的事件是从哪里来的通过 adb shell getevent -t命令我们可以看到一系列的输入事件 [ 10088.480024] /dev/input/event0 :0000 0000 00000000 产生的事件如下[ 10088.48

2017-05-12 14:53:25 915

zc1024792301的博客