心有猛虎细嗅蔷薇

从RLHF到DPO，从人工标注到RLAIF，从劳动密集到技能密集——数据标注正在经历一场深刻的范式变革。对于技术人员而言，理解数据标注的原理、掌握标注工程的方法、洞察行业发展的趋势，不仅是"多一门技术"，更是在AI+时代构建核心竞争力的关键一步。

数据结构：程序的底层骨架 摘要：数据结构是程序设计的核心基础，决定了数据的组织方式和操作效率。本文通过生活类比（如整理书籍）直观解释常见数据结构（数组、链表、哈希表等）的特点。重点对比不同数据结构在百万级数据查询时的性能差异（如哈希表比无序数组快百万倍），强调数据结构选择对系统性能的决定性影响。最后通过代码示例展示数组和链表的实现原理与应用场景：数组适合频繁随机访问但插入删除成本高；链表则擅长动态插入删除但查找效率低。掌握数据结构本质是编写高效程序的关键。

组件 Daemon 端口 配置 说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口，用于数据传输     50075 dfs.datanode.http.address http服务的端口     50475 dfs.datanode....

 HBase常用命令hbase shell命令                             描述  alter 修改列族（column family）模式 count 统计表中行的数量 create 创建表 describe 显示表相关的详细信息 delete 删除指定对象的值（可以为表，行，列对应的值，另外也可以指定时间...

最近在逐步跟进Hbase的相关工作，由于之前对Hbase并不怎么了解，因此系统地学习了下Hbase，为了加深对Hbase的理解，对相关知识点做了笔记，并在组内进行了Hbase相关技术的分享，由于Hbase涵盖的内容比较多，因此计划分享2期，下面就是针对第一期Hbase技术分享整体而成，第一期的主要内容如下:一、Hbase介绍二、Hbase的Region介绍三、Hbase的写逻辑介绍...

Flume是Cloudera提供的日志收集系统，具有分布式、高可靠、高可用性等特点，对海量日志采集、聚合和传输，Flume支持在日志系统中制定各类数据发送，同时，Flume提供对数据进行简单处理，并写到各种数接受方的能力。其设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDFS，HBase等集中存储器中。 Flume的核心是把数据从数据源收集过来，在送到目的地，为了...

官网地址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL方法一：CREATE TABLE IF NOT EXISTS default.weblog(ip string ,time string ,req_url string ,status string ,size string )ROW...

一、关系运算：1. 等值比较: =         语法：A=B         操作类型：所有基本类型         描述:如果表达式A与表达式B相等，则为TRUE；否则为FALSE         举例：         hive>select 1 from lxw_dual where 1=1;         12. 不等值比较: <>...

HIve总结：首先要学习Hive，第一步是了解Hive，Hive是基于Hadoop的一个数据仓库，可以将结构化的数据文件映射为一张表，并提供类sql查询功能，Hive底层将sql语句转化为mapreduce任务运行。相对于用java代码编写mapreduce来说，Hive的优势明显：快速开发，人员成本低，可扩展性（自由扩展集群规模），延展性（支持自定义函数）。Hive的构架： ...

1.FASTCGI--动态网页技术https://baike.baidu.com/item/fastcgi/108806852.uwsgi--Nginx中HttpUwsgiModule的作用是与uWSGI服务器进行交换。WSGI是一种Web服务器网关接口。https://baike.baidu.com/item/uwsgi/673705?fr=aladdin3.harpc--HARPC（High ...

Apache Kafka系列(一) 起步Apache Kafka系列(一) 起步 Apache Kafka系列(二) 命令行工具（CLI） Apache Kafka系列(三) Java API使用 Apache Kafka系列(四) 多线程Consumer方案 Apache Kafka系列(五) Kafka Connect及FileConnector示例摘要：　　1.Apache...

AzkabanAzkaban是由Linkedin公司推出的一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。Azkaban功能特点：1.兼容所有Hadoop版本                               2.可以通过WebUI来...