
大数据
文章平均质量分 56
道亦无名
王阳明曰: 立志 勤学 改过 择善
我曰: flag practice debug release
展开
-
当网络Ping不通时如何检查
网络Ping不通通常是由物理连接、配置错误或网络路径问题引起的。排查问题时,应按照从本地到远程逐步检查的原则,定位具体原因。通过合理的检查步骤和配置优化,绝大多数问题都可以被快速解决。如果需要进一步技术支持,可考虑引入专业的网络诊断工具或服务。原创 2024-12-30 10:39:12 · 1988 阅读 · 0 评论 -
心力衰竭相关临床记录数据分析开发技术概述
心力衰竭临床记录数据分析是一项跨领域的综合技术任务,从数据采集到模型构建和结果可视化,每一步都需要采用先进的工具和方法。通过结合机器学习与医学知识,不仅可以提升数据分析效率,还能为心力衰竭的临床决策和患者管理提供可靠的科学依据。心力衰竭临床记录数据分析的开发涉及多种技术,包括数据采集、处理、建模和可视化等方面。心力衰竭相关临床记录数据分析开发技术概述。原创 2024-12-29 22:22:02 · 1581 阅读 · 0 评论 -
Kylin的原理
由于Kylin的查询过程不会扫描原始记录,而是通过预计算预先完成表的关联、聚合等负责运算,并利用预计算的结果来执行查询,因此相比于非预计算的查询技术,其速度一般要快到一到两个数量级,并且这点在超大的数据集上优势更明显。在早期版本中,Kylin可能通过串行过程进行Cube计算,即先启动一个MR计算出四维的数据,然后再启动一个MR读取四维的数据,计算出三维的数据,以此类推。但后来,为了提高计算效率,Kylin可能进行了优化,通过一个MR在Map阶段将所有维度的情况都计算出来,做一个预聚合。原创 2023-12-21 20:08:12 · 519 阅读 · 0 评论 -
rabbitMQ配置用户权限操作
查看当前所有用户rabbitmqctl list_users添加帐号:name 密码:passwdrabbitmqctl add_user name passwd赋予其administrator角色rabbitmqctl set_user_tags name administrator删除角色rabbitmqctl delete_user Username设置权限rabbitmqctl set_permissions -p / name “." ".” “.*”查看用户的权限rabbi原创 2022-02-17 23:15:00 · 3621 阅读 · 0 评论 -
数据治理核心域1
数据架构管理 数据模型是数据构架中重要一部分,包括概念数据模型、逻辑数据模型和物理数据模型,是数据治理的关键、重点。理想的数据模型应该具有非冗余、稳定、一致、易用等特征。逻辑数据模型能涵盖整个组织的业务范围,以一种清晰的表达方式记录跟踪组织的重要数据元素及其变动,并利用它们之间各种可能的限制条件和关系来表达重要的业务规则。数据模型必须在设计过程中保持统一的业务定义。为了满足将来不同的应用分析需要...原创 2019-08-27 14:19:45 · 10567 阅读 · 0 评论 -
HDFS
优点:高容错性适合批量处理适合大数据处理适合流式文件可构建在廉价机器上缺点:低延迟数据访问小文件存取并发写入、文件随机修改原创 2019-01-01 12:29:16 · 1038 阅读 · 0 评论 -
HDSF小结
1、Active Namenode2、Standby NameNode3、Datanode4、Client文件切分HDFS的一些拓扑结构HDFS可靠性策略文件完整性校验码CRC32,用其他的副本取代损坏文件HeartbeatDatanode 定期向Namenode发送心跳元数据信息FSImage(文件系统镜像)、Editlog(操作日志)多份备份...原创 2019-01-05 15:54:04 · 1229 阅读 · 0 评论 -
docker-compose:未找到命令
docker命令找不到的问题:原创 2018-12-10 16:08:27 · 13071 阅读 · 2 评论 -
char、varchar、nvarchar、text的区别
最近在进行数据库的建表的时候碰到了有一些问题。SQL中char、varchar、nvarchar之间的一些区别!1. charchar是定长的,也就是当你输入的字符小于你指定的数目时,char(8),你输入的字符小于8时,它会再后面补空值。当你输入的字符大于指定的数时,它会截取超出的字符。CHAR存储定长数据很方便,CHAR字段上的索引效率级高,比如定义char(10),那么不论你存储的数据...原创 2018-12-10 11:24:23 · 2547 阅读 · 0 评论 -
P2P的特点
P2P 网络作为一种分布式网络,打破了传统的 Client/Server(C/S)模式,网络中每个节点地位都是对等的, 具备了分布式网络的很多特点, 图 1-1 给出了一种简单的 C/S模型与 P2P网络模型的对比图。 传统的 C/S 模式中,客户端之间进行交互都需要依赖中心化的服务器,服务器就容易成为网络的瓶颈,当网络规模越大时,服务器的负担就会越重,一旦服务器崩溃,整个网络就原创 2017-02-27 18:20:09 · 12127 阅读 · 1 评论 -
ubuntu 上cuda安装出现的一些问题
大家安装cuda这种软件最好还是去Nvidia官网去下载 https://developer.nvidia.com/cuda-toolkitImportError: libcudart.so.7.5: cannot open shared object file: No such file or directory 。 https://developer.nvidia.com/cuda-down原创 2017-02-16 12:43:42 · 7367 阅读 · 0 评论 -
Hadoop构成
Hadoop的基本工作原理将文件切分成等大的数据块,存储到多台机器上 将数据切分、容错、负载均衡等功能透明化 可将HDFS看成一个容量巨大、具有高容错性的磁盘Hadoop的应用海量数据的可靠性存储 数据归档HDFS(分布式文件系统)结构图YARN(资源管理系统)负责集群的资源管理和调度 使得多种计算框架可以运原创 2016-08-07 21:47:15 · 3099 阅读 · 7 评论 -
Hadoop生态系统特点
1、源代码开源(免费)2、社区活跃、参与者众多3、涉及分布存储和计算的方方面面4、已得到企业界届认同。HaDoop1.0与HaDoop2.0系统分布式存储系统HDFS(Hadoop Distributed File System)分布式存储系统提供了高可靠性、高扩展性和高吞吐率的数据存储服务资源管理系统YARN(Yet Another R原创 2016-08-07 21:18:10 · 4368 阅读 · 2 评论