大数据
文章平均质量分 69
昵称已存在l
机械硕士晚涉IT,傲雪青松显坚韧。随着运营商云改数转战略,将涉猎云计算,大数据,人工智能,安全,区块链,量子等前沿技术。T型知识体系构建。
展开
-
Hadoop之Hive
https://hive.apache.org/2.2 配置元数据到mysqlmysql 安装配置https://blog.csdn.net/qq_35911309/article/details/122266247新建Hive元数据库mysql -uroot -p’123456’mysql> create database metastore;#hive_db或不配置时建mysql> quit;#初始化元数据库表TBLS COLUMNS_V2 SDS…mysql-connector-j原创 2023-04-19 21:28:04 · 2364 阅读 · 2 评论 -
Hadoop之HBase
HBase官方文档》的原文地址是:http://hbase.apache.org/book.htmlW3Cschool.cn进行整理翻译 https://www.w3cschool.cn/hbase_doc/HBase是Apache的Hadoop项目的子项目,是Hadoop Database的简称。下载:https://www.apache.org/dyn/closer.cgi/hbase/原创 2023-04-15 10:57:27 · 436 阅读 · 0 评论 -
ZooKeeper集群安装
下载地址:https://zookeeper.apache.org/releases.html (含-bin)官网:https://zookeeper.apache.org/(项目名.apache.org)为分布式框架提供协调服务的Apache项目。zookeeper特点。启动ZooKeeper。原创 2023-03-24 09:55:23 · 421 阅读 · 0 评论 -
idea Java API 操作 HDFS
下载windows下连接hadoop需要的文件hadoop.dll和winutils.exe(https://github.com/D:\hadoop-3.3.4\etc\hadoop\hadoop-env.cmd文件修改。下载apache-hadoop-3.1.1-winutils-master)(因program file 有空格。用PROGRA~1代替)hadoop tar包解压。原创 2023-03-21 14:40:51 · 915 阅读 · 0 评论 -
Hadoop集群安装
提示。原创 2023-03-15 17:15:29 · 753 阅读 · 0 评论 -
hadooop-HDFS
文章目录一、单机处理大数据分布式处理HDFS 模型架构持久化原理副本放置策略二、使用步骤1.一、单机处理大数据单机运行瓶颈在IO查找重复行:hashCode全排序:外排序,内排序分布式处理HDFS 模型架构持久化原理基于内存存储,都需持久化数据持久化:日志文件:日志大,加载慢。镜像:时间间隔,恢复速度快,文件缺失HDFS:EditsLog:日志。FsImage:镜像,快照。最近时点的FsImage+增量的EditLog非HA下,流程SNN副本放置策略原创 2021-08-04 10:25:49 · 187 阅读 · 0 评论 -
计算机底层知识
文章目录前言一、计算机组成二、cpu的制造过程前言提示:一、计算机组成cpu从内存中取数据存储器层次结构二、cpu的制造过程芯片,就是我们说的CPU,又名中央处理器,常说芯片是一个机器的大脑一条完整而最先进CPU生产线投资起码要数十亿人民币视频:https://www.bilibili.com/video/BV1WW41157jS/?spm_id_from=autoNext...原创 2021-08-02 18:21:48 · 200 阅读 · 0 评论