- 博客(14)
- 收藏
- 关注
RSS订阅原创 Hive第二天总结
hive中的数据是存放在HDFS上的，元数据存放在数据库中，元数据（表与文件之间的映射关系）。默认的数据库名称defaulthive的数据库默认位置是由hive-site.xml文件中的hive.metastore.warehouse.dir参数指定的，默认位置为/user/hive/warehouse。数据库位置在HDFS中的对应图：元数据服务（metastore）为了保证数据的安全性，主要作用是为了管理元数据的，自身暴漏的服务地址，让客户端连接metastore，再通过metastor链接My
2022-04-05 23:31:07
1966
原创 Hive第一天总结
第一天学习hive总结数据仓库：数据仓库简称DW，是将数据从数据源中经过ETL后供数据分析的数据结合。数据仓库不生产数据。数据仓库与数据库的区别：数据库是直接存储数据的，数据仓库是将原有的数据整合在一起的数据结合，供数据分析使用。数据仓库的特点：数据是面向主题的：数据仓库中的数据都是为特定对象抽取整合的。数据是集成的：所有的数据都是将不同的数据源中的数据经过ETL后的完整干净数据。数据是不可修改的：数据仓库中的数据都是原有的历史数据。数据是跟随时间变化的：根据数据源中数据的变化将数据整合
2022-04-01 00:32:26
355
原创 2021-08-13
orcal创建表空间1创建表空间create tablespace gtis_bldatafile ‘D:\NJGT.Proj\Oracle\gtis_file\gtis_bl_tx.DBF’size 1024mautoextend on;2查看创建的表空间select default_tablespace,temporary_tablespace,d.username from dba_users d3创建用户create user gtisidentified by gtisdef
2021-08-13 11:23:24
108
转载 2021-05-24
克隆虚拟机报错无法上网问题：克隆好虚拟机改好IP地址后重启，IP地址变为127.0.01，困扰了两天，查百度都是一个方法，最后找到一位大神发的，成功解决原文地址：https://blog.51cto.com/addam/1839518/etc/init.d/network restartRestarting network (via systemctl): Job for network.service failed because the control process exited with
2021-05-24 18:43:12
162
转载 2021-05-23
SQL经典表自己收藏学习用，防止丢失本文参考想飞的鱼Stitch原文链接：https://blog.csdn.net/qq_39209361/article/details/81448171CREATE TABLE emp( empno INT, ename VARCHAR(50), job VARCHAR(50), mgr INT, hiredate DATE, sal DECIMAL(7,2), comm DECIMAL(7,2), deptno INT) ;
2021-05-23 00:03:09
110
原创 2021-05-12
字典的基础知识Python中的字典由键值对(key-value)组成，key必须是不可变的，而且不允许有相同的Key值。字典是无序的，Value的保存位置是由Key进行哈希值的计算得到的字典与列表一样是可变的，而且支持动态增加创建时如果同一个键被两次赋值，后一个值会被记住，前一个会被覆盖文章目录字典的基础知识基本操作创建字典增删改查键字典中元素的获取获取视图字典的遍历字典生成式基本操作创建字典""" 字典的创建 """ '''第一种方法''' dict1 = dic
2021-05-12 14:22:41
78
原创 2021-05-11
力扣SQL语句练习题第一题表1: Person+-------------+---------+| 列名 | 类型 |+-------------+---------+| PersonId | int || FirstName | varchar || LastName | varchar |+-------------+---------+PersonId 是上表主键表2: Address+-------------+-------
2021-05-11 23:48:58
185
2
原创 2021-05-11
爬虫学习：了解浏览器客户端与服务器之间的关系学习内容：1、 搭建 Java 开发环境2、 掌握 Java 基本语法3、 掌握条件语句4、 掌握循环语句学习时间：提示：这里可以添加计划学习的时间例如：1、 周一至周五晚上 7 点—晚上9点2、 周六上午 9 点-上午 11 点3、 周日下午 3 点-下午 6 点学习产出：提示：这里统计学习计划的总量例如：1、 技术笔记 2 遍2、CSDN 技术博客 3 篇3、 学习的 vlog 视频 1 个...
2021-05-11 17:43:00
101
原创 2021-05-11
爬虫学习：时间：2021-05-11学习内容：1、 爬虫需要的包2、 保存网页的方法3、 掌握with语句代码：from urllib.request import urlopenurl = "https://www.hao123.com"resp = urlopen(url)with open("hao123.html",mode="w") as f: # w是写模式，r是读模式。 f.write(resp.read().decode("utf-8")) # 爬取
2021-05-11 00:47:30
89
原创 MapReduce原理及解释
MapReduce重点知识有多少个分片就有多少个map任务；分片大小默认为64MB，jar包的提交位置：HDFSmap任务接受的类型是字典{key，value}map任务的分配是NM通过定时心跳机制汇报自身情况的时候向Rm领取任务读取输入文件内容，解释成key，value对，对文件每一行解析成key，value对，一个键值对调用一次map函数。（key：数据的字符开头偏移量； value：数据内容）map任务处理读取输入文件内容，解释成key，value对，对文件每一行解析成key，
2020-05-08 17:41:22
184
原创 数据结构—表
数据结构数据元素是数据的基本单位，它在计算机处理和程序设计中通常作为独立个体数据对象是具有相同特征的数据元素的集合，十数据的一个子集。数据的物理结构数据的物理结构又称存储结构，有顺序和链式两种不同的方式顺序存储的特点是数据元素在存储器的相对位置来体现数据元素之间的相互关系链式存储结构是通过一组任意存储单元来存储数据元素的，而这些存储单元可以是连续的也可以是不连续的...
2020-05-04 22:47:54
373
原创 hdfs实验相关操作
（一）通过shell命令访问HDFS【实验原理】HDFS是hadoop平台的核心组成之一。熟悉使用hadoop平台需要熟练访问HDFS。HDFS的访问方式有多种。可通过web访问，也可通过shell方式或者API方式访问。基本操作有对文件的读、写、追加、删除等。新建文件夹、删除文件夹等。还可显示文件及文件夹的属性。【实验环境】操作系统：Linux Hadoop版本：2.6.5或以上...
2020-05-02 18:15:31
852
原创 新手必备Hadoop伪分布式的安装
1、安装虚拟机2、安装ubuntu操作系统Linux操作系统是一套自由传播的类UNIX操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。主流的Linux发行版本有：Ubuntu、CentOS、Red Hat、Suse等。本书选用Ubuntu 16.04 桌面版。（1）下载Ubuntu ISO镜像文件。到Ubuntu官网选择对应的版本进行下载。本书选择...
2020-04-21 15:35:13
419
转载 Hadoop基础（一）
HDFS优点高容错性数据自动保存副本丢失后，自动恢复适合批处理移动计算而非数据数据位置暴露给计算框架（Block偏移量）适合大数据处理GB,TB,甚至PB级数据百万规模以上的文件数量10K+节点可构建在廉价机器上通过多副本提高可靠性提供了容错和恢复机制HDFS缺点低延迟数据访问比如毫秒级低延迟与高吞吐率小文件存取占用NameNode大量内存寻道时间超过读取时间并发写入，文件随机修改一个文件只能有一个写者仅支持appendBlock的副本放置策略第一个
2020-04-21 12:53:42
251
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人