加油牛牛-CSDN博客

原创大数据学习笔记（五）HDFS

一、HDFS概述HDFS（Hadoop Distrbated File System)是一个多台机器管理文件的系统.简称:分布式文件系统只适合一次写入，多次读取的业务场景.不支持文件修改(但可追加内容append)二、HDFS的优缺点优点:1.高容错性数据会分块并保存在多个副本中当某一个块出现问题，它会通过副本自动修复. 2.适合处理大数据体积规模:GB\TB\EB级别数量规模:文件数量可达百万级 3.可构建在廉价机器上缺点: 1.

2022-04-11 12:11:39 1941

原创 orcale创建用户、用户授权

打开cmd，命令行 sqlplus /nolog connect / as sysdba 创建用户，设置用户名称和密码 create user [username] identified by [password]; 修改用户密码 alter user [username] identified by [new_password]; 删除用户 drop user [username]; 用户授权 grant connect, r..

2022-03-25 22:20:34 155

原创大数据学习笔记（六）HDFS-API

一、HDFS-API使用编程语言通过调用HDFS对方外提供的API进行操作。####1. windows中的配置先将hadoop安装文件解压到一个非中文路径.配置hadoop环境变量右键（我的电脑）->环境变量->系统变量->新建HADOOP_HOME ->路径找到PATH，win7是新增 ;%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin2.Java的单元测试 Junit//新建maven项目 ,修改pom文件,新增<depen

2022-03-20 20:42:10 413

原创大数据学习笔记（四）Hadoop集群(完全分布式)

一、Hadoop集群(完全分布式)1. 准备工作 1.1 拿模板机克隆三台虚拟机(DT100,DT101,dt102),其中DT100作为master,DT101,102作为slaves A.在master安装必要工具 yum -y install vimyum -y install lrzsz B.上传jdk和hadoop安装包到/opt/software C.创建普通用户dt,修改密码为dt useradd dtpasswd dt

2022-03-15 09:00:00 154

原创大数据学习笔记（三）hadoop本地模式

一、Hadoop的目录结构解析目录名解释 bin 可执行程序 etc 配置文件 include C/C++ 头文件 lib 自身库文件 libexec 自身程序的配置文件 sbin 常用操作脚本(启动、关闭)组件 share 包含了帮助文档和jar包支持库等. 二、Hadoop的运行模式1. 本地模式 (Single Node Cluster)单节点集群用户调试. 编辑hadoop配置文件 vi

2022-03-14 09:48:51 2104

原创大数据学习笔记（二）hadoop

一、Hadoop生态二、Hadoop环境的搭建1. 准备工作 A..新建一台虚拟机 (刚刚安装的全新系统)dt100 B.关闭防火墙systemctl stop firewalld #关闭防火墙systemctl disable firewalld # 禁用防火墙开机启动 C.创建一个普通权限的用户 “dt” useradd dt #新建普通用户dtpasswd dt #修改密码为dtsu dt #切换登陆到用户dt ...

2022-03-12 09:00:00 462

原创大数据学习笔记（一）

一、大数据的概念无法再一定时间范围内用软件工具进行管理与处理的数据集合称之为大数据。大数据技术主要解决存储和分析计算问题.1.4V特征- A. Valume 大量 (KB->MB->GB->TB->PB->EB->ZB)- B. Velocity 高速分布式技术(N台计算机同时运算.)- C. Variety 多样 (存储结构化数据与非结构化数据和半结构化数据)- D .Value 低价值密度2....

2022-03-11 14:00:00 255

原创两个数据库关联更新，分析一个数据库相对另一个数据库要更更新的部分，通过pyhton导出更新语句

业务场景：应用程序新版本和旧版本的兼容，这里新版本的数据库是db1，旧版本数据库db2将查询出的结果对更新语句进行拼串，最后输出一个sql文件，文件内容就是更新db2中表结构的sql语句#!/usr/bin/python3# -*- coding:UTF-8 -*-# 打开数据库连接import MySQLdb# 写入内容到文件的方法def saveTextToFile(text, path, encoding="utf-8"): with open(path, "w"

2022-03-11 09:40:48 417

原创狂神说docker笔记（一）

一、Docker概述二、安装Docker环境准备 linux基础 CentOS7 环境查看#系统内核3.10以上[root@localhost ~]# uname -r3.10.0-957.el7.x86_64#系统版本[root@localhost ~]# cat /etc/os-release NAME="CentOS Linux"VERSION="7 (Core)"ID="centos"ID_LIKE="rhel fedora"VERSION_I

2022-03-09 10:40:38 971

原创通过python对同一数据库中“相似表”的查找

先找出数据库中所有表的名称，表注释，字段，字段注释，字段类型信息 SELECT table_name as "表名称", COLUMN_NAME "字段名称", COLUMN_TYPE "字段类型长度", IF(EXTRA="auto_increment",CONCAT(COLUMN_KEY,"(", IF(EXTRA="auto_increment","自增长",EXTRA),")"),COLUMN_KEY) "主外键", IS_NULLABLE "空标识", COLUMN..

2022-03-08 17:53:09 1217

a15845561305_的博客