仙女Plus-CSDN博客

原创 Sqoop安装配置

Sqoop是一个用来将Hadoop（Hive、HBase）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。官网地址：Sqoop -1. 下载安装下载：Apache Sqoop - Apache Attic 解压tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz /~/software/Hadoop/

2021-11-21 10:34:14 117

原创 python爬虫基础内容

一、你应该知道什么是爬虫？网络爬虫，其实叫作网络数据采集更容易理解。就是通过编程向网络服务器请求数据（HTML表单），然后解析HTML，提取出自己想要的数据。归纳为四大步：根据url获取HTML数据解析HTML，获取目标信息存储数据重复第一步这会涉及到数据库、网络服务器、HTTP协议、HTML、数据科学、网络安全、图像处理等非常多的内容。但对于初学者而言，并不需要掌握这么多。二、python要学习到什么程度如果你不懂python，那么需要先学习python这门非常eas

2021-11-10 17:39:31 945

原创 Hive的基本操作

▌一、SQL的四种语句▎【2.1】数据定义语言 DDL-data definition language关键字如CREATE,DROP,ALTER定义数据库的逻辑结构，比如数据库、表、索引▎【2.2】数据查询语言DQL-data query languag关键字如SELECT查询操作▎【2.3】数据操纵语言DML-data manipulation language关键字如INSERT,UPDATE,DELETE对数据库的数据数据进行操作▎【2.4】数据控制功能DCL-data

2021-11-10 17:34:12 1737

原创 Mysql安装步骤：

1.mysql下载地址：dev.mysql.com/downloads2、安装步骤1）双击下面这个安装程序。2）出现如下这个界面后，勾选"I accept the license terms"，点击"Next"。3）出现如下这个界面后，选择"Custom"，，点击"Next"。4）出现如下界面后，我们进行如下的操作。5）同时在这个界面中，还可以查看"MySQL Server 5.7.21-X64"默认安装路径。注：这里的第5步操作，你一定要按照我这里说的，操作

2021-11-03 08:50:30 34270 1

转载 Hive的基本操作

三、查询操作▎【3.1】查询hive中哪些数据库 show databases;在没有创建其他数据库之前，hive会提供一个默认的数据库给我们使用default 在操作HiveQL在不指定数据库的前提下所有的操作都是在默认default数据中执行的 hive的数据库名和表名不区分大小写▎【3.2】查询数据库信息desc database bd1814;bd1814 hdfs://ip:9000/user/hive/warehouse/bd1814.db zxiao USE.

2021-11-01 08:45:38 244

转载 VMware安装步骤及xshell连接vmware虚拟机

步骤三VMware安装步骤：1、选中【VMware-workstation-full-15.5.0-14665864】鼠标右击选择【以管理员身份运行】安装虚拟机；VMware激活码在网上找一个即可；2、需要等待一下：3、点击【下一步】4、勾选【我接受许可协议中的条款】，点击【下一步】。5、建议点击【更改】，来更改软件的安装目录建议安装在除C盘之外的磁盘，可在D盘或者其他磁盘新建一个文件夹来安装逊虚拟机，点击【下一步】。（个人认为有的软件需要添加环境变量不能有任何汉字以及汉字符号，所以建议

2021-09-26 09:22:11 801

转载 Python 安装

1.解压安装包，先安装python-3.7.4-amd64安装包测试安装环境，打开命令提示符。再往下安装pycharm-professional-2020.1.1 点进去会有各种配置安装包。2.python的五个基础语法知识：运行环境配置、变量、数据类型、控制语句和使用函数库的方法。3.python的运行环境配置：运行的 Python 代码会被保存到一个以.py 作为扩展名的文件中，也就是 Python 脚本文件。要想让 Python 程序运行，我们需要打开终端应用程序（在 Windo...

2021-09-18 15:46:23 132

weixin_45084764的博客