大数据开发
文章平均质量分 91
全栈程序员
亦余心之所善兮
展开
-
# Windows配置Kafka 和Zookpeer
Windows配置Kafka 和Zookpeer软件包准备1.Kafaka下载地址:http://kafka.apache.org/downloads2.Zookper下载地址:https://mirrors.cnnic.cn/apache/zookeeper/Zookpeer配置运行1.Kafka的运行需要在Zookper运行的前提下,所以需要运行Zookper,Kafka有...原创 2020-04-17 00:20:14 · 256 阅读 · 0 评论 -
# Sqoop导数据到Mysql
Sqoop导数据到Mysql1.hive导入hdfs数据hive> load data inpath '/version/hive/file' into table bigdatacar.car_document;2.HIve清空表中的数据truacte table test;3.shelll获得时间//完整时间$(date +'%Y-%m-%d %H:%M:%S')/...原创 2020-03-15 23:59:36 · 1149 阅读 · 0 评论 -
# Hive脚本执行方式
Hive脚本执行方式1.Hive -e//将Hive查询的结果直接输出到./taopaiche.txt 本地目录非Hdfs目录hive -e "SELECT x.car_number,x.area_name,x.etcname,x.idcard,x.color,y.area_name area_name1,y.color color1,y.idcard idcard1 from bigda...原创 2020-03-15 23:55:59 · 221 阅读 · 0 评论 -
# Hive 数据库基本操作
Hive 学习(一)Hive常用知识1.Hive:Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据,总归为大数据,并使得查询和分析方便。2. 创建数据库//创建数据库create database userdb;create schema userdb;//查看数据库show databases;3.Hive删除数据库//删除数据库并且删除所有表drop ...原创 2020-03-09 22:40:19 · 1164 阅读 · 0 评论 -
# Sqoop从Mysql导入数据到Hive
Sqoop从Mysql导入数据到Hive连接bigdatacar数据库展示数据库中所有的表 ./sqoop list-tables --connect jdbc:mysql://192.168.1.38:3306/bigdatacar --username root --password 1234将关系型数据的表结构导入到hive中./sqoop import "-Dorg.a...原创 2020-02-02 22:03:44 · 987 阅读 · 0 评论 -
Sqoop简介及安装教程
Sqoop简介及安装教程Sqoop简介Sqoop是一款在Hadoop和其它关系型数据库之间传递数据的工具。主要功能:导入数据:Mysql,Oracle等导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统;导出数据:从Hadoop的文件系统中导出数据到关系数据库Mysql中Sqoop和Hive的区别:Sqoop:迁移数据,把sqoop迁移命令转换成MR...原创 2020-02-02 22:02:42 · 295 阅读 · 0 评论 -
# Hadoop MapReduce(一)
Hadoop MapReduce(一)Hadoop MapReduce是一个使用简易的框架。一个Map/Reduce作业通常会将输入的数据集切分成多个数据块,以Map方式并行的处理它们,框架会对map的输出先进行排序, 然后把结果输入给reduce任务。Hadoop框架是用java语言实现的,但是Map/Redudce不一定要用javaMap/Reduce框架运转在<key, va...原创 2020-01-25 15:11:08 · 174 阅读 · 0 评论 -
# Centos 搭建Hive
Centos 搭建Hive—1、环境和软件准备hive版本:apache-hive-2.3.6-bin.tar.gz,下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hadoop版本:hadoop-2.9.2.tar.gzJDK版本:jdk-8u221-linux-x64.tar.gzmysql版本:5.6hive-2.x与...原创 2019-12-23 23:37:01 · 943 阅读 · 0 评论 -
# CentOs安装Hadoop单机伪分布式
CentOs安装Hadoop单机伪分布式解压hadoop包# tar -zxvf ./hadoop-3.1.3.tar.gzJDK已经配置好了可以忽略编辑hadoop安装文件夹下面的/etc/hadoop/export JAVA_HOME=/version/java/jdk1.8.0_231/设置伪分布模式(Pseudo-Distributed Operation)修改...原创 2019-12-17 23:31:10 · 971 阅读 · 0 评论 -
# Centos安装Docker
Centos安装Docker–安装好Centos检查Centos的内核版本,docker要求Centos的内核版本高于3.10uname -r使用root权限登陆更新yum :yum -y update卸载旧的docker版本,如果安装过的话,如果没有安装运行命令结果如下yum remove docker docker-common docker-selinux dock...原创 2019-12-09 23:53:07 · 119 阅读 · 0 评论 -
# Java 使用 Hadoop、Hdfs 的 ApI
8_4java使用hadoop、hdfs的ApI文件读写引入相应的maven依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> ...原创 2019-08-04 21:59:37 · 600 阅读 · 0 评论 -
# VirtualBox+Ubuntu 搭建 Hadoop 集群
8_2VirtualBox+Ubuntu搭建Hadoop集群(一)所需环境:ubuntuOracle VM VirtualBoxjdk: jdk-8u221-linux-x64.tar.gzhadoop:hadoop-2.9.2.tar.gzOracle VM VirtualBox 配置网络:需要配置两个网卡,Host-only和Network,比骄坑管理——全局——网络...原创 2019-08-02 20:49:26 · 972 阅读 · 0 评论 -
Centos搭建hadoop平台
1.设置固定IP地址及网关设置IP:如果虚拟机上不了网需要设置,否则不用设置vi /etc/sysconfig/network-scripts/ifcfg-eth0修改如下内容:DEVICE=eth0HWADDR=08:00:27:BD:9D:B5 #不用改TYPE=EthernetUUID=53e4e4b6-9724-43ab-9da7-68792e611031 #不用改ON...原创 2019-05-15 13:00:31 · 207 阅读 · 0 评论 -
本地Centos部署Owncloud
Centos部署Owncloud1、安装apache#yum install httpd# systemctl start httpd# systemctl enable httpd2、关闭防火墙#systemctl stop firewalld#systemctl disable firewalld3、禁止SELinux修改/etc/selinux/config 文件将S...原创 2019-05-15 12:50:40 · 954 阅读 · 2 评论