diugua5044-CSDN博客

转载 spark sql数据源--hive

使用的是idea编辑器spark sql从hive中读取数据的步骤：1.引入hive的jar包 2.将hive-site.xml放到resource下　　　　　　　　　　　　　　　　3.spark sql声明对hive的支持案例：def main(ar...

2019-09-21 15:10:00 130

转载 linux下载文件到本地

使用XShell工具1.首先虚拟机要联网2.服务器要安装了rz，sz yum install lrzsz　运行rz，会将windows的文件传到linux服务器运行sz filename，会将文件下载到windows本地3.xhell连接linux4.将hive-site.xml下载到本地 sz hive-site.xml选择...

2019-09-21 14:23:00 2775

转载 Mysql索引优化分析

1.1性能下降下降SQL慢执行时间长等待时间长查询语句写的烂，各种连接各种子查询导致用不上索引索引失效，建立了索引没用上1.2索引分为单值索引和复合索引单值索引：只给这张表的某一个字段建立一个索引例：create index idx_user_name on user(name) 复合索...

2019-09-12 21:08:00 123

转载 mysql学习

1.查看虚拟机中是否安装mysql rpm -qa | grep -i mysql 安装过没有安装过 2.删除命令 rpm -e RPM软件包名（软件包名是用命令1可以查出来的名字）3.linux启动、停止mysql服务启动：service mysql start停止：service mysql stop重启：s...

2019-09-10 21:04:00 73

转载 linux安装mysql

1.安装mysql服务端rpm -ivh MySQL-server-5.5.47-1.linux2.6.x86_64.rpm注意：mysql出场自带root用户，我们需要为root用户设定密码2.安装mysql客户端rpm -ivh MySQL-client-5.5.47-1.linux2.6.x86_64.rpm3.查看mysql安装时创建的mysq...

2019-09-09 08:15:00 83

转载 linux卸载mysql

1.查看是否安装了mysqlrpm -qa | grep -i mysql 安装了 2.停止mysql服务，删除之前安装的mysql停止 service mysql stop删除rpm -e MySQL-server-5.5.47-1.linux2.6.x86_64rpm -e MySQL-client-5.5.47-1....

2019-09-08 10:52:00 122

转载 kafka的使用

1.为了方便启动kafka，我们在kafka的bin目录下写2个脚本。一个是启动zookeeper集群的脚本，一个是启动kafka集群的脚本1.1vim start-zks.sh 启动zookeeper集群的脚本1.1.1给该文件赋权限 chmod 777 start-zks.sh1.1.2 编写内容#!/bin/bashecho "zhan...

2019-08-20 14:17:00 69

转载 kafka的简介

1.kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。1.1 broker：安装了kafka服务的机器称之为broker1.2 topic（主题）:是用来存放消息，也可以做消息分类一个topic实际是由多个partition组成的...

2019-08-20 10:15:00 72

转载 kafka单机版的安装、集群部署及使用

1.安装kafka(单机版)1.1上传 kafka_2.11-2.0.0.tgz 到 /root/Downloads1.2解压 tar 包 tar -zxvf kafka_2.11-2.0.0.tgz 解压后：kafka_2.11-2.0.01.3删除 LICENSE、NOTICE 、site-docs rm -rf LICENSE NOTIC...

2019-08-20 09:15:00 134

转载虚拟机联网

虚拟机联网步骤：1.点击更改适配器选项2.右击以太网--点击属性--共享--选择要共享的网卡3.修改 ifcfg-eth0文件vim /etc/sysconfig/network-scripts/ifcfg-eth0注意：GATEWAY写的是本机的vmnet1的ip　　IPADDR写的是虚拟机的ip4.重启网卡service network...

2019-08-19 20:58:00 89

转载 hive分区

1.分区（partitions）分区器 partitioner　hive = hdfs + mysql中的模板我们分区是将hdfs中的数据分为多份2.静态分区例子，单个分区字段　创建一个temb表，分区字段 month 列与列用空格隔开 create table tem(id int,tem double) partitioned by (month...

2019-05-12 16:23:00 98

转载克隆虚拟机

一.克隆　　1.右键--管理--克隆（注意：要在该虚拟机关闭的状态下才能克隆）　　　　2.　　　　3.　　　　4.　　　　5.　　　　6.　　　　7.克隆完毕　　二. 修改物理地址、ip地址　　1.1修改　　　　vim /etc/udev/rules.d/70-persistent-net.rules　...

2019-04-13 19:43:00 82

转载在命令行中运行Hadoop自带的WordCount程序

1.启动所有的线程服务start-all.sh记得要查看线程是否启动 jps2.在根目录创建wordcount.txt 文件放置一些数据3.创建hdfs dfs -mkdir /文件夹名称创建成功4.将wordcount.txt文件放置 hadfs01下放置成功5.到如下图所示的路径5.15.2执行该命令...

2019-04-10 21:06:00 264

转载 hadoop全分布式的搭建

步骤1.修改 hadoop-env.shexport JAVA_HOME=/root/Downloads/jdk1.7.0_79export HADOOP_HOME=/root/Downloads/hadoop-2.6.52.修改core-site.xml<property><name>fs.defaultFS</nam...

2019-04-09 20:33:00 56

diugua5044的博客