大数据
大数据
自学AI的鲨鱼儿
一个小白学习AI的个人笔记
有朋友发现错误谢谢指出
展开
-
hadoop简介
① hadoop 官方网站: hadoop.apache.org 一、大数据框架简介 - Common:封装了大量的API,为后面的模块服务 - HDFS:分布式文件系统,存储海量数据 ------- namenode管理存储资源平台 - MapReduce:分布式 并行计算框架,编程模型 - ...原创 2019-02-25 21:57:11 · 559 阅读 · 0 评论 -
hadoop伪分布平台hive搭建
版本信息: linux 版本: Centos 6.5 hadoop版本:hadoop 2.7.3 jkd版本: jdk 1.8一、配置linux系统: -》修改网卡文件 - vi /etc/sysconfig/network-scripts/ifcfg...原创 2019-02-25 22:11:52 · 1502 阅读 · 0 评论 -
hadoop平台常见问题
出现错误 一定要学会查看日志文件,查看logs/下的对应进程的.log后缀的文件 【框架名】【用户名】【进程名】【主机名】【文件后缀】 hadoop-beifeng-datanode-bigdata-04.log 查看最新的日志记录,最新时间pid进程号(注意权限问题) 系统进程每次启动之后会有一个pid编号,每次启动会随机生成 多个用户启动进程,会记录不同用户的pid进程...原创 2019-02-26 13:11:36 · 679 阅读 · 0 评论 -
Hive、hadoop命令基本使用
一、hadoop中HDFS的基本命令 1、Hadoop启动服务命令 (1)逐个启动hadoop服务:1、sbin/hadoop-daemon.sh start namenode2、sbin/hadoop-daemon.sh start datanode3、sbin/hadoop-daemon.sh start secondarynamenode4、sbin/y...原创 2019-02-26 21:15:29 · 3077 阅读 · 0 评论 -
hadoop完全分布式搭建
一、在搭建伪分布式的前提下 https://blog.csdn.net/qq_16555103/article/details/87926120 -------- 伪分布式搭建二、步骤如下 linux版本:Centos 6.51、克隆3台虚拟机,分别为: -》ai7-server2 -》ai7-server3 ...原创 2019-02-28 19:30:18 · 274 阅读 · 0 评论 -
Centos7 安装mysql
1、删除Centos7自带的mysql版本,有些版本不自带mysql,视版本而定1、查询 rpm -qa | grep mysql rpm -qa | grep mariadb2、删除 rpm -e --nodeps 包名2、下载并安装MySQL官方的Yum Repository下载源: [root@localhost ~] wget -i -c ...原创 2019-03-02 15:16:57 · 219 阅读 · 0 评论 -
hive分析的小练习
一、题目:网站指标分析案例1、需求:统计每天24小时每小时的PV和UV数2、分析: -》PV:count(url) -》UV:count(distinct guid)3、数据采集#建库create database example;#建表(源表)create table log_src(id string,url st...原创 2019-03-05 17:06:12 · 225 阅读 · 0 评论