大数据入门20天
LiuDi1999
啦啦啦
展开
-
大数据储备知识-Linux DAY1
永久修改服务器名称在虚拟机界面上 右键 -Open Terminal1.输入vim /etc/sysconfig/network2.输入i 进入编辑 界面3.将里面的服务器名称改掉4.按 Esc 键后 再按下:wq 保存并退出5.输入 hostname 查看修改后的服务器名称暂时性修改服务器名称在虚拟机界面上 右键 -Open Terminal1.输入 hostname +新...原创 2019-07-23 20:02:10 · 148 阅读 · 0 评论 -
大数据储备知识-Linux下安装Hadoop 了解并启动Hadoop以及Hadoop集群操作 windows下操作HDFS系统 DAY7
大数据官方网站:hadoop.apache.org:Hadoop 1.x 0.x 只有三个组件:Hadoop CommonHadoop Distributed File System (HDFS™)Hadoop YARNHadoop Common: 为核心组件 用来对其它组件的支持Hadoop Distributed File System (HDFS™):分布式的文件系统...原创 2019-07-28 20:39:16 · 452 阅读 · 0 评论 -
大数据-hive仓库的基础知识配置 hive配置mysql作为源数据存储服务 set的使用 配置当前数据库字段信息
hive的底层是基于hadoop的所以打开hive 需先启动集群切换到tools目录下 将hive压缩包上传到该目录下并进行解压切换目录:配置如下:另开一个窗口复制下内容:回到第一个窗口:创建hive文件 并赋予权限:...原创 2019-08-01 17:52:58 · 183 阅读 · 0 评论 -
大数据储备知识-Java eclipse maven 安装及配置 Linux下安装并配置javaDAY 6
编程语言 分为两种 :解释型(Python JavaScript 需要解释器) 编译型(Java c)Java安装步骤:安装 https://www.eclipse.org/downloads/一直默认下一步 安装到C盘 以确保以后数据可以跑起来以下证明安装成功:eclipse安装步骤及配置:解压并创建新的文件夹:以管理员身份运行:设置workspa...原创 2019-07-27 17:49:06 · 149 阅读 · 0 评论 -
大数据项目-java web(二)
编写java文件:项目驱动:package com.hadoop.weblog;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.P...原创 2019-08-05 13:41:42 · 758 阅读 · 2 评论 -
大数据储备知识-Linux rpm方式安装mysql DAY 5
安装步骤:在虚拟机内登陆,创建mysql安装目录并将mysql安装包移入安装目录[root@com~]# mkdir mysqlinstall[root@com~]# mv mysql-5.7.26-1.el6.x86_64.rpm-bundle.tar[root@com~]# cd mysqlinstall/解压mysql安装包,得到以下文件卸载对应的冲突的组件...原创 2019-07-26 19:20:15 · 135 阅读 · 0 评论 -
大数据-java web (一)项目流程 windows/Linux下安装并配置Apache Tomcat java web 的日志采集
java web 的项目流程:windows下安装并配置Apache Tomcat:创建新的web项目 并进行相关配置:将上述修改如下:将上述index.jps文件删除后 新建立一个运行:结果如下:测试小案例:输入如下代码块:<form action="#"><input type="text" name="w...原创 2019-08-04 17:13:49 · 178 阅读 · 0 评论 -
大数据-sqoop工具以及相关案例实现功能 flume工具及相关案例
一.sqoop:sqoop的概念:是一个工具,是一个Java写的小工具。是将hive 中的数据 导出到MySQL中 或者将MySQL中的数据导入到hive中。二、配置安装测试原创 2019-08-03 18:05:37 · 453 阅读 · 0 评论 -
大数据储备知识-mysql DAY 4
数据表内容的增加:(注意:顺序要保持一致)insert into 表名(A,B,....)values(A对应的数值,B对应的数值);数据表内容的删除:delete from 表名where 条件;数据表内容的更新:update 表名set A=A值 , B=B值where 条件;数据表内容的单表查询:一般格式:select A,Bfrom 表名;去重格式:s...原创 2019-07-25 17:24:12 · 134 阅读 · 0 评论 -
大数据储备知识-mysql DAY3
MySQL是开源的数据库,任何人都可以获取数据库的源代码。MySQL跨平台是一个自由软件功能强大且使用方便需要注意的细节问题:注意:卸载和安装都必须要重启计算机卸载不能从控制面板(若从控制面板 则会导致以后无法安装)MySQL默认端口号 3306mysql安装的默认路径为:C:\Program Files\MySQL\MySQL Server 5.7\binmysql的...原创 2019-07-25 10:24:52 · 198 阅读 · 0 评论 -
大数据-hive的执行流程 基于hive的两个案例 自定义功能
hive的执行流程:mysql最大默认连接处为100原创 2019-08-02 17:22:06 · 169 阅读 · 0 评论 -
大数据储备知识-MapReduce模型 YARN 以及配置MapReduce yarn DAY8
MapReduce模型:YARN 任务提交和资源管理:主节点:负责任务调度和负载均衡从节点:只负责运算,返回结果配置mapred:配置yarn:先启动Hadoop主从节点 再启动其他的主从节点:显示结果如下:...原创 2019-07-29 21:15:06 · 149 阅读 · 0 评论 -
大数据储备知识-Linux DAY2
常见的Linux命令:cd / 根目录 cd ~ 家目录 pwd 打印1.创建文件夹:mkdir 文件名(注意:文件夹的名称不能有空格 若有空格 文件名应加上“” )此时可点开虚拟机 root’s home 进行查看刚创建好的文件夹2. 删除空的文件夹:rmdir 文件名3. 查看文件:ls ls-l ll ls-a(查看所有文件 包括隐藏文件)4. 拷...原创 2019-07-24 14:10:26 · 494 阅读 · 0 评论 -
大数据知识-hbase
一、 数据库的分类和应用区别RDBMS:关系型数据库(MySQL)一个网站最核心的可能就是用户表,当用户表的数据上亿的时候,对单条数据的查询就需要花费很久的时间,有的时候很可能是分钟级别。实际情况可能更复杂:a 表会在查询的同时被其他连接进行插入和更新操作。b 查询语句是非常复杂的,例如多表连接查询。NOSQL:字母上意思为不使用sql,其实有些书上解释为不止是sql。都是一个意思 , ...原创 2019-08-06 18:28:00 · 344 阅读 · 0 评论