weixin_46014712的博客

大数据项目之电商数仓（用户行为数据采集）数据仓库简介1.什么是数据库数据库（Database）是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。数据库是长期存储在计算机内、有组织的、可共享的数据集合。数据库中二点数据指的是以一定的数据模型组织、描述和储存在一起、具有尽可能小的冗余度、较高的数据独立性和易扩展性的特点并可在一定范围内为多个用户共享。常用的数据库有：Mysql、ORACLE、SQLServer等。作用不一样，数据库是用来支撑业务的，需要响应速度特别快，没有延时，查询起

大数据项目之电商数仓（用户行为数据采集）数据仓库简介1.什么是数据库数据库（Database）是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。数据库是长期存储在计算机内、有组织的、可共享的数据集合。数据库中二点数据指的是以一定的数据模型组织、描述和储存在一起、具有尽可能小的冗余度、较高的数据独立性和易扩展性的特点并可在一定范围内为多个用户共享。常用的数据库有：Mysql、ORACLE、SQL Server等。作用不一样，数据库是用来支撑业务的，需要响应速度特别快，没有延时，查询起

1.什么是flink？Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。2.sparktreaming 和 strom 有啥区别？Strom是实时计算sparkStreaming是微批处理。容错性和事务性 storm容错非常好。sparkstring和fink需要checkpoint相比于storm ，spark和flink两个都支持窗口和算子，减少了不少的编程时间flink

Scala1.简介Scala是一门现代的多范式语言，志在以简介、优雅及类型安全的方式来表达常用的编程类型。它平滑地集成了面向对象和函数式语言的特性。Scala式面向对象的。鉴于一切值都是对象，可以说scala是一门纯面向对象的语言。对象的类型和行为是由类和特质来描述的。类可以由子类化和一种灵活的、基础mixin的组合机制来扩展Scala是函数式的。鉴于一切函数都是值，又可以说scala是一...

在初始化hive的时候会遇到的错误这个错误是因为我当时电脑的防火墙没有关闭如果报连接不上，可能是你的jar包没有导入 或者是你的集群处于安全模式，需要退出。其他的错误，如果是一串乱码。说明需要加时区...

1.先把之前的一个虚拟机拍个快照。然后克隆（我克隆的是有jdk和hadoop的如果没有则需要把java和hadoop文件拷贝过去 ，在opt/module下面）2.克隆之前需要修改静态ip和主机名3.Vim /etc/udev/rules.d/70-persistent-net.rules 删除第一行。把第二行的name改为eht0并且复制ATTR(address)的内容4.Vim /e...

4 Hadoop运行模式Hadoop运行模式包括：本地模式、伪模式以及完全分布式模式。Hadoop官方网站：http://hadoop.apache.org/4.1 本地运行模式4.1.1 官方Grep 案例1.创建在hadoop-2.7.2文件下面创建一个input文件夹Mkdir input2.将Hadoop的xml配置文件复制到inputCp etc/hadoop/.xml ...

大数据1.大数据概念大数据：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。《节选自百度百科》主要解决的是 海量数据的存储、海量数据的分析计算、统一资源管理调度。存储单位(由小到大)：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。大数...