2020年12月_骑着蜗牛ひ追导弹'

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创【MapReduce】MR 框架原理之 Combiner局部汇总

文章目录一、Shuffle机制二、Partition分区▶ 默认分区 --- HashPartitioner▪ 案例 --- WordCount▶ 自定义Partitioner分区▪ 自定义分区基本步骤▪ 案例需求分析代码实现▶ 分区总结三、WritableComparable排序四、Combiner合并五、GroupingComparator分组一、Shuffle机制返回顶部二、Partition分区在进行数据处理的时候要求将统计结果按照条件输出到不同文件中，这是就会将数据按照不同的..

2020-12-31 21:00:50 506 1

原创【MapReduce】MR 框架原理之排序

文章目录排序▶ 排序的定义▶ 排序的分类☠ 自定义排序 ---- 实现WritableComparable接口原理分析☠ WritableComparable排序案例(全排序)▪ 案例需求分析代码实现Bean类Mapper阶段Reducer阶段Driver阶段☠ WritableComparable排序案例(分区排序)▪ 案例需求分析代码实现PhonePartitioner分区类Bean类Mapper阶段Reducer阶段Driver阶段排序▶ 排序的定义排序是MapReduce框架中最重要的操..

2020-12-31 16:27:47 898

原创【MapReduce】MR 框架原理之 Partitioner分区

文章目录Partition分区☠ 默认分区 --- HashPartitioner▪ 案例 --- WordCountMapper阶段Reducer阶段Driver阶段☠ 自定义Partitioner分区▪ 自定义分区基本步骤▪ 案例需求分析代码实现PhoneBean封装类ProvincePartitioner分区类Mapper阶段Reducer阶段Driver阶段★ 分区总结Partition分区在进行数据处理的时候要求将统计结果按照条件输出到不同文件中，这是就会将数据按照不同的条件进行区域..

2020-12-31 16:26:14 674

原创【Python+Flask+Echarts】可视化练习题 ---- 餐饮数据热力图

文章目录数据集案例① 需求② 代码实现▶ 读取数据集整体浏览▶ 统计每个区不同餐饮类型销售表现▶ 获取每个地区的分类合并数据 ---- 优化版▶ 转换坐标☛ 代码思路图▶ 可视化☠ 注意③ 效果展示数据集本篇的数据来源 https://www.kaggle.com/datasets该数据集是关于可以向北京居民提供外卖服务的餐馆信息，包括北京的哪个地区，餐馆的食品类别，餐馆的品牌，餐馆的地址以及外卖的联系电话，通过一些简单的数据清洗处理绘制简单的图像 ☆ﾐ(o*･ω･)ﾉ返回顶部..

2020-12-31 15:49:45 896

原创【Python+Flask+Echarts】可视化练习题 ---- 招聘数据折线图

文章目录需求代码实现需求使用折线图展示“大数据”相关职位招聘数量差异提取相关信息 ---- “大数据”分组聚合代码实现Python、Flaskimport pandas as pdfrom flask import Flask,render_template# 读取数据集data = pd.read_csv("G:\Projects\pycharmeProject-C\Flask\dataset\zl0507.csv")# 检查空值print(data.isnul..

2020-12-30 08:46:18 1188 3

原创【MapReduce】MR 框架原理之工作流程

文章目录流程图Map阶段Reduce阶段流程详解流程图Map阶段Reduce阶段流程详解上面的流程是整个MapReduce最全工作流程，但是Shuffle过程只是从第7步开始到第16步结束，具体Shuffle过程详解，如下：1）MapTask收集我们的map()方法输出的kv对，放到内存缓冲区中2）从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件3）多个溢出文件会被合并成大的溢出文件4）在溢出过程及合并的过程中，都要调用Partitioner进行分区和针对key进行排序5..

2020-12-29 16:40:01 517

原创【Python+Flask+Echarts】可视化练习题 ---- 疫情数据热力图

文章目录一、热力图介绍二、案例① 分析提取需求② 代码实现▶读取数据▶简单清洗▶提取需求信息▶Flask部分▶可视化部分③ 效果展示④ 代码优化▶ 如何优化？▶ 具体优化一、热力图介绍热力图，有时也称之为交叉填充表。该图形最典型的用法就是实现列联表的可视化，即通过图形的方式展现两个离散变量之间的组合关系类型：关系型数据的可视化特点：热力图体现了两个离散变量之间的组合关系Echarts官方实例：返回顶部二、案例① 分析提取需求数据集数据主要字段：日期、省份、城市、新增确诊..

2020-12-29 14:53:25 2354 5

原创【MapReduce】MR 框架原理之 InputFormat 数据输入

文章目录一、InputFormat 数据输入1.切片与MapTask并行度决定机制2.Job提交流程● Job提交流程源码详解3. FileInputFormat切片● FileInputFormat切片机制● FileInputFormat切片源码步骤解析● FileInputFormat切片大小的参数配置4. CombineTextInputFormat切片● CombineTextInputFormat切片机制● CombineTextInputFormat案例1. 需求2. 编写代码运..

2020-12-28 20:46:34 321

原创【MapReduce】序列化

文章目录一、序列化、反序列化概念二、为什么要序列化三、为什么不使用java的序列化？四、自定义bean对象实现序列化接口◆ bean对象序列化步骤：1.必须实现 Writable 接口2.定义空参构造函数3.重写序列化方法4.重写反序列化方法5. 保持顺序一致6. 重写toString（）方法7. 实现Comparable接口五、序列化案例 ---- 流量值统计◆ 需求分析◆ 数据集已有数据集目标输出样式① 自定义bean对象阶段★ 注意② Mapper阶段③ Reducer阶段④ Driver阶段⑤ ..

2020-12-27 18:09:07 515

原创【python】pycharm 中导入本地下载好的库

Pycharm中导入库基本上都是使用在Interpreter中连网在线下载添加。（下图中的加号）但是，有的时候不知为什么，总会出现导库失败。然后就想着直接下载库，之后导入环境中。下面来介绍一下简单的步骤~首先是要去下载对应的库下载好之后，找到我们python安装的目录，并且找到Lib目录，点击进入然后在Lib目录中找到site-packages目录，点击进入然后会看到最开始的只有两个工具的文件夹，记住它的样式库名+ .dist-info文件再次回到我们下载好的库目录中，分别提取出其

2020-12-27 09:42:40 26292 6

原创【MapReduce】 MR初识

文章目录一、定义二、优缺点三、MR核心编程思想 --- 案例WordCount四、MR进程五、MR编程规范六、wordCount案例① 创建工程▲创建Maven项目▲pom.xml文件添加依赖▲配置日志文件② 代码实现③ 本地运行④ 集群运行▲环境配置 ---- 打jar包Maven依赖▲生成jar包▲具体执行▲查看结果一、定义1.MR是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。2.MR的核心功能是将用户编写的业务逻辑代码和自带默认组件合成一个完整的..

2020-12-26 20:20:23 1250

原创【HDFS】文件下载失败：找不到 XXX 的服务器 IP 地址（主机访问找不到虚拟机IP）

问题：在将jar包放在集群中运行成功后，转存到hdfs上。打开hdfs，想要下载结果文件查看时，出现了找不到虚拟机的IP地址。分析下载访问hdfs的时候，域名解析没有找到相对应的IP地址。解决方案 — 在hosts文件中添加虚拟机IP找到C盘下的hosts文件打开，在最后添加上虚拟机IP及其名称由于是C盘可能会有权限原因，这里我使用火绒安全软件直接修改，然后保存退出。再次进入hdfs，点击下载，就可以了~当然，如果添加的虚拟机含有主从节点（伪分布式.

2020-12-26 19:12:09 1596 2

原创【MapReduce】异常：java.lang.ClassCastException: interface javax.xml.soap.Text

异常：今天在学习Hadoop中的MapReduce案例编写的时候，出现了如上异常。分析通过错误分析，发现是在进行导包的时候导错了解决方案应该导的是org.apache.hadoop.io.Text。最终成功运行！

2020-12-26 17:07:12 399 1

原创【Hive】Hive 数据类型

文章目录一、基本数据类型二、集合数据类型案例精讲：三、类型转换一、基本数据类型对于Hive的String类型相当于数据库的varchar类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储2GB的字符数。返回顶部二、集合数据类型Hive 有三种复杂数据类型 ARRAY、MAP 和 STRUCT。ARRAY 和 MAP 与 Java 中的Array 和 Map 类似，而 STRUCT 与 C 语言中的 Struct 类似，它封装了一个命名字段集..

2020-12-25 23:49:00 624

原创【Hive】创建Hive表格，从HDFS中加载数据

文章目录一、创建Hive基础表二、上传HDFS数据集三、Hive表加载数据集一、创建Hive基础表CREATE DATABASE IF NOT EXISTS test;USE test;CREATE EXTERNAL TABLE student( name STRING, age INT, gpa string)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n'S.

2020-12-25 21:11:45 8004

原创【Hive】 ---- 启动Hive报错 exceptions. jdbc Communications Exception: Communications link failure

报错：org. apache hadoop. hive. metastore. HiveMetaException: Failed to get schema version / Underlying cause: com mysql jdbc. exceptions. jdbc Communications Exception: Communications link failure解决方案：在启动Hive前，没有启动mysql服务，service mysql start打开mysql服务

2020-12-25 19:36:59 1207

原创 Echarts — 可视化练习（热力图heatmap）

Echarts — 可视化练习（热力图heatmap）不要强迫自己什么事情都要做对，因为有时候，犯错能让我们变得更好。不要尝试去弄清每件事，因为有时候一些事情不是用来理解的，而是要懂得接受它们。因为你自卑，所以你自尊心强，所以你多疑敏感，所以你缺乏安全感，所以你控制欲强，所以你占有欲强，所以你的小心思很多，所以你的烦恼也不少。Flaskimport pandas as pdfrom flask import Flask,render_templatefrom flask_sqlalche

2020-12-25 11:43:34 3612 2

原创【SparkSQL 项目】出租乘客行程记录分析

文章目录一、项目分析1.数据集结构2.业务场景3.处理过程使用的技术点二、流程分析1.理解数据集2.理解需求和结果集3.反推每一个步骤三、步骤分析1.读取数据集2.数据清洗2.1 数据转换 DataFrame:DataSet[Row] => DataSet[Trip]① 定义Trip样例类② 转换数据⑴ 定义转换对象方法： RDD[Row] => RDD[Trip]⑵ 转换时间类型数据⑶ 转换地点数据⑷ 包装Row处理空值 --- 返回option⑸ 异常处理★ 简单案例解释Either作用..

2020-12-23 20:04:06 441

原创【SparkSQL】扩展 ---- JSON解析

文章目录Json解析配置Maven依赖案例1.将有格式的字符串转为json对象2.将有格式的字符串转为json对象Json解析配置Maven依赖<dependency> <groupId>com.esri.geometry</groupId..

2020-12-23 14:48:23 356

原创【Flask使用数据库】 ---- ORM概述

文章目录一、什么是ORM二、ORM（对象关系映射模型）三、ORM的优缺点四、模型类映射关系一、什么是ORMORM 全拼Object-Relation Mapping，称为对象- 关系映射主要实现模型对象到关系数据库数据的映射二、ORM（对象关系映射模型）通过ORM模型，在进行程序编写的时候，不需要编写SQL语句，直接调用相关的操作API。然后SQLAlchemy会自动将API操作转化生成对应关系型数据库的操作语句。三、ORM的优缺点优点:对数据库的操作都转化成对类、..

2020-12-22 08:56:20 305

原创【SparkSQL】扩展 ---- 函数（UDF、窗口）

文章目录一、UDF自定义函数需求一：聚合每个类别的总价 ---- sum()需求二：把名称变为小写 ---- lower()需求三：把价格转为字符串的形式 ---- toStr(revenue:Long)二、窗口函数 Window需求：得到分类后排名前2的记录方案一：使用常见语法子查询方案二：使用窗口函数解析partition的定义order的定义Frame定义函数部分案例：统计每个商品与同类最贵商品的差值总结一、UDF自定义函数如图所示是function中的主要类别：UDF（Use..

2020-12-21 20:38:03 361

原创【SparkSQL】扩展 ----连接操作

文章目录一、什么是连接1.介绍2.简单连接案例二、常见的连接操作（方式）交叉连接 --- cross join 笛卡尔积内连接 --- inner join左外连接（left）、右外连接（right）全外连接（outer、full、fullouter）LeftAnti ---- 只显示左表未连接上的记录LeftSemi ---- 只显示左表连接上的记录一、什么是连接1.介绍返回顶部2.简单连接案例使用join算子进行连接// 配置环境val spark = SparkSe..

2020-12-21 18:33:59 337 2

原创【SparkSQL】扩展 ---- 聚合操作

文章目录一、groupBy() ---- 分组avg ---- 平均值stddev ---- 方差用GroupedDataset的API进行聚合二、多维聚合1.rollup()2.cube()3.cubeSQL4.RelationalGroupedDataSet一、groupBy() ---- 分组按照列将DataSet分组，并返回一个RelatinalGroupedDataSet对象，然后通过该对象，对分组内容进行聚合操作 @Test def test(): Unit ={ //.

2020-12-21 16:35:55 668

原创【Python项目】 ---- requirements文件的使用

文章目录Requirements文件作用创建requirements.txt使用requirements.txtRequirements文件作用1）批量导出当前开发环境的包信息2）批量安装依赖环境3）一般用pip安装工具安装单个包，多个包的安装可以手写requirements文件，进行多包安装创建requirements.txt在当前环境执行生成文件pip freeze >requirements.txt文件中包含有当前环境的配置使用requirement.

2020-12-21 09:55:21 1430

原创【数据分析与预处理】 ---- 数据标准化

文章目录1.读取数据2.数据预处理删除（提取）评分为0的数据记录空值填补0去重3.数据标准化3.1 [0,1]标准化 --- 将数据压缩至0~1之间3.2 Z-Score 标准化 --- 基于数据均值和方差的标准化方法。1.读取数据data = pd.read_csv("G:\Projects\pycharmeProject\大数据比赛\data\mysql.csv")print(data.shape)2.数据预处理删除（提取）评分为0的数据记录data_clean = data.lo.

2020-12-20 18:30:17 276

原创【数据分析与预处理】 ---- 数据汇总_分组聚合

文章目录1.读取数据2.数据预处理删除（提取）评分为0的数据记录 loc[~data['评分'].isnull()]空值填补0 fillna(0)去重 drop_duplicates()3.数据汇总3.1 每个城市的酒店评分平均值 groupby(by=['?']).mean()3.2 每个省份每个城市酒店评分的平均值 groupby(by=['?','?']).mean()1.读取数据data = pd.read_csv("G:\Projects\pycharmeProject\大数据比.

2020-12-20 18:26:24 434

原创【数据分析与预处理】 ---- 数据排序

文章目录1.读取数据2.数据排序2.1 根据某一列值进行从小到大的排序 sort_values(by='?',ascending=True/False)2.2 根据多列进行排序 sort_values(by=['?','?'],ascending=True/False)2.3 根据索引排序 sort_index('index',ascending=True/False)1.读取数据data = pd.read_csv("G:\Projects\pycharmeProject\大数据比赛\dat.

2020-12-20 18:20:22 861

原创【数据分析与预处理】 ---- 数据的提取与筛选

文章目录1.读取数据2.数据的提取与筛选2.1 增加某一列2.1.1 以原数据的索引添加列2.1.2 以国家数据添加列2.2 删除特定列 drop(columns='?')2.3 删除特定行 --- 根据索引删除 drop(index=[?],axis=1)2.4 删除特定值的记录2.4.1 找出特定值所在行进行筛选方法一 drop(index=data_target_index,axis=1)方法二 loc[~data_condition]1.读取数据data = pd.read_cs.

2020-12-20 18:13:54 1230 1

原创【数据分析与预处理】---- 查找处理重复值(记录)

文章目录1.读取数据2.处理重复值2.1 查看重复记录数 duplicated()2.2 查看重复记录 data.loc[boolean]2.3 指定变量判断，first保留第一个出现的记录 drop_duplicates(subset=['?','?'],keep="first",inplace=False)1.读取数据data = pd.read_csv("G:\Projects\pycharmeProject\大数据比赛\data\mysql.csv")print(data.shap.

2020-12-20 18:03:41 362

原创【数据分析与预处理】 ---- 查找处理空值

文章目录1.读取数据2.数据清洗和预处理2.1 查找空值2.1.1 判断各字段中是否存在缺失值 isnull().any/all(axis=0)2.1.2 判断数据行中是否存在缺失值 isnull().any/all(axis=1)2.1.2 定位到缺失值所在行 data.loc[data.isnull.any(axis=1)2.1.3 统计各字段中缺失值的数量 data.isnull().sum(axis=0)2.2.处理空值2.2.1 直接删除空值数据所在行 dropna(axis=0)2.

2020-12-20 17:56:49 2307

原创【数据分析与预处理】 ---- 查看基本数据信息

文章目录1 查看数据规模 --- 数据的维度 shape2 查看各变量的数据类型 dtypes3 查看数据整体信息 info()4 查看数据描述 describe()5 查看列名 --- 字段 columns6 查看行名 --- 索引 index7 查看数据前后5行 head()、tail()8 查看某一列的值（唯一）values、unique()1 查看数据规模 — 数据的维度 shapeshape = data.shapeprint(shape)print("-"*50)2 查看..

2020-12-20 17:37:55 1439

原创 Flask可视化操作中，出现报错：jinja2.exceptions.TemplateNotFound

项目场景：Flask可视化操作中，为了更好的管理项目（闲着没事，自找麻烦而已），进行图形任务分类，于是改变了原有的项目结构，运行程序时出现 jinja2.exceptions.TemplateNotFound 的错误。问题描述：jinja2.exceptions.TemplateNotFound 很显然，简单翻译一下就是没有找到对应的templates文件。原因分析：首先我们来看一下创建的Flask工程，默认样式视图函数它自动检索的是与此视图函数同级路径下的templates但是当我

2020-12-20 16:19:29 896

原创【Falsk 使用数据库】---- 数据库基本操作

【Falsk 使用数据库】---- 数据库基本操作目录：一、查询操作二、增、删、改操作 1.数据增加 2.数据删除 3.数据修改一、查询操作通过对模型类的query属性调用可选的过滤方法，我们就可以获取到单个或多个记录（记录以模型类的实例表示）。查询语句如下:<模型类>.query.<过滤方法（可选）>.<查询方法&

2020-12-20 10:41:26 764 1

原创【SparkSQL 】扩展 ---- 数据清洗：缺失值处理

【SparkSQL 】扩展 ---- 数据清洗：缺失值处理目录：一、什么是缺失值二、DataFrameNaFunctions 缺失值处理框架三、NaN 、null 缺失值 1.丢弃 2.填充替换四、字符串缺失值 ---- “null”、"NA" 1.丢弃 2.填充替换 &

2020-12-19 21:04:19 3952 1

原创【Falsk 使用数据库】---- SQLAlchemy介绍及配置

【Falsk 使用数据库】---- SQLAlchemy介绍及配置目录：一、Flask-SQLAlchemy扩展二、安装 flask-sqlalchemy三、使用 Flask-SQLAlchemy 管理数据库 1.Flask的数据库设置 2.常用的SQLAlchemy字段类型 3.常用的SQLAlchemy列选项 4.常用的SQLAlchemy关系

2020-12-19 09:53:03 470 2

原创【SparkSQL】扩展 ---- Column对象

【SparkSQL】扩展 ---- Column对象目录：一、Column的无绑定创建方式二、Column的有绑定创建方式三、Column的操作：别名、转换四、Column的方法 API一、Column的无绑定创建方式1.单引号'在Scala中是一个特殊的符号，通过'，会生成一个Symbol对象，Sy

2020-12-17 21:16:19 638

原创【SparkSQL】扩展 ---- DataSet 数据转换操作

【SparkSQL】扩展 ---- 数据转换操作目录：一、有类型的转换算子 1.转换类操作 ---- flatMap、map、mapPartitions 2.转换类操作 ---- transform 3.转换类操作 ---- as 4.过滤类操作 ---- filter &nb

2020-12-17 20:07:09 766

转载淡淡岁月，已成流年

淡淡岁月，已成流年青涩的年华到成熟的历练，除了自身的修炼，具备时光的打磨、岁月的锻造必不可少。岁月让我学会了世事洞明随遇而安，即使面对世态炎凉、人心难测，也不再愤世嫉俗，怨天尤人，因为明白存在的就是合理的，不刻意去迎合别人，过好自己最好，一切就顺其自然吧。对于那些无力改变的就去尽可能接受、去适应，也无心、无力去改变自己，那就一切随缘吧，一路风尘、磕磕绊绊，淡定心智，懂得了什么是命，什么是缘。少了激情和冲动，也去让心静，伏案写下经历感悟行行，挺好的，虽然偶尔未免有些世故，却也是人世间的繁杂，或许这也是生

2020-12-17 14:30:06 183

转载 U盘格式化内存变小恢复设置

U盘格式化内存变小恢复设置转载至：U盘格式化后容量变小了_内存丢失如何恢复?1.按WIN+R打开“运行”窗口，输入CMD，确定2.在黑框框里输入diskpart，回车确认(可能还会弹出一个权限确认窗口，同意就行)3.diskpart.exe这个黑框框里输入list disk，回车确认4.我们可以看到磁盘2就是我的U盘，这个大小是8G，正好是原来的空间大小。(注意：你也许不止3个磁盘，你需要根据大小确认哪个才是U盘，别弄错了)5.接下来我们选择该磁盘，比如我的U盘是“磁盘 2”，所

2020-12-17 09:01:17 1104

转载启动U盘制作 ---- Windows10

启动U盘制作 ---- Windows10步骤：1.首先下载微软官方工具https://www.microsoft.com/zh-cn/software-download/windows10下载链接 http://go.microsoft.com/fwlink/?LinkId=6912092.准备一张至少4G空闲空间的U盘，最好支持 usb 3.0。3.运行工具软件MediaCreationTool.exe制作完成：接下来工具软件会自动下载操作系统，并把U盘制作成启动盘。全部操

2020-12-17 00:54:19 229